KI-Benchmarks: Prof. Alex Smola über ihren blinden Fleck

KI-Benchmarks: Prof. Alex Smola über ihren blinden Fleck Prof. Dr. Alexander Smola ist einer der am häufigsten zitierten Machine-Learning-Forscher der Welt und Gründer von Boson AI. Im Interview mit Leonard Schmedding erklärt er, warum gängige KI-Benchmarks oft die falsche Sache messen.

Sein Team zeigte: Ein halbes Dutzend Tests genügt, um fast jedes Modell zu bewerten.

KI-Benchmarks messen oft die falsche Sache

Ein Beispiel macht das Problem greifbar. Jemand erwähnt seiner KI beiläufig, er lade abends noch Ausrüstung für eine Ausstellung ins Auto. Das eine Modell antwortet nur mit klingt nach einem soliden Plan . Das andere Modell denkt mit. Es liefert ungefragt eine Packliste. Es rät sogar, das Auto in umgekehrter Aufbau-Reihenfolge zu beladen.

So kommt vor Ort alles in der richtigen Reihenfolge heraus. Eine Praktikantin in Toronto baute daraus ein ganzes Forschungsprojekt. Das Team zeigte Menschen beide Antwort-Typen. Die Nutzer bevorzugten klar die proaktiven Modelle. Danach testete Boson AI Frontier-Modelle wie ChatGPT, Claude, Qwen und DeepSeek.

ChatGPT schnitt bei dieser Proaktivität am besten ab. Modelle mit aktivem Chat-System lagen vorn. Die spannende Erkenntnis: Die Modelle können das längst. Nur fragt die Fähigkeit kaum jemand ab. Genau hier versagen die üblichen KI-Benchmarks.

Warum ein halbes Dutzend KI-Benchmarks reicht

Smolas Team stieß auf ein zweites Muster. Die Leistung über verschiedene Benchmarks korreliert stark. Ein Modell, das einen Coding-Test meistert, meistert meist auch die anderen vier. Bei Mathematik gilt dasselbe. Boson AI hatte irgendwann Dutzende Benchmarks im Einsatz. Jeder Test kostet Rechenzeit und Geld. Also stellte das Team die Kernfrage.