Rekursive Selbstverbesserung: Robert Lange über KI

Rekursive Selbstverbesserung: Sakana AI schwimmt gegen den Strom

Rekursive Selbstverbesserung beschreibt KI-Systeme, die ihren eigenen Code umschreiben und Forschung autonom vorantreiben. Im Interview mit DIDACTED AI erklärt Robert Lange , Gründungsmitglied von Sakana AI, wie evolutionäre Algorithmen den Weg zur Superintelligenz ebnen. Sakana AI gilt als wertvollstes KI-Forschungslabor Japans.

Das Team sammelte 412 Millionen US-Dollar bei einer Bewertung von 2,65 Milliarden US-Dollar. Diese Summe reicht bei großen Laboren kaum für einen einzigen Trainingslauf. Trotzdem verfolgt das Labor einen eigenen Weg. Geschäftsführer David Ha nennt große Sprachmodelle das am schnellsten an Wert verlierende Gut der Geschichte.

Deshalb setzt Sakana AI nicht auf reine Skalierung.

Was Sakana AI anders macht

Der Name Sakana bedeutet auf Japanisch Fisch. Im Logo schwimmt ein roter Fisch gegen den Strom. Dieses Bild steht für die Forschungsphilosophie des Unternehmens. Statt teure Modelle zu trainieren, setzt das Team auf Wetten mit hohem Hebel. Ein Kernmotiv ist kollektive Intelligenz.

Vor dem AI Scientist stellte Sakana AI die Methode Evolutionary Model Merging vor. Diese Technik verbindet die Stärken vieler quelloffener Modelle zu einem System. Evolutionäre Optimierung setzt die Bausteine der einzelnen Modelle neu zusammen. So entsteht diverse Intelligenz aus bestehenden Komponenten.

Der AI Scientist: Forschung ohne Menschen

Der AI Scientist erschien im August 2024 und wurde im März in Nature publiziert. Das System entwickelt eigene Forschungsideen im Bereich maschinelles Lernen. Danach schreibt es Code und führt Experimente autonom aus. Anschließend wertet es die Ergebnisse aus und erstellt wissenschaftliche Grafiken. Am Ende verfasst es ein komplettes Papier.