Weltmodelle: Prof. Dr. Matthias Nießner über Physical AI

Weltmodelle sind KI-Systeme, die reale Umgebungen dreidimensional nachbilden und ihre Physik simulieren. Sie liefern Trainingsdaten für Roboter und virtuelle Produktdesigns. Im Interview mit Leonard Schmedding an der TU München erklärt Prof. Dr. Matthias Nießner, warum diese Technologie die nächste Ära der KI nach ChatGPT einläutet.

Nießner ist Mitgründer von Synthesia , einem Video-KI-Unicorn mit vier Milliarden Dollar Bewertung und über 500 Mitarbeitern. Mit seinem neuen Startup SpAItial baut er jetzt Spatial Foundation Models. Für Unternehmen öffnet das ein riesiges Feld neuer Anwendungen.

Was Weltmodelle von Sprachmodellen unterscheidet

Ein Sprachmodell nimmt Text und gibt Text zurück. Ein Bildmodell nimmt Text und liefert ein Bild. SpAItial geht einen Schritt weiter. Aus einem Text-Prompt entsteht eine komplette 3D-Welt. Diese Welten sehen real aus und verhalten sich real. Nutzer interagieren mit der simulierten Physik. Das Ziel von Nießner ist radikal.

Zwischen Simulation und Realität soll kein Unterschied mehr sichtbar sein. Der Zeitpunkt ist bewusst gewählt. Nießner verortet SpAItial dort, wo ChatGPT vier Jahre vor dem Durchbruch stand. Die Technologie funktioniert fast, aber noch nicht ganz. Genau dieser Moment macht ein Startup spannend.

Warum Videos die Trainingsdaten für Weltmodelle liefern

Echte 3D-Daten sind knapp. Weltweit existieren nur rund 10 bis 20 Millionen Szenen. Dazu zählen Videospiele, Filme und Engineering-Modelle. Diese Menge reicht für Foundation Models nie aus. Deshalb trainiert SpAItial auf Videos. Täglich landen Milliarden Clips auf Social Media. Aus vielen Blickwinkeln lassen sich 3D-Punkte triangulieren.

So entstehen aus 2D-Videos konsistente 3D-Welten. Das Prinzip folgt der KI-Regel Scale is everything.