LLM-Training: Dr. Sebastian Raschka über Computer Use

LLM-Training in Zahlen: 100.000 Grafikkarten, 50 Billionen Token

LLM-Training ist der mehrstufige Prozess, der aus Rohdaten nutzbare Sprachmodelle macht. Dr. Sebastian Raschka erforscht diesen Prozess seit über zehn Jahren in den USA. Im ersten deutschsprachigen Interview mit Leonard Schmedding ordnet er den Stand 2026 ein. Sein Fazit: der größte Hebel liegt heute im Post-Training.

Raschka stammt aus Herne und studierte Biologie in Düsseldorf. Nach der Promotion in Computational Biology folgte eine Tenure-Track-Professur für Statistik in Wisconsin. Diese gab er für ein Startup auf und arbeitet heute unabhängig. Als Referenz gelten seine Bücher Build a Large Language Model (From Scratch) und Build a Reasoning Model (From Scratch) .

Über 210.000 Leser abonnieren seinen Newsletter. Im Gespräch mit DIDACTED AI erklärt er die Technik hinter den Modellen des Alltags.

Pretraining: sammeln, filtern, synthetisch ergänzen

Die Basis jedes Modells bleibt das Pretraining. Das Modell sagt dabei Token für Token das nächste Wort vorher. Die Methode stammt aus dem klassischen Deep Learning. Schwierig ist die Skalierung. Für ein Modell der GPT-6-Klasse laufen rund 100.000 Grafikkarten parallel. Der Datenhunger ist stark gewachsen.

Vor drei bis vier Jahren reichte etwa eine Billion Token. Heute trainieren die Labs auf 30 bis 50 Billionen Token. Ein Token entspricht grob ein bis zwei Wörtern. Rohe Masse allein genügt aber nicht mehr. Gefiltert wird härter als früher. Dazu kommen synthetische Daten aus anderen Modellen.

Raschka vergleicht das mit einem Mathematik-Buch statt eines Forenarchivs. Geordnete Inhalte führen schneller zum Lernerfolg. Qualität schlägt Rohmenge , sobald die Datenmenge saturiert.