Lokale KI: 5 Wege, Modelle kostenlos zu betreiben

Lokale KI bezeichnet KI-Modelle, die komplett offline auf deinem eigenen Rechner laufen. Kein Abo, keine Cloud, keine Daten, die dein Gerät verlassen. Im Video zeigen wir fünf konkrete Wege zu offenen Modellen. Du betreibst sie kostenlos und nutzt sie im Corporate LLM . Viele unterschätzen lokale KI massiv.

Dabei liegen offene Modelle nur noch rund vier Monate hinter den Flaggschiffen. Damit werden sie zur ernsthaften Alternative für alle, die kostenlos und datensicher arbeiten wollen.

Warum lokale KI gerade aufholt

Eine Stanford-Auswertung liefert die Zahl: Offene Modelle beantworten heute 71,3 Prozent aller Chat-Anfragen korrekt. 2023 waren es erst 23 Prozent. Der Sprung gelingt zu einem Bruchteil der Kosten und des Energieverbrauchs. Auch die Kostenkurve spricht eine klare Sprache. Für dieselbe Aufgabe fielen die Preise in 18 Monaten um das 280-Fache .

Chinesische Open-Source-Modelle werden in den USA inzwischen stärker genutzt als die heimischen Cloud-Modelle. Der Grund ist die Kosteneffizienz. Google liefert mit den Gemma-Modellen sogar KI, die auf einem Smartphone läuft. Welche Modelle auf deiner Hardware funktionieren, fassen wir in unserem Local AI Report kompakt zusammen.

Vom MIT-Labor zu Llama.cpp

Der Trend ist nicht neu. In den 80er Jahren baute die MIT-Ausgründung Symbolics spezielle Lisp-Maschinen für die KI jener Zeit. Diese Firma sicherte sich auch die allererste .com-Domain der Internet-Geschichte. Mit dem Deep-Learning-Durchbruch ab 2012 wanderte KI in riesige Rechenzentren. Erst der März 2023 drehte den Trend.

Metas Sprachmodell Llama landete als 220 GB großer Torrent im offenen Netz. Kaum jemand hatte die Hardware dafür. Der bulgarische Entwickler Georgi Gerganov baute an einem Wochenende Llama.cpp .