Kurz gesagt
Eine eigene KI auf deinem Rechner laufen lassen? Das war 2023 noch ein Projekt für ganze Wochenenden.
Eine eigene KI auf deinem Rechner laufen lassen? Das war 2023 noch ein Projekt für ganze Wochenenden. Heute reicht ein Installer und 20 Minuten Zeit. Wer lokale KI installieren will, hat 2026 zwei klare Wege: Ollama für die Kommandozeile, LM Studio für die grafische Oberfläche. Dieser Guide führt dich Schritt für Schritt durch das Setup.
Du erfährst, was deine Hardware leisten muss, welche Software passt und wie du dein erstes Modell startest. Stand: Mai 2026.
Hardware-Check vor der Installation
Bevor du startest, prüfe deine Hardware. Lokale KI braucht drei Dinge: genug RAM, eine ordentliche GPU und freien Speicher auf der Platte.
Das Minimum für ein 7B- oder 8B-Modell: 16 GB RAM (32 GB sind komfortabler) 8 GB VRAM auf der GPU (oder Apple Silicon mit 16 GB Unified Memory) 10 bis 15 GB freier SSD-Speicher pro Modell Mit einer RTX 3060, einem M2 MacBook oder einer RTX 4060 läuft Llama 3.3 8B flüssig. Für 70B-Modelle brauchst du 48 GB VRAM und eine RTX 4090 oder zwei RTX 3090 im Verbund.
Reicht die Hardware nicht, gibt es zwei Optionen. Entweder du startest mit kleineren Modellen wie Phi-4 oder Gemma 4 mit 3 Milliarden Parametern. Oder du wählst eine gehostete Lösung wie CorporateLLM , die ohne eigene Hardware auf EU-Servern läuft.
Ollama vs. LM Studio: Welches Tool passt?
Beide Programme lassen dich lokale KI installieren und nutzen. Sie unterscheiden sich im Bedien-Konzept. Ollama läuft als Service im Hintergrund. Du steuerst es über die Kommandozeile oder über eine REST-API. Ideal für Entwickler, die Modelle in eigene Apps einbinden wollen. Auch Tools wie n8n, LangChain oder Open WebUI sprechen Ollama nativ an.
LM Studio bringt eine grafische Oberfläche mit. Modelle suchst und lädst du per Klick aus dem integrierten Hugging-Face-Browser.
Themen dieses Beitrags
- Hardware-Check vor der Installation
- Ollama vs. LM Studio: Welches Tool passt?
- Schritt 1: Ollama installieren
- Schritt 2: Erstes Modell laden
- Schritt 3: Open WebUI für die Chat-Oberfläche
- Schritt 4: Eigene Dokumente anbinden
- Was nach dem Setup wichtig wird
- Fazit