Welche Hardware brauchen Sie wirklich für lokale KI?

Wenn Menschen den Begriff „lokale KI" hören, denken viele zuerst an einen Keller voller GPUs, der wie ein kleiner Föhn klingt. Für dokumentenbezogene Aufgaben sieht die Realität deutlich entspannter aus: Ein aktueller Consumer-Laptop reicht in den meisten Fällen aus. Die Frage ist nicht, ob Ihr Gerät ein lokales Modell ausführen kann, sondern welches Modell bequem hineinpasst und schnell genug antwortet, damit es sich flüssig anfühlt.

Arbeitsspeicher ist der Engpass

Die wichtigste Spezifikation ist der Arbeitsspeicher. Ein Sprachmodell muss vollständig in den RAM (oder auf einer dedizierten GPU in den VRAM) geladen werden, bevor es auch nur ein einziges Token erzeugen kann. Als grobe Faustregel gilt:

• Ein 1B-Parameter-Modell in 4-Bit-Quantisierung benötigt etwa 1–2 GB.
• Ein 7–8B-Modell benötigt etwa 5–8 GB.
• Ein 13B-Modell benötigt etwa 9–12 GB.

Für Dokumenten-Q&A im Stil von Smartimize reicht ein gut abgestimmtes 1B–8B-Modell in der Regel völlig aus. Alles darüber verbraucht hauptsächlich Speicher, den Sie sinnvoller in eine größere indizierte Dokumentenbasis investieren könnten.

CPU, GPU oder die neue „Unified-Memory"-Welt

Im Jahr 2026 sind drei Hardware-Wege relevant:

1. Apple Silicon (M-Serie). Dank Unified Memory greift die GPU auf denselben Arbeitsspeicher zu wie die CPU. Ein MacBook Air mit 16 GB führt 7B-Modelle bequem aus. M2 Pro / M3 / M4 bieten derzeit das wohl beste Preis-Leistungs-Verhältnis für lokale LLMs.

2. Windows-/Linux-Laptops mit dedizierter NVIDIA-GPU. Ein Laptop mit RTX 4060 (8 GB VRAM) oder 4070 (8–12 GB VRAM) verarbeitet kleine und mittelgroße Modelle sehr gut. Begrenzend ist der VRAM, nicht die reine Rechenleistung.

3. Reine CPU-Maschinen. Moderne CPUs (mit AVX2/AVX-512) führen 1B–3B-Modelle in brauchbarer Geschwindigkeit aus — langsamer, aber für kürzere Antworten und leichten Einsatz absolut tragfähig.

Und der Massenspeicher?

Beim Indizieren von Dokumenten entsteht eine Embedding-Datenbank parallel zu Ihren Dateien. Für eine persönliche Wissensbasis (einige Tausend PDFs) bleibt sie meist unter ein paar hundert Megabyte. Jede moderne SSD ist dafür ausreichend. Der Engpass ist fast nie die Speicherkapazität, sondern die Lesegeschwindigkeit beim erstmaligen Indizieren.

Praktische Empfehlungen

• Nur ausprobieren: Beliebiger Laptop der letzten drei Jahre mit 16 GB RAM. 1B–3B-Modell verwenden.
• Tägliches Werkzeug für Wissensarbeitende: 16–32 GB RAM, M-Serie-Mac oder RTX-Laptop. 7–8B-Modell.
• Power-User mit großen Dokumentenbeständen: 32–64 GB RAM, idealerweise mit dedizierter GPU. 8–13B-Modell, größerer Kontext.

Fazit

Lokale KI ist längst kein Nischenthema mehr, das nur auf GPU-Clustern läuft. Wenn Ihr Laptop ein paar Chrome-Fenster und gleichzeitig einen Videocall verkraftet, kann er mit hoher Wahrscheinlichkeit auch ein kleines LLM gut genug für Dokumenten-Q&A ausführen. Die spannende Ingenieurarbeit liegt nicht im Modell selbst, sondern darin, wie die Dokumente aufbereitet und gefunden werden — und genau dort steckt Smartimize seine Energie hinein, damit Sie es nicht müssen.