LLM-VRAM-Rechner: Wie viel GPU-Speicher braucht Ihre lokale KI?
Der LLM-VRAM-Rechner zeigt, wie viel GPU-Speicher Ihre lokale KI wirklich braucht: nicht nur für das Sprachmodell, sondern für den ganzen RAG-Stack mit KV-Cache, Embedding-Modell, Reranker und Reserve, und für so viele Nutzer gleichzeitig, wie Sie angeben. Dazu sehen Sie, welche GPU-Speicherklasse passt.
Nichts verlässt Ihren Browser · Stand 3. November 2026
Der Speicher entscheidet, nicht der Prozessor.
Ein Sprachmodell läuft nur dann flüssig, wenn es vollständig im Speicher der Grafikkarte liegt, dem VRAM. Passt es nicht hinein, wird es langsam oder startet gar nicht. Deshalb ist die erste Frage bei LLM-Hardware nicht „Wie schnell?“, sondern „Wie viel VRAM?“.
Viele VRAM-Rechner zählen nur das Modell für einen Nutzer. Im Betrieb kommt für jede gleichzeitige Anfrage ein Zwischenspeicher dazu, der KV-Cache.
Für eine RAG-Plattform laufen außerdem ein Embedding-Modell für die Suche und oft ein Reranker, der die Treffer sortiert. Beide sind klein, brauchen aber eigenen Speicher. Der Rechner zählt alles zusammen.
So rechnet der Rechner.
Alle Werte in GB mit 1 GB = 1024³ Byte. Die Formeln folgen veröffentlichten Quellen; wo es keine gibt, steht „Annahme“.
| Baustein | Formel | Grundlage |
|---|---|---|
| Modellgewichte | Parameter × Bits je Gewicht ÷ 8. FP16 = 16, FP8 = 8, Q8_0 = 8,50, Q6_K = 6,56, Q5_K_M = 5,70, Q4_K_M = 4,89 Bit | llama.cpp, Quantize-Dokumentation |
| KV-Cache je Token | 2 (Keys und Values) × Schichten × KV-Köpfe × Kopf-Dimension × 2 Byte (FP16) oder 1 Byte (FP8) | Hugging Face Transformers, LLM-Optimierung; Ainslie et al., GQA (arXiv 2305.13245) |
| KV-Cache gesamt | KV je Token × Kontext je Anfrage × gleichzeitige Nutzer | Kwon et al., PagedAttention (arXiv 2309.06180) |
| Laufzeit-Reserve | (Gewichte + KV-Cache) × 15 % + 1 GB je Modellprozess | Annahme, bewusst vorsichtig |
| Embedding, Reranker | Parameter × 2 Byte (FP16) × 1,15 + 1 GB je Modell | Annahme |
| Empfehlung | Kleinste Speicherklasse, bei der der Bedarf höchstens 90 % belegt; je weitere GPU 1 GB mehr. Über 85 % gilt als knapp. | vLLM-Dokumentation, Engine Arguments |
Quellen, abgerufen am 3. November 2026: Kwon et al., PagedAttention (arXiv 2309.06180) (800 KB KV-Cache je Token bei einem 13B-Modell ohne GQA, damit prüft der Rechner seine Formel); llama.cpp, Quantize-Dokumentation (Bits je Gewicht, 14,96 GB in FP16 und 4,58 GB in Q4_K_M für ein 8B-Modell); vLLM-Dokumentation, Engine Arguments (gpu_memory_utilization, Standard je nach Version 0,9 oder 0,92; der Rechner nutzt vorsichtig 0,9; dazu das KV-Cache-Format); Jiang et al., Mixture-of-Experts-Modell (arXiv 2401.04088) (bei MoE-Modellen liegen alle Experten im Speicher).
Drei typische Szenarien, durchgerechnet.
Beispiel 1 Schritt für Schritt: Ein 7–8B-Modell in 4 Bit belegt 4,58 GB. Der KV-Cache braucht 128 KiB je Token; bei 8.192 Tokens und 10 Nutzern sind das 10,00 GB. Mit Reserve kommt das Sprachmodell auf 17,76 GB, Embedding und Reranker auf je 2,22 GB. Zusammen 22,2 GB: Eine GPU mit 24 GB bietet bei 90 % nur 21,6 GB, also fällt die Wahl auf 32 GB.
| Szenario | Modell | KV-Cache | Gesamt | Empfehlung |
|---|---|---|---|---|
| 1 · Team-Assistent: 7–8B, 4 Bit, 10 Nutzer, 8.192 Tokens | 4,6 GB | 10,0 GB | 22,2 GB | 1 GPU mit 32 GB (69 %) |
| 2 · Großes Modell, kleines Team: 70B, 4 Bit, 5 Nutzer, 4.096 Tokens | 40,2 GB | 6,3 GB | 58,9 GB | 1 GPU mit 80 GB (74 %) |
| 3 · Volle Präzision im Betrieb: 70B, FP16, 25 Nutzer, 8.192 Tokens | 131,4 GB | 62,5 GB | 228,4 GB | 4 GPUs × 80 GB (72 %) |
Alle Beispiele mit mittlerem Embedding-Modell und Reranker (je ~0,6B) und KV-Cache in FP16. Prozentwerte: Anteil des GPU-Speichers, den der Stack belegt.
Welche GPU-Speicherklasse passt zu welchem Stack?
Der Rechner empfiehlt nach Speichergröße, nicht nach Modell oder Hersteller. „Nutzbar“ heißt 90 % des Speichers; der Rest bleibt als Puffer frei.
| Speicherklasse | Nutzbar (90 %) | Beispiel, das passt (mit Embedding und Reranker) |
|---|---|---|
| 1 × 16 GB | 14,4 GB | 7–8B in 4 Bit, 4 Nutzer, 4.096 Tokens: 13,0 GB |
| 1 × 24 GB | 21,6 GB | 7–8B in 4 Bit, 10 Nutzer, 8.192 Tokens, ohne Reranker: 20,0 GB |
| 1 × 32 GB | 28,8 GB | 7–8B in 4 Bit, 10 Nutzer, 8.192 Tokens: 22,2 GB |
| 1 × 48 GB | 43,2 GB | 7–8B in FP16, 10 Nutzer, 8.192 Tokens: 34,1 GB |
| 1 × 80 GB | 72,0 GB | 70B in 4 Bit, 5 Nutzer, 4.096 Tokens: 58,9 GB |
| 2 × 48 GB | 86,4 GB | 30–34B in 4 Bit, 10 Nutzer, 16.384 Tokens: 72,9 GB |
| 2 × 80 GB | 144 GB | 7–8B in FP16 mit KV-Cache in FP8, 50 Nutzer, 32.768 Tokens: 137,6 GB (knapp) |
| 4 × 80 GB | 288 GB | 70B in FP16, 25 Nutzer, 8.192 Tokens: 228,4 GB |
| 8 × 80 GB | 576 GB | 70B in FP16, 25 Nutzer, 32.768 Tokens: 444,1 GB |
Bei mehreren GPUs braucht jede GPU etwa 1 GB für sich selbst, und die GPU-Anzahl sollte die Zahl der KV-Köpfe teilen (bei allen Vorgaben hier 8, beim kleinen MoE-Modell 4).
Was der Rechner bewusst vereinfacht.
Der Rechner beantwortet die Frage „Was passt?“, nicht „Was zeigt der Server später an?“. Viele Server-Programme reservieren den freien Speicher vorab für den KV-Cache, die Anzeige liegt dann fast immer bei rund 90 %, egal wie viel gerade los ist.
Gerechnet wird mit dem ungünstigsten Fall: Alle Nutzer schöpfen ihren Kontext gleichzeitig voll aus. In der Praxis ist der Bedarf oft geringer.
Ehrlich gesagt: 15 % Laufzeit-Reserve und 1 GB je Modellprozess sind vorsichtige Annahmen, keine Messwerte. Echte Werte hängen von Server-Software, Version und Einstellungen ab. Die 4-Bit-Werte wurden an einem 8B-Modell gemessen und können bei anderen Größen leicht abweichen. Große Indexierungsläufe mit dem Embedding-Modell können kurzfristig mehr Speicher brauchen. Prüfen Sie die Zahlen vor dem Kauf mit einem Testlauf.
Fragen zum LLM-VRAM-Rechner.
Wie viel VRAM braucht ein 70B-Modell?
Allein die Modellgewichte eines 70B-Modells belegen rund 131 GB in FP16, rund 66 GB in FP8 und rund 40 GB in 4 Bit (Q4_K_M). Dazu kommt der KV-Cache: etwa 2,5 GB je Nutzer bei 8.192 Tokens Kontext. Mit 4 Bit, 5 gleichzeitigen Nutzern, 4.096 Tokens, Embedding und Reranker ergibt der Rechner 58,9 GB, das passt auf eine GPU mit 80 GB.
Reicht eine 16-GB-Grafikkarte für ein lokales LLM?
Für ein 7–8B-Modell in 4 Bit und wenige Nutzer ja: Mit 4 gleichzeitigen Nutzern, 4.096 Tokens, Embedding und Reranker braucht der Stack 13,0 GB. Für 10 Nutzer mit 8.192 Tokens sind es schon 22,2 GB, dann brauchen Sie 32 GB. Größere Modelle passen in 16 GB nur mit sehr kleinem Kontext oder gar nicht.
Warum braucht der KV-Cache so viel Speicher?
Für jedes Token im Kontext speichert das Modell Zwischenwerte (Keys und Values) in jeder Schicht. Bei einem 7–8B-Modell sind das 128 KiB je Token, bei 8.192 Tokens also 1 GB je Anfrage. Der Cache wächst mit der Kontextlänge und mit jeder gleichzeitigen Anfrage, die Modellgewichte bleiben gleich.
Was bringt Quantisierung beim LLM?
Quantisierung speichert jedes Gewicht mit weniger Bits. 4 Bit im Format Q4_K_M brauchen laut llama.cpp rund 4,89 Bit je Gewicht, also knapp ein Drittel des Speichers von FP16. Der KV-Cache bleibt dabei in 16 Bit, außer Sie stellen ihn ausdrücklich auf FP8 um. Die Antwortqualität kann leicht sinken; testen Sie das mit Ihren eigenen Fragen.
Was zählt als gleichzeitiger Nutzer?
Eine Anfrage, die gerade beantwortet wird, nicht ein registriertes Konto. 200 Beschäftigte mit Zugang erzeugen selten mehr als ein paar Anfragen gleichzeitig. In der Server-Software entspricht der Wert der Zahl paralleler Sequenzen, etwa max_num_seqs.
Wie genau ist der LLM-VRAM-Rechner?
Gewichte und KV-Cache folgen festen Formeln und treffen die veröffentlichten Werte, etwa 14,96 GB in FP16 und 4,58 GB in 4 Bit für ein 8B-Modell. Die Laufzeit-Reserve von 15 % und 1 GB je Modellprozess sind bewusst vorsichtige Annahmen. Je nach Server-Software kann der echte Bedarf darüber oder darunter liegen.
Kann ich Embedding-Modell und Sprachmodell auf getrennten GPUs betreiben?
Ja. Ein mittleres Embedding-Modell oder ein mittlerer Reranker braucht laut Rechner je rund 2,2 GB inklusive Reserve. Auf einer eigenen kleinen GPU entlasten sie den Speicher für das Sprachmodell und den KV-Cache. Rechnen Sie dann beide Teile getrennt.
Werden meine Eingaben gespeichert oder übertragen?
Nein. Der Rechner läuft vollständig in Ihrem Browser. Es werden keine Eingaben gespeichert oder an einen Server gesendet.
Ihre lokale KI, passend zur Hardware.
Mihaela prüft mit Ihnen, welches Modell, welche Quantisierung und wie viele gleichzeitige Nutzer zu Ihrer Hardware passen, bevor Sie RAGSuite auf eigenen Servern betreiben.