Eigener KI-Server: Hardware für lokale KI im Unternehmen planen
Ein eigener KI-Server bringt Sprachmodell und Dokumentensuche in Ihr Firmennetz. Welche Hardware Sie dafür brauchen, entscheiden drei Fragen: Wie viele Personen fragen gleichzeitig, wie groß ist das Modell, und welche Dokumente soll die KI kennen? Dieser Ratgeber übersetzt die Antworten in Speicher, Bauform, Strom, Software und Betrieb.
Herstellerneutral · ohne Hardware-Preise · Stand: 4. November 2026
Das Wichtigste in Kürze
- Die wichtigste Größe ist der
GPU-Speicher , nicht die Rechenleistung. Er muss das Modell, einen Zwischenspeicher für jede laufende Anfrage (KV-Cache), das Embedding-Modell und Reserve fassen. Gleichzeitige Anfragen treiben den Bedarf: Bei 10 Anfragen mit je 8.192 Tokens braucht der KV-Cache eines 7–8B-Modells 10 GB, mehr als doppelt so viel wie das Modell in 4 Bit (4,6 GB).- Für bis zu 5 gleichzeitige Anfragen mit einem 7–8B-Modell reicht eine GPU mit 24 GB. Mit einem 13–14B-Modell und 20 Anfragen brauchen Sie 80 GB oder zwei GPUs.
- Strom wird im Raum zu Wärme, und Rack-Server sind laut. Planen Sie Raum, Kühlung und USV
vor der Bestellung, und benennen Sie Zuständige für Updates, Überwachung und Backups.
Drei Fragen, bevor Sie Hardware auswählen.
Ein Server für lokale KI ist mehr als ein Rechner mit großer Grafikkarte. Er bedient viele Anfragen gleichzeitig, läuft rund um die Uhr und muss gepflegt werden. Wer die drei Fragen beantwortet, kann Speicher, Bauform und Software ableiten, statt nach Datenblatt zu kaufen.
Zur dritten Frage: Bei RAG gehen mit jeder Frage die passenden Textstellen ins Modell. Mit unseren Planungswerten (Systemanweisung 500, fünf Textstellen à 512, Verlauf 1.000 und Antwort 1.000 Tokens) sind das 5.060 Tokens. 8.192 Tokens Kontext je Anfrage sind deshalb ein vernünftiger Planungswert, und mit ihm rechnet dieser Ratgeber.
Wie viele fragen gleichzeitig?
Zählen Sie Anfragen, die im selben Moment beantwortet werden, nicht Konten. Jede braucht eigenen Speicher für ihren Kontext.
Wie groß ist das Modell?
Parameterzahl und Quantisierung bestimmen den Grundbedarf: Ein 7–8B-Modell in 4 Bit belegt 4,6 GB, ein 70B-Modell 40,2 GB.
Welche Dokumente?
Menge und Art bestimmen Festplattenplatz, Indexierungszeit und wie viel Text pro Frage ins Modell geht.
Was in den GPU-Speicher muss.
Bei der Wahl der KI-Grafikkarte zählt zuerst der Speicher (VRAM). Darin liegen vier Blöcke: die
Das Beispiel zeigt: Bei 10 gleichzeitigen Anfragen ist der KV-Cache der größte Block, nicht das Modell. Rechnen Sie deshalb nie mit „Modellgröße = Speicherbedarf“. Ein Puffer von 10 % bleibt frei. Wir rechnen bewusst vorsichtig: vLLM belegt ohne eigene Einstellung bis zu 92 % des GPU-Speichers (gpu_memory_utilization).
Passt ein Modell nicht in den GPU-Speicher, kann llama.cpp laut llama.cpp-Projektseite Teile auf CPU und Arbeitsspeicher auslagern. Das funktioniert, ist aber deutlich langsamer und für viele gleichzeitige Nutzer keine Lösung.
KI-Hardware nach Teamgröße: vier Größenklassen.
Die Tabelle rechnet je Klasse mit der Obergrenze der gleichzeitigen Anfragen und dem ungünstigsten Fall: Alle Anfragen nutzen gleichzeitig 8.192 Tokens Kontext. Dazu kommen ein mittleres Embedding-Modell und ein Reranker. Die Werte stammen aus denselben Formeln wie der LLM-VRAM-Rechner; mit Ihren eigenen Zahlen rechnen Sie dort nach.
| Gleichzeitige Anfragen | Modellklasse (Beispiel) | Speicherbedarf | GPU-Speicher | CPU · RAM · NVMe | Netzwerk |
|---|---|---|---|---|---|
| 1 bis 5 | 7–8B, 4 Bit | 16,5 GB | 1 GPU mit 24 GB (69 %) | 8–16 Kerne · 64 GB · 2 × 1 TB gespiegelt | 1 GbE |
| 5 bis 20 | 13–14B, 4 Bit | 49,6 GB | 1 GPU mit 80 GB (62 %) oder 2 × 48 GB | 16–32 Kerne · 128 GB · 2 × 2 TB gespiegelt | 10 GbE |
| 20 bis 100 | 30–34B, 4 Bit | 256,9 GB | 4 GPUs × 80 GB (81 %) | 32–64 Kerne · 512 GB · 2 × 4 TB gespiegelt | 10 bis 25 GbE |
| über 100 | 70B, FP8 | 368,5 GB bei 100 Anfragen | 8 GPUs × 80 GB (59 %), darüber mehrere Server | 64+ Kerne · 1 TB+ · 4 TB+ gespiegelt | 25 GbE+, zwischen Servern schnelle Verbindung |
Speicherbedarf und GPU-Speicher: eigene Berechnung mit den Formeln des LLM-VRAM-Rechners (KV-Cache in FP16, 15 % Laufzeit-Reserve, 1 GB je Modellprozess, 90 % nutzbar; Prozent = Belegung). Die Modellwahl wirkt stark: Ein MoE-Modell mit ~30B Parametern gesamt und ~3B aktiv kommt in FP8 bei 100 Anfragen auf 124,4 GB und passt auf 2 × 80 GB. Mehrere GPUs nur, wenn Modell und KV-Cache zusammen nicht auf eine passen; bei vielen gleichzeitigen Anfragen kann statt einer verteilten Instanz auch je eine Modellinstanz pro GPU sinnvoll sein. Über mehrere Server hinweg braucht es laut vLLM-Dokumentation zu Parallelisierung eine schnelle Verbindung zwischen den Knoten, etwa InfiniBand. Alle Speicherwerte in GB = 1024³ Byte, wie im LLM-VRAM-Rechner.
Ehrlich gesagt: Die Spalten CPU, RAM, NVMe und Netzwerk sind unsere Erfahrungswerte, keine Herstellerangaben. Als Faustregel planen wir Arbeitsspeicher mindestens in Höhe des gesamten GPU-Speichers, damit Modelle schnell laden und Datenbank, Suchindex und Plattform Platz haben. Die NVMe-Laufwerke nehmen Modelldateien, Originaldokumente, Index und Datenbank auf und werden gespiegelt, damit ein Laufwerksausfall den Betrieb nicht stoppt.
VRAM für Ihr Modell berechnen →On-Premise-KI für Unternehmen →
Workstation, Rack-Server oder Mietserver: selber bauen, kaufen oder mieten?
Einen KI-Server selber bauen oder als Workstation kaufen ist der schnellste Weg für Tests, für zuhause und für kleine Teams. Ab etwa fünf gleichzeitigen Anfragen und im Dauerbetrieb wird ein Rack-Server im Serverraum die Regel. Wer keinen Serverraum hat, mietet einen dedizierten GPU-Server in einem deutschen Rechenzentrum und betreibt darauf die eigene Software.
Und wenn Sie am Ende gar keine Hardware betreiben wollen: Die RAGSuite Engine bietet dieselbe Plattform mit Rechenzentrum in Deutschland.
| Kriterium | Workstation | Rack-Server | Gemieteter GPU-Server |
|---|---|---|---|
| Gut für | Test, Pilot, 1 bis 5 Anfragen | Betrieb im Team, ab etwa 5 Anfragen | Betrieb ohne eigenen Serverraum |
| Aufstellort | Büro oder Technikraum | Serverraum oder Serverschrank | Rechenzentrum des Anbieters in Deutschland |
| GPUs | meist 1 bis 2 | je nach Gehäuse bis zu 8 | je nach Angebot |
| Lautstärke | bürotauglich möglich | für Büros in der Regel zu laut | kein Thema für Sie |
| Strom und Kühlung | Wärme bleibt im Raum | eigener Stromkreis, Klimatisierung, USV | beim Anbieter |
| Wartung | meist selbst, ohne Vor-Ort-Service | Herstellerservice, Fernwartung, Ersatzteile | Hardware beim Anbieter, Software bei Ihnen |
| Daten | physisch bei Ihnen | physisch bei Ihnen | beim Anbieter, in der Regel mit Vertrag zur Auftragsverarbeitung |
Strom, Wärme, Lärm und USV: der Teil, der oft vergessen wird.
Praktisch die gesamte Leistung, die ein Server aufnimmt, gibt er als Wärme an den Raum ab. Eine einfache Beispielrechnung: Ein Server mit 1 kW Dauerlast verbraucht 24 kWh am Tag und 8.760 kWh im Jahr, und die Klimatisierung muss diese 1 kW ununterbrochen abführen. Die echten Werte stehen im Datenblatt Ihres Servers.
Für den Raum gibt das BSI einen Rahmen vor. Für ein kleines Unternehmen mit einem Server in einem eigenen Raum genügt es laut BSI IT-Grundschutz, Baustein INF.5 (Edition 2023) oft, die Anforderungen von INF.5 statt des Bausteins INF.2 „Rechenzentrum sowie Serverraum“ zu erfüllen; auch ein eigens ausgerüsteter Schrank ist möglich. Dazu gehören unter anderem geregelter Zutritt (INF.5.A3), Temperatur und Luftfeuchte innerhalb der Grenzen aus den Datenblättern der Geräte (INF.5.A10) und eine USV, deren Stützzeit für ein sicheres Herunterfahren reicht (INF.5.A16).
Strom
GPU-Server ziehen unter Last viel Leistung. Lassen Sie Anschlusswerte aus dem Datenblatt prüfen und den Stromkreis von einer Elektrofachkraft planen.
Wärme
Die Kühlung muss die aufgenommene Leistung dauerhaft abführen, auch nachts und am Wochenende, wenn die Gebäudeklimatisierung oft gedrosselt ist.
Lärm
Rack-Server kühlen mit schnellen Lüftern und sind für Arbeitsräume in der Regel zu laut. Planen Sie einen separaten Raum oder einen gedämmten Schrank.
USV
Die USV überbrückt kurze Ausfälle und fährt den Server bei längeren sauber herunter. Batterien altern: regelmäßig testen und bei Änderungen neu dimensionieren.
Der Software-Stack: fünf Schichten.
Auf die Hardware kommen fünf Schichten. Halten Sie die Versionen von Treiber und Inferenz-Server aufeinander abgestimmt; die meisten Störungen entstehen dort, nicht im Modell.
Der Inferenz-Server stellt das Modell im Netz bereit. vLLM ist auf viele gleichzeitige Anfragen ausgelegt, läuft laut vLLM-Installationsanleitung unter Linux (unter Windows nicht nativ, nur über WSL) und bietet ein offizielles Docker-Image. Ollama ist der einfachste Einstieg; laut Ollama-FAQ verarbeitet es standardmäßig eine Anfrage je Modell gleichzeitig (OLLAMA_NUM_PARALLEL), und der Speicherbedarf wächst mit Parallelität mal Kontextlänge. llama.cpp läuft auf sehr unterschiedlicher Hardware.
| Schicht | Aufgabe | Worauf achten |
|---|---|---|
| Betriebssystem | Linux-Distribution mit Langzeitsupport (LTS) | vLLM unterstützt Windows nicht nativ |
| GPU-Treiber | Treiber und Rechenbibliothek des GPU-Herstellers | Version passend zum Inferenz-Server; Updates zuerst testen |
| Container-Laufzeit | Docker mit Compose v2 | GPU-Zugriff im Container braucht in der Regel ein Zusatzpaket des GPU-Herstellers |
| Inferenz-Server | vLLM, Ollama oder llama.cpp; dazu Embedding-Modell und Reranker | Gleichzeitige Anfragen einstellen; Schnittstelle nur intern |
| RAG-Plattform | RAGSuite Community Edition: Dokumente einlesen, suchen, Antworten mit Quelle; Rollen und Projektzugriff in der Enterprise Edition | PostgreSQL, Redis, ChromaDB; Oberfläche :9191, API :9090 |
Community Edition installieren →So funktioniert eine RAG-Pipeline →
Den KI-Server betreiben: Updates, Überwachung, Backups, Zugriff, offline.
Nach der Installation beginnt die eigentliche Arbeit. Ein KI-Server braucht dieselbe Pflege wie jeder andere Server, dazu ein paar KI-spezifische Kennzahlen: Wie voll ist der KV-Cache, und wie viele Anfragen warten?
Zum Datenschutz nur so viel: Ein eigener Server hält Daten im Haus, ersetzt aber weder Rechtekonzept noch Dokumentation. Was dazugehört, erklärt der Leitfaden DSGVO-konforme KI.
Updates
Treiber, Inferenz-Server, Modelle und Plattform getrennt aktualisieren, zuerst auf einem Testsystem. Bei RAGSuite behält ragsuite update --restart Datenbank und Konfiguration.
Überwachung
GPU-Speicher, Temperatur, laufende und wartende Anfragen beobachten. vLLM liefert laut vLLM-Dokumentation zu Metriken Kennzahlen über /metrics, etwa die Belegung des KV-Cache.
Backups
Datenbank, Suchindex, Konfiguration und Originaldokumente sichern. Modelldateien in einem internen Spiegel ablegen, damit ein Neuaufbau ohne Internet gelingt.
Zugriff
Die Modell-Schnittstelle nur für die Plattform erreichbar machen. Ollama lauscht standardmäßig nur auf 127.0.0.1:11434. Die Anmeldung, auf Wunsch mit Zwei-Faktor-Authentifizierung, regelt die Plattform; Rollen und Zugriff pro Projekt gibt es in der Enterprise Edition.
Offline-Modus
Online-Funktionen abschalten (Ollama: OLLAMA_NO_CLOUD=1), Modelle aus dem internen Spiegel laden und den Betrieb mit getrenntem Netz testen.
Bevor Sie bestellen.
Haken Sie ab, was erledigt ist. Nichts wird gespeichert.
Fragen zum eigenen KI-Server.
Was kostet ein eigener KI-Server?
Das hängt vor allem von fünf Treibern ab: der GPU-Speicherklasse und der Zahl der GPUs, dem Servergehäuse mit Netzteilen und Kühlung, Arbeitsspeicher und NVMe-Speicher, Strom und Klimatisierung über die gesamte Laufzeit und der Arbeitszeit für Betrieb und Updates. Der größte Hebel ist der GPU-Speicher, und den bestimmen vor allem die gleichzeitigen Anfragen. Viele Modelle und Werkzeuge sind Open Source, auch die RAGSuite Community Edition.
Reicht eine Grafikkarte mit 24 GB?
Für ein 7–8B-Modell in 4 Bit und bis zu 5 gleichzeitige Anfragen mit je 8.192 Tokens ja: Mit Embedding-Modell und Reranker braucht der Stack 16,5 GB, das belegt 69 % der Karte. Bei 10 gleichzeitigen Anfragen sind es 22,2 GB, das passt nur ohne Reranker (20,0 GB). Ein 30–34B-Modell in 4 Bit passt mit Embedding-Modell nicht, schon die Gewichte belegen 18,7 GB.
Brauche ich einen Server oder reicht ein Laptop?
Für einen ersten Test mit einem kleinen Modell reicht ein Laptop. Für ein Team brauchen Sie einen Server: Er läuft dauerhaft, ist im Firmennetz erreichbar, bedient mehrere Anfragen gleichzeitig und lässt sich überwachen und sichern. Ein Laptop wird bei mehreren Nutzern schnell zum Engpass.
Wie viele Nutzer schafft ein KI-Server?
Entscheidend ist nicht die Zahl der Konten, sondern wie viele Anfragen im selben Moment beantwortet werden. Jede gleichzeitige Anfrage braucht eigenen Speicher für ihren Kontext. Was nicht in den Speicher passt, wartet in einer Warteschlange. Der LLM-VRAM-Rechner zeigt, wie viele gleichzeitige Anfragen in Ihre Hardware passen.
Kann ich einen KI-Server selber bauen?
Ja, für Tests und kleine Teams ist eine selbst gebaute Workstation ein gängiger Weg. Achten Sie auf ein ausreichend starkes Netzteil, Luftstrom und Platz für die GPU, genug Arbeitsspeicher und gespiegelte NVMe-Laufwerke. Für den Dauerbetrieb im Unternehmen ist ein Server mit Herstellerservice, Fernwartung und Ersatzteilversorgung meist die robustere Wahl.
Welche Software braucht ein KI-Server?
Fünf Schichten: ein Linux-Betriebssystem mit Langzeitsupport, den GPU-Treiber, eine Container-Laufzeit wie Docker, einen Inferenz-Server wie vLLM, Ollama oder llama.cpp und eine RAG-Plattform, die Ihre Dokumente einliest, durchsucht und Antworten mit Quelle zeigt, etwa die RAGSuite Community Edition.
Läuft ein eigener KI-Server auch ohne Internet?
Ja, wenn Modelle, Embedding-Modell und Plattform lokal laufen. Das Internet brauchen Sie nur für Downloads und Updates, und auch die können Sie über einen internen Spiegel einspielen. Bei Ollama lassen sich die Cloud-Funktionen laut Dokumentation mit OLLAMA_NO_CLOUD=1 abschalten. Prüfen Sie den Offline-Betrieb mit getrenntem Netz.
Kaufen oder einen GPU-Server mieten?
Ein gemieteter dedizierter GPU-Server in einem deutschen Rechenzentrum spart Serverraum, Strom- und Kühlungsplanung und Hardwarewartung. Die Software betreiben Sie trotzdem selbst. Kaufen lohnt sich eher, wenn die Daten physisch im Haus bleiben sollen oder die Hardware über Jahre gleichmäßig ausgelastet ist. Beim Mieten brauchen Sie in der Regel einen Vertrag zur Auftragsverarbeitung.
Ihr KI-Server, passend zu Team und Dokumenten.
Mihaela prüft mit Ihnen Nutzerzahl, Modell und Dokumente und leitet daraus Hardware und Betrieb ab, bevor Sie bestellen.