Ein Open-Source-LLM ist ein Sprachmodell, dessen Gewichte frei verfügbar sind, sodass Sie es auf eigener Hardware betreiben können. Damit bleiben Fragen und Dokumente in Ihrem Netz, und Sie sind nicht an einen Modellanbieter gebunden.
Die Auswahl ist groß und ändert sich jeden Monat. Ranglisten helfen dabei wenig, denn sie messen allgemeine Aufgaben auf Englisch. Für Ihr Unternehmen zählt, ob ein Modell auf Ihrer Hardware läuft, Ihre Dokumente auf Deutsch gut verarbeitet und rechtlich zu Ihrem Einsatz passt.
- „Offen“ heißt bei Sprachmodellen meist: Die Gewichte sind frei verfügbar. Was Sie damit tun dürfen, regelt die Lizenz, und die unterscheidet sich stark.
- Die Hardware folgt aus der Modellgröße. Faustregel: Mit 4-Bit-Quantisierung braucht ein Modell etwa ein halbes Gigabyte Grafikspeicher je Milliarde Parameter, plus Reserve.
- Testen Sie zwei oder drei Kandidaten mit Ihren eigenen Dokumenten auf Deutsch, statt nach Ranglisten zu gehen. In einer Plattform mit freier Modellwahl wechseln Sie später ohne Neuanfang.
Was ist ein Open-Source-LLM?
Ein großes Sprachmodell (LLM) besteht aus Milliarden gelernter Zahlenwerte, den Gewichten. Bei einem offenen Modell stellt der Hersteller diese Gewichte zum Herunterladen bereit. Sie laden das Modell auf Ihren Server und betreiben es dort, ohne Daten an einen Anbieter zu schicken.
Der Begriff „Open Source“ wird dabei unterschiedlich weit verwendet. Die Open Source Initiative hat im Oktober 2024 eine Definition für offene KI veröffentlicht, die neben den Gewichten auch Angaben zu Trainingsdaten und Code verlangt. Viele Modelle, die als offen gelten, erfüllen das nicht vollständig. Genauer ist oft der Begriff „offene Gewichte“.
Modell per API
- Läuft beim Anbieter; Frage und Textstellen gehen dorthin.
- Keine eigene GPU nötig.
- Preis und Modellversion bestimmt der Anbieter.
Offenes Modell, selbst betrieben
- Läuft auf Ihren Servern; Daten bleiben im Haus.
- Braucht passende Hardware, meist eine GPU.
- Version und Wechselzeitpunkt bestimmen Sie.
Beides hat seinen Platz. Viele Unternehmen nutzen ein offenes Modell für vertrauliche Daten und ein Modell per API für unkritische Aufgaben. Wichtig ist, dass Ihre Plattform beides zulässt.
Kriterium 1: die Lizenz
Die Lizenz entscheidet, ob Sie ein Modell überhaupt im Unternehmen einsetzen dürfen. Prüfen Sie sie, bevor Sie Zeit in Tests stecken.
| Lizenztyp | Was er meist erlaubt | Worauf Sie achten |
|---|---|---|
| Freizügig (z. B. Apache 2.0, MIT) | kommerzielle Nutzung, Änderung, Weitergabe | Hinweis- und Lizenztexte mitliefern |
| Eigene Modelllizenz des Herstellers | oft kommerzielle Nutzung mit Bedingungen | Nutzungsgrenzen, verbotene Einsatzzwecke, Pflicht zur Namensnennung |
| Nur Forschung | Tests und Forschung | kein produktiver Einsatz im Unternehmen |
Lesen Sie bei eigenen Herstellerlizenzen besonders die Liste der untersagten Zwecke und mögliche Schwellen, ab denen eine gesonderte Lizenz nötig wird. Halten Sie fest, welches Modell in welcher Version unter welcher Lizenz läuft. Das gehört in Ihre Dokumentation, wie jede andere Software auch.
Kriterium 2: Größe und Hardware
Die Modellgröße wird in Parametern angegeben, etwa 8 oder 70 Milliarden. Je größer, desto mehr kann ein Modell, und desto mehr Grafikspeicher braucht es. Durch Quantisierung, also das Speichern der Gewichte mit weniger Bits, sinkt der Bedarf deutlich, bei meist geringem Qualitätsverlust.
| Modellgröße | 16 Bit (unquantisiert) | 4 Bit (quantisiert) |
|---|---|---|
| etwa 8 Mrd. Parameter | etwa 16 GB | etwa 5 GB |
| etwa 30 Mrd. Parameter | etwa 60 GB | etwa 18 GB |
| etwa 70 Mrd. Parameter | etwa 140 GB | etwa 40 GB |
Die Werte sind Faustregeln für die Gewichte allein. Dazu kommt Speicher für den Kontext, der mit langen Dokumenten und vielen gleichzeitigen Nutzern wächst. Planen Sie deshalb Reserve ein und testen Sie mit realer Last. Für eine RAG-Anwendung reicht oft ein mittelgroßes Modell, weil es nicht alles wissen muss: Die passenden Textstellen liefert die Suche.
Kriterien 3 und 4: Deutsch und Kontextlänge
Viele Modelle sind überwiegend auf englischen Texten trainiert. Auf Deutsch schwanken Rechtschreibung, Fachbegriffe und Tonfall stärker als Ranglisten vermuten lassen. Testen Sie deshalb mit echten Fragen und Dokumenten aus Ihrem Alltag: einer Richtlinie, einem Vertrag, einer Produktbeschreibung.
Die Kontextlänge gibt an, wie viel Text ein Modell auf einmal verarbeitet, gemessen in Tokens. In einer RAG-Anwendung muss sie die Regeln, die Frage und die gefundenen Textstellen fassen. Größer ist nicht automatisch besser: Ein langer Kontext braucht mehr Speicher und macht Antworten langsamer.
Alle Punkte abgehakt. Gut vorbereitet.
Das klingt nach Aufwand, ist aber in wenigen Tagen erledigt, wenn Ihre Plattform den Modellwechsel ohne Umbau erlaubt.
Kriterien 5 und 6: Betrieb und Updates
Für den Betrieb brauchen Sie eine Laufzeitumgebung, die das Modell lädt und Anfragen beantwortet. Für den Einstieg und kleine Teams ist eine einfache Lösung wie Ollama verbreitet. Für viele gleichzeitige Nutzer sind auf Durchsatz optimierte Server wie vLLM üblich. Beide bieten eine OpenAI-kompatible Schnittstelle.
Lizenz prüfen bevor Sie testenLaufzeit wählen einfach für den Start, auf Durchsatz für viele NutzerMit eigenen Daten testen zwei bis drei KandidatenWechsel einplanen neue Versionen ohne Umbau einspielen
Offene Modelle entwickeln sich schnell. Was heute passt, ist in einem Jahr vielleicht überholt. Planen Sie Updates deshalb wie bei anderer Software: neue Version testen, mit dem bisherigen Modell vergleichen, dann umstellen. Das gelingt nur, wenn Ihre Anwendung nicht fest an ein Modell gebunden ist, ein Gedanke, den der Beitrag zu Vendor Lock-in vertieft.
In RAGSuite wählen Sie das Sprachmodell pro Projekt: lokal über Ollama, vLLM oder jeden OpenAI-kompatiblen Endpunkt, oder per API mit Ihrem eigenen Schlüssel. Ein Wechsel braucht keine Neuinstallation, und mit einem lokalen Modell läuft RAGSuite auch ohne Verbindung nach außen. Wie das auf Ihren Servern aussieht, zeigt die Seite lokale KI für Unternehmen; den kostenlosen Einstieg bietet die Open-Source-KI für Unternehmen, die Community Edition.
Testen Sie offene Modelle mit Ihren eigenen Dokumenten: mit der kostenlosen Community Edition oder 7 Tage in der RAGSuite Engine.
Häufige Fragen
Was ist ein Open-Source-LLM?
Ein Open-Source-LLM ist ein großes Sprachmodell, dessen Gewichte frei verfügbar sind. Sie können es herunterladen und auf eigenen Servern betreiben, sodass keine Daten an einen Modellanbieter gehen. Was Sie damit tun dürfen, regelt die jeweilige Lizenz. Genauer ist oft der Begriff offene Gewichte.
Welches Open-Source-LLM ist das beste für Unternehmen?
Ein allgemein bestes Modell gibt es nicht. Entscheidend sind Lizenz, verfügbare Hardware, Qualität auf Deutsch, Kontextlänge und Betrieb. Testen Sie zwei oder drei Kandidaten mit Ihren eigenen Fragen und Dokumenten. Ranglisten messen meist allgemeine Aufgaben auf Englisch und sagen wenig über Ihren Einsatz.
Welche Hardware brauche ich für ein lokales LLM?
Das hängt von der Modellgröße ab. Als Faustregel braucht ein Modell mit 4-Bit-Quantisierung etwa ein halbes Gigabyte Grafikspeicher je Milliarde Parameter, plus Reserve für den Kontext. Ein Modell mit etwa 8 Milliarden Parametern läuft damit auf einer einzelnen Grafikkarte, sehr große Modelle brauchen mehrere.
Darf ich Open-Source-LLMs kommerziell nutzen?
Bei freizügigen Lizenzen wie Apache 2.0 oder MIT meist ja. Viele Modelle stehen aber unter eigenen Lizenzen des Herstellers mit Bedingungen, etwa verbotenen Einsatzzwecken oder Nutzungsgrenzen. Manche sind nur für Forschung freigegeben. Prüfen Sie die Lizenz vor dem Test und dokumentieren Sie Modell und Version.
Kann ich das Modell später wechseln?
Ja, wenn Ihre Anwendung nicht fest an ein Modell gebunden ist. In RAGSuite wählen Sie das Sprachmodell pro Projekt und wechseln ohne Neuinstallation, ob lokal über Ollama oder vLLM oder per API. So testen Sie neue Versionen gegen das bisherige Modell, bevor Sie umstellen.
Quellen
- Open Source Initiative: The Open Source AI Definition 1.0 (Oktober 2024): Definition offener KI
- Apache License 2.0: freizügige Lizenz
- Ollama (GitHub): Laufzeit für lokale Modelle
- vLLM: Dokumentation: Laufzeit für hohen Durchsatz
Mihaela begleitet Kunden von der Installation bis zum ersten produktiven Projekt. Sie schreibt über Betrieb, Konnektoren und die Kosten im eigenen Rechenzentrum.