NeuRAGSuite Engine: die Wissens-Engine für Ihre Daten, betrieben in Deutschland.Mehr zur RAGSuite Engine

ProduktRAG EnginePlattform-ÜberblickKI-GovernanceKI-ChatbotKI-Assistenten erstellenKI-SucheKI-WissensdatenbankKonnektoren & IntegrationenMCP-ServerProdukttour ansehen →
Engine & Self-hostedRAGSuite EngineSelf-hosted / On-PremiseOpen Source (Community)RAGSuite Engine oder Self-hosted? →
LösungenMittelstandGesundheitswesenÖffentliche VerwaltungBanken & VersicherungenAlternative zu ChatGPTAgenturen & PartnerAlle Lösungen →
Fallstudien
Preise
RessourcenRatgeberBlogKostenlose ToolsKI-DatenschutzEU AI ActTrust Center
Open Source auf GitHub
Kostenlos testenDemo buchen
Ratgeber · Lokale KI · Modelle

Lokale KI-Modelle im Vergleich: welches offene LLM für Deutsch?

Lokale KI-Modelle laufen auf Ihrer eigenen Hardware, Ihre Dokumente bleiben im Haus. Welches lokale LLM für Deutsch passt, hängt von Lizenz, Größe und Sprachunterstützung ab. Hier finden Sie zehn offene Modellfamilien im Faktenvergleich, direkt aus den Angaben der Herausgeber. Die beste lokale KI für Ihre Dokumente finden Sie mit unserem kostenlosen Testset: 30 Fragen auf Deutsch, die Sie selbst auswerten.

Modellfamilien im Überblick
Modellfamilien10, alphabetisch
QuelleModel Cards und Lizenzen
Deutsch offiziell genanntbei 5 von 10
Speicherbedarfwie im VRAM-Rechner
Testset30 Fragen, CC BY 4.0
Quelle: Model Cards und LizenzenStand 05.11.2026

Das Wichtigste in Kürze

  • Die Tabelle zeigt Angaben aus den Model Cards und Lizenzen der Herausgeber, alphabetisch sortiert.
  • Deutsch nennen 5 von 10 Herausgebern ausdrücklich als unterstützte Sprache: EuroLLM, Granite 4.2, Llama, Mistral und Teuken-7B. Fehlt Deutsch in der Liste, sagt das noch nichts über die Qualität.
  • „Offen“ heißt nicht „bedingungslos“: Nutzerschwellen, EU-Klauseln, Nutzungsrichtlinien und nicht kommerzielle Versionen stehen in den Lizenzen, nicht im Modellnamen.
  • Testen Sie selbst: Unser RAG-Testset Deutsch mit 30 Fragen, Musterantworten und Bewertungsbogen steht unter CC BY 4.0 zum Download.
Einfach erklärt

Was diese Seite leistet, und was nicht.

Wer lokale KI im Unternehmen betreiben will, muss irgendwann ein Modell wählen. Nach welchen Kriterien, erklärt unser Beitrag Open-Source-LLMs: sechs Kriterien für die Auswahl. Diese Seite ist das konkrete Gegenstück dazu: die aktuellen Modellfamilien mit ihren Angaben nebeneinander, und ein Werkzeug, mit dem Sie Kandidaten auf Deutsch prüfen.

Was Sie hier nicht finden: Punkte, Sieger oder „Top 10“. Solange wir die Modelle nicht selbst gemessen haben, wäre jede Reihenfolge eine Meinung. Unsere eigenen Messwerte mit dem Testset veröffentlichen wir später auf dieser Seite.

Angaben der Herausgeber

Größen, Lizenz, Kontext, Deutsch und Erscheinungsdatum aus den Angaben der Herausgeber, mit Link zur Quelle.

Speicher nachgerechnet

Der Speicherbedarf jedes Modells kommt aus denselben Formeln wie der LLM-VRAM-Rechner.

Selbst testen

30 Fragen auf Deutsch zu einem fiktiven Firmenhandbuch, mit Musterantworten und Bewertungsbogen.

lokale KI im Unternehmen betreiben →Sechs Kriterien für die Modellwahl →

Faktentabelle

Zehn offene Modellfamilien für den lokalen Betrieb.

Aufgenommen haben wir Familien mit frei herunterladbaren Gewichten, die sich auf eigener Hardware betreiben lassen und für deutschsprachige Unternehmen eine Rolle spielen. Phi-4 steht als Gegenbeispiel in der Tabelle: Der Herausgeber sieht es ausdrücklich nicht für mehrsprachige Nutzung vor. Die Reihenfolge ist alphabetisch und sagt nichts über Qualität.

Modellfamilie · HerausgeberGrößen (Parameter)LizenzKontext (Tokens)Deutsch offiziell genanntErschienenVRAM (4 Bit, 1 Nutzer, 8k)
Apertus
Swiss AI Initiative (ETH Zürich, EPFL)
8B, 70B (Version 2509; neuere Versionen v1.1 mit 0,5B–4B und v1.5 sind erschienen)Apache 2.0 plus Acceptable Use Policy: Freistellung der Hochschulen von Ansprüchen Dritter, Ausgabefilter für Löschanfragen empfohlen65.536nicht einzeln genannt (1.811 Sprachen)Sep. 20258B: 7,4 GB
70B: 50,1 GB
Selbst rechnen →
EuroLLM
EuroLLM-Projekt (europäisches Forschungskonsortium)
9B, 22B (Version 2512)Apache 2.032.768ja (24 EU-Amtssprachen und 11 weitere)Dez. 20259B: 8,5 GB
22B: 17,8 GB
Selbst rechnen →
Gemma 4
Google DeepMind
E2B (5,1B inkl. Embeddings), E4B (8B), 12B, 31B; MoE 26B A4B (25,2B gesamt, 3,8B aktiv)Apache 2.0128K (E2B, E4B), 256K (übrige)nicht einzeln genannt (35+ Sprachen, Training mit 140+)ab Apr. 2026E4B: 7,0† GB
26B A4B: 20,1† GB
31B: 30,1† GB
Selbst rechnen →
gpt-oss
OpenAI
MoE 20b (21B gesamt, 3,6B aktiv), MoE 120b (117B gesamt, 5,1B aktiv)Apache 2.0 plus kurze Nutzungsrichtlinie (geltendes Recht einhalten)128Knicht genanntAug. 202520b: 15,1† GB
120b: 78,2† GB
Selbst rechnen →
Granite 4.2
IBM
3B, 8B, 30B (dicht)Apache 2.0131.072 (laut Model Card erweiterbar auf 512K)ja (12 Sprachen)Aug. 20263B: 4,1 GB
8B: 8,2 GB
30B: 22,5 GB
Selbst rechnen →
Llama
Meta
Llama 3.3: 70B; Llama 4: Scout MoE 109B (17B aktiv), Maverick MoE 400B (17B aktiv)Eigene Lizenzen (Llama 3.3 / Llama 4 Community License): Zusatzlizenz ab 700 Mio. monatlich aktiven Nutzern, „Built with Llama“, Acceptable Use Policy. Llama 4 multimodal: Rechte aus Abschnitt 1(a) nicht für Personen mit Wohnsitz oder Unternehmen mit Hauptsitz in der EU3.3: 128K; Scout: 10 Mio.; Maverick: 1 Mio.ja (3.3: 8 Sprachen, 4: 12 Sprachen)Dez. 2024 (3.3), Apr. 2025 (4)3.3 70B: 50,1 GB
Scout: 73,9† GB
Selbst rechnen →
Mistral
Mistral AI
Ministral 3: 3B, 8B, 14B; Mistral Small 4: MoE 119B (6B aktiv)Apache 2.0256KjaDez. 2025 (Ministral 3), März 2026 (Small 4)3B: 4,5 GB
8B: 8,1 GB
14B: 11,6 GB
Small 4: nicht berechnet‡
Selbst rechnen →
Phi-4
Microsoft
14BMIT16Knein: laut Model Card „nicht für mehrsprachige Nutzung vorgesehen“Dez. 202414B: 12,4 GB
Selbst rechnen →
Qwen3.8
Qwen-Team (Alibaba)
27B (dicht); Flash-Next: MoE 125B (6B aktiv, dazu 51B N-Gramm-Embedding und 4B MTP); 2.4T-A95B: MoE 2,4 Bio. (95B aktiv)27B: Apache 2.0. Flash-Next: Qwen Community License 1.0; 2.4T: Qwen3.8-Max License. Beide: Modellname in der Oberfläche ab 100 Mio. MAU oder 20 Mio. US-$ Monatsumsatz; Unternehmen mit „Model as a Service“- oder KI-Arbeitsassistenten-Geschäft brauchen eine Zusatzlizenz (beim 2.4T-Modell erst ab 50 Mio. US-$ Jahresumsatz der Gruppe); rein interne Nutzung ohne Zugang für Dritte ausgenommen262.144 (erweiterbar auf 1 Mio.)nicht einzeln genannt (201 Sprachen und Dialekte)Aug. 202627B: 21,5† GB
Selbst rechnen →
Teuken-7B
OpenGPT-X (Forschungsprojekt, BMWK-gefördert)
7Bv0.4 „commercial“: Apache 2.0; v0.6: CC BY-NC 4.0, nur nicht kommerziell4.096ja (24 EU-Amtssprachen)Nov. 2024 (v0.4)7B: 6,0 GB (4k)
Selbst rechnen →

Stand: 5. November 2026. Wir prüfen die Tabelle regelmäßig; maßgeblich ist das Stand-Datum. Größen: Parameterzahl laut Herausgeber; bei MoE-Modellen (Mixture of Experts) gesamt und je Token aktiv; bei multimodalen Modellen inklusive Bild- oder Audio-Encoder. Kontext: native Länge laut Model Card, Erweiterungen in Klammern; bei Teuken laut config.json. „Erschienen“: Datum des offiziellen Release-Beitrags oder der Model Card. VRAM: nur das Sprachmodell, 4 Bit (Q4_K_M), eine Anfrage mit 8.192 Tokens, eigene Berechnung mit den Formeln des LLM-VRAM-Rechners. † Obergrenze, weil die Formel jede Schicht wie volle Attention behandelt; Modelle mit Sliding-Window-, Chunk- oder linearer Attention brauchen weniger KV-Cache. ‡ Mistral Small 4 nutzt eine komprimierte Attention, die der Rechner nicht abbildet. Teuken-7B verarbeitet höchstens 4.096 Tokens und ist mit diesem Wert gerechnet.

Speicherbedarf jedes Modells berechnen →

Deutsch

Warum Modelle unterschiedlich gut Deutsch können.

Drei Gründe spielen nach heutigem Stand eine Rolle. Erstens die Tokenisierung: Sprachmodelle zerlegen Text in Tokens, und derselbe Inhalt wird je nach Sprache unterschiedlich fein zerlegt. Eine Studie auf der NeurIPS 2023 fand bei Übersetzungen desselben Textes Unterschiede in der Tokenzahl von bis zu Faktor 15 (Petrov et al., arXiv 2305.15425). Mehr Tokens für denselben Text bedeuten in der Regel mehr Rechenzeit und weniger Inhalt im Kontextfenster. Wie Ihr eigener Text zerlegt wird, zeigt unser Tokenizer.

Zweitens die Trainingsdaten: Wie viel Deutsch ein Modell gesehen hat, geben nur wenige Herausgeber an. Teuken-7B wurde laut seinem Forschungsbericht mit rund 60 % nicht englischen Daten und einem eigenen mehrsprachigen Tokenizer trainiert (Ali et al., arXiv 2410.03730). Bei Phi-4 machen mehrsprachige Daten laut Model Card etwa 8 % aus. Drittens die Zusage des Herausgebers: Meta nennt für Llama 3.3 nur die Sprachen „unterstützt“, die seine Schwellen für Sicherheit und Hilfsbereitschaft erreichen.

Was das für Ihre Auswahl heißt: Die Angaben in der Tabelle grenzen die Kandidaten ein, entscheiden aber nicht. Ob ein Modell Ihre Fragen auf Deutsch korrekt aus Ihren Dokumenten beantwortet, zeigt erst ein Test.

Tokenisierung

Zerlegt ein Modell deutsche Wörter in viele kleine Stücke, passt weniger Text in den Kontext, und Antworten dauern länger.

Trainingsdaten

Der Anteil deutscher Texte im Training ist selten veröffentlicht. Europäische Projekte wie EuroLLM und Teuken legen den Schwerpunkt auf EU-Sprachen.

Zusage

„Unterstützt“ heißt: Der Herausgeber nennt die Sprache ausdrücklich, teils mit eigenen Tests. Es ist kein Qualitätsnachweis für Ihre Dokumente.

Tokens zählen mit dem Tokenizer →

Lizenzen

Lizenzfallen für Unternehmen.

Die Gewichte aller Modelle in der Tabelle sind frei herunterladbar. Was Sie damit tun dürfen, regelt die Lizenz, und die unterscheidet sich teils innerhalb einer Modellfamilie. Die folgenden Punkte stammen aus den Lizenztexten selbst. Sie ersetzen keine Rechtsberatung; lassen Sie die Lizenz des Modells, das Sie einsetzen wollen, in der Regel von Ihrer Rechtsabteilung prüfen.

Gleicher Name, andere Lizenz

Teuken-7B v0.4 „commercial“ steht unter Apache 2.0, die neuere v0.6 unter CC BY-NC 4.0, also nur für nicht kommerzielle Zwecke. Bei Qwen3.8 steht das 27B-Modell unter Apache 2.0, die größeren Modelle unter eigenen Qwen-Lizenzen.

Schwellen und Namensnennung

Llama verlangt ab 700 Mio. monatlich aktiven Nutzern eine eigene Lizenz und bei Weitergabe den Hinweis „Built with Llama“. Die Qwen-Lizenzen verlangen ab 100 Mio. monatlich aktiven Nutzern oder 20 Mio. US-Dollar Monatsumsatz, den Modellnamen in der Oberfläche anzuzeigen.

EU-Klausel bei Llama 4

Laut Acceptable Use Policy werden für multimodale Llama-4-Modelle die Rechte aus Abschnitt 1(a) Personen mit Wohnsitz in der EU und Unternehmen mit Hauptsitz in der EU nicht eingeräumt; Endnutzer eines Produkts, das solche Modelle enthält, sind ausgenommen. Meta beschreibt Scout und Maverick als nativ multimodal.

Angebot für Dritte

Die Qwen-Lizenzen für Flash-Next und das 2.4T-Modell verlangen eine Zusatzlizenz für jede kommerzielle Nutzung, wenn Ihr Unternehmen Modellzugriff als Dienst („Model as a Service“) oder einen KI-Arbeitsassistenten für Programmierung oder Büroarbeit anbietet; beim 2.4T-Modell gilt das erst ab 50 Mio. US-Dollar Umsatz in zwölf Monaten. Rein interne Nutzung ohne Zugang für Dritte ist ausgenommen.

Nutzungsrichtlinien

Zusätzlich zur Lizenz gelten teils eigene Richtlinien: bei Llama die Acceptable Use Policy, bei gpt-oss eine kurze Nutzungsrichtlinie. Bei Apertus verpflichten Sie sich unter anderem, die Hochschulen von Ansprüchen Dritter freizustellen, und sollen einen Ausgabefilter für Löschanfragen alle sechs Monate aktualisieren.

Dokumentieren

Halten Sie fest, welches Modell in welcher Version unter welcher Lizenz läuft, wie bei jeder anderen Software. Bei einem Modellwechsel prüfen Sie die Lizenz neu.

Kriterium Lizenz im Detail →

Größe und Hardware

Modellgröße und Hardware: was wohin passt.

Der wichtigste Wert für die Hardware ist der GPU-Speicher. Die Grafik zeigt für je ein bis drei Größen pro Familie, wie viel das Sprachmodell allein in 4 Bit für eine Anfrage braucht. Bis etwa 8B passt ein Modell mit Reserve auf eine GPU mit 16 GB, Modelle zwischen 27B und 31B brauchen je nach Architektur 24 bis 48 GB, ein 70B-Modell braucht 80 GB oder zwei GPUs.

Bei MoE-Modellen liegt immer das gesamte Modell im Speicher, auch wenn je Token nur ein kleiner Teil rechnet. Ein MoE-Modell antwortet dadurch oft schneller als ein gleich großes dichtes Modell, braucht aber nicht weniger Speicher. Und im Betrieb kommt für jede gleichzeitige Anfrage KV-Cache dazu: Bei vielen Nutzern ist er oft größer als das Modell selbst.

Speicherbedarf jedes Modells berechnen →Eigener KI-Server: Hardware planen →

Speicherbedarf nur des Sprachmodells in 4 Bit für eine Anfrage mit 8.192 Tokens: Granite 4.2 3B 4,1 GB, Gemma 4 E4B 7,0 GB, Ministral 3 8B 8,1 GB, Phi-4 12,4 GB, gpt-oss 20b 15,1 GB, EuroLLM 22B 17,8 GB, Qwen3.8 27B 21,5 GB, Granite 4.2 30B 22,5 GB, Gemma 4 31B 30,1 GB, Llama 3.3 70B 50,1 GB, gpt-oss 120b 78,2 GB. Linien bei 16, 24, 32, 48 und 80 GB.GPU-SPEICHER IN GB (1 GB = 1024³ BYTE)1624324880Granite 4.2 3B4,1 GBGemma 4 E4B7,0 GB†Ministral 3 8B8,1 GBPhi-4 14B12,4 GBgpt-oss 20b15,1 GB†EuroLLM 22B17,8 GBQwen3.8 27B21,5 GB†Granite 4.2 30B22,5 GBGemma 4 31B30,1 GB†Llama 3.3 70B50,1 GBgpt-oss 120b78,2 GB†† Obergrenze: Modell mit Sliding-Window- oder linearer Attention
Nur das Sprachmodell: Gewichte in 4 Bit (Q4_K_M), KV-Cache in FP16, 15 % Laufzeit-Reserve, 1 GB je Prozess. Mit Embedding-Modell und Reranker kommen 4,4 GB dazu; der Rechner plant außerdem 10 % Puffer ein. Eigene Berechnung mit den Formeln des LLM-VRAM-Rechners.
Testkit

So testen Sie lokale Modelle selbst.

Ein guter Test vergleicht Modelle unter gleichen Bedingungen mit Fragen, deren richtige Antwort Sie kennen. Genau das liefert das RAG-Testset Deutsch: ein fiktives Mitarbeiterhandbuch der Musterwerk GmbH mit rund 1.400 Wörtern in 14 Abschnitten und 30 Fragen dazu, jeweils mit Musterantwort, Quellabschnitt und Kategorie. Fünf Fragen sind absichtlich nicht beantwortbar: Hier muss das Modell sagen, dass das Handbuch die Antwort nicht enthält.

Alles steht unter Creative Commons Namensnennung 4.0 (CC BY 4.0): Sie dürfen es nutzen, verändern und weitergeben, auch kommerziell, mit Quellenangabe „RAG-Testset Deutsch, RAGSuite (ragsuite.de), CC BY 4.0“.

01

Kandidaten wählen

Zwei bis drei Modelle aus der Tabelle, deren Lizenz zu Ihrem Einsatz passt und die auf Ihre Hardware passen.

02

Bedingungen festlegen

Gleiche Quantisierung, gleiche Suche (Chunk-Größe, Anzahl Treffer, Embedding-Modell) und gleiche Systemanweisung für alle. Versionen notieren.

03

Fragen stellen

Das Handbuch als ein Dokument einlesen und alle 30 Fragen auf Deutsch stellen, jede in einer neuen Unterhaltung.

04

Bewerten

Jede Antwort mit der Musterantwort vergleichen und nach der Tabelle unten bewerten. Am besten bewerten zwei Personen unabhängig.

05

Mit eigenen Dokumenten wiederholen

Den Ablauf mit 20 bis 30 echten Fragen aus Ihrem Alltag wiederholen. Erst das entscheidet.

Lokale KI mit eigenen Daten: RAG mit Ollama →

Testset

Fünf Kategorien, 30 Fragen.

Jede Kategorie prüft eine typische Schwäche beim Antworten aus Dokumenten. Die Beispiele stammen aus dem Testset.

KategorieFragenWas sie prüftBeispiel
Faktenfrage7Eine Angabe aus einem AbschnittWo befindet sich der Sanitätsraum?
Zahl/Datum8Zahlen, Beträge, Uhrzeiten und Fristen exakt wiedergebenWie hoch darf ein Hotel in Hamburg pro Nacht kosten?
mehrere Abschnitte5Zwei Textstellen verbinden oder einfach schlussfolgernIch arbeite in der Frühschicht und bin krank. Bis wann muss ich mich melden?
nicht beantwortbar5Das Handbuch enthält die Antwort nicht. Richtig ist: „Das steht nicht im Handbuch.“Wie viele Tage Sonderurlaub gibt es bei der eigenen Hochzeit?
Umlaute/Fachbegriffe5Namen mit Umlauten und Sonderzeichen, deutsche FachbegriffeWas ist ein EMPB, und wann wird er erstellt?
Bewertung

Bewertungsschema: richtig, teilweise, falsch, korrekt verweigert.

Vier Stufen reichen, damit zwei Personen zu ähnlichen Ergebnissen kommen. Entscheidend ist die Stufe „korrekt verweigert“: Ein Modell, das bei fehlender Information ehrlich passt, ist für Unternehmensdokumente wertvoller als eines, das plausibel klingende Antworten erfindet.

BewertungPunkteWann
richtig2Antwort stimmt und ist vollständig; die richtige Textstelle ist genannt oder erkennbar genutzt.
teilweise1Kern stimmt, aber unvollständig oder mit kleinem Fehler, etwa falscher Uhrzeit bei richtigem Ablauf.
falsch0Falsch, erfunden, oder verweigert, obwohl die Antwort im Handbuch steht.
korrekt verweigert2Nur bei „nicht beantwortbar“: Das Modell sagt, dass das Handbuch die Antwort nicht enthält. Eine erfundene Antwort zählt als falsch.

Höchstwert: 60 Punkte. Werten Sie zusätzlich je Kategorie aus: Ein Modell, das viele Punkte holt, aber bei „nicht beantwortbar“ erfindet, ist für Unternehmensdokumente riskant.

Bewertungsbogen

Bewertungsbogen zum Ausdrucken.

Tragen Sie je Modell 0, 1 oder 2 Punkte ein. Die Musterantworten und Quellabschnitte stehen in der CSV- und JSON-Datei; so bleibt der Bogen kurz und die Lösung beim Bewerten nicht im Blick der Testperson.

Nr.KategorieFrageModell AModell BModell C
Q01FaktenfrageWas stellt die Musterwerk GmbH her?   
Q02FaktenfrageWer ist Geschäftsführerin der Musterwerk GmbH?   
Q03FaktenfrageWie heißt das Reiseportal, in dem Dienstreisen genehmigt und abgerechnet werden?   
Q04FaktenfrageWo befindet sich der Sanitätsraum?   
Q05FaktenfrageMit welchem Formular beantrage ich mobiles Arbeiten?   
Q06FaktenfrageWohin kommen beanstandete Teile aus einer Kundenreklamation?   
Q07FaktenfrageDarf ich Kundendaten beim mobilen Arbeiten auf meinem privaten Laptop speichern?   
Q08Zahl/DatumWie viele Urlaubstage habe ich bei einer Fünftagewoche?   
Q09Zahl/DatumBis wann muss Resturlaub aus dem Vorjahr genommen werden?   
Q10Zahl/DatumWann ist am Freitag Kernzeit?   
Q11Zahl/DatumWie viel Kilometergeld gibt es für Fahrten mit dem privaten Pkw?   
Q12Zahl/DatumWie hoch darf ein Hotel in Hamburg pro Nacht kosten?   
Q13Zahl/DatumWie lautet die interne Notrufnummer?   
Q14Zahl/DatumWie viele Beschäftigte hat Musterwerk?   
Q15Zahl/DatumIn welchem Takt fährt der Shuttlebus zwischen Werk Nord und Haus Süd?   
Q16mehrere AbschnitteIch arbeite in der Frühschicht und bin krank. Bis wann muss ich mich melden, und um wie viel Uhr ist das?   
Q17mehrere AbschnitteIch arbeite in der Fertigung im Werk Nord. Darf ich an einzelnen Tagen mobil arbeiten, und wann beginnt meine Spätschicht?   
Q18mehrere AbschnitteIch arbeite im Haus Süd. Wo kann ich mittags warm essen, und wie komme ich dorthin?   
Q19mehrere AbschnitteIch habe einen Laptop mit Personaldaten verloren. Wen informiere ich, wie und bis wann?   
Q20mehrere AbschnitteIch bekomme Besuch für eine Führung durch Halle 2. Was muss ich vorher und vor Ort beachten?   
Q21nicht beantwortbarWie viele Tage Sonderurlaub gibt es bei der eigenen Hochzeit?   
Q22nicht beantwortbarWie hoch ist das Tagegeld für Verpflegung bei Dienstreisen?   
Q23nicht beantwortbarWie lautet die Durchwahl der Geschäftsführerin?   
Q24nicht beantwortbarWie viele Tage Bildungsurlaub nach Landesgesetz stehen mir zusätzlich zu?   
Q25nicht beantwortbarWelche Note braucht man in der jährlichen Sicherheitsunterweisung zum Bestehen?   
Q26Umlaute/FachbegriffeWas ist ein EMPB, und wann wird er erstellt?   
Q27Umlaute/FachbegriffeBis wann müssen bei einem 8D-Report die Sofortmaßnahmen feststehen, und bis wann der vollständige Bericht?   
Q28Umlaute/FachbegriffeEin Messschieber trägt einen roten Aufkleber. Was bedeutet das, und wie oft werden Messmittel kalibriert?   
Q29Umlaute/FachbegriffeWer ist Vorsitzender des Betriebsrats, und wie erreiche ich ihn?   
Q30Umlaute/FachbegriffeAb wann muss ich bei Arbeitsunfähigkeit eine ärztliche Bescheinigung vorlegen, und muss ich einen Papierschein einreichen?   
Summehöchstens 60 Punkte   
Benchmark

Eigene Messergebnisse: folgen.

Wir werden ausgewählte Modelle aus der Tabelle mit genau diesem Testset auf eigener Hardware messen und die Ergebnisse hier veröffentlichen, mit allen Einstellungen, damit Sie sie nachprüfen können.

Sie haben das Testset schon eingesetzt? Wir freuen uns über Ihre Ergebnisse und Verbesserungsvorschläge über das Kontaktformular.

FAQ

Fragen zu lokalen KI-Modellen.

Welches lokale LLM ist das beste für Deutsch?

Eine allgemeine Antwort gibt es nicht. Ausdrücklich als unterstützte Sprache nennen Deutsch die Herausgeber von EuroLLM, Granite 4.2, Llama 3.3 und Llama 4, Ministral 3 und Mistral Small 4 sowie Teuken-7B. Ob ein Modell Ihre Dokumente gut beantwortet, zeigt nur ein Test mit Ihren eigenen Fragen, etwa mit unserem kostenlosen Testset.

Welche lokalen KI-Modelle dürfen Unternehmen kostenlos nutzen?

Die Gewichte aller Modelle in der Tabelle sind kostenlos herunterladbar, die Bedingungen unterscheiden sich aber. Unter Apache 2.0 stehen Apertus (mit zusätzlicher Nutzungsrichtlinie), EuroLLM, Gemma 4, gpt-oss, Granite 4.2, Ministral 3, Mistral Small 4, Qwen3.8-27B und Teuken-7B in der Version v0.4; Phi-4 steht unter MIT. Llama nutzt eigene Lizenzen mit Bedingungen, größere Qwen3.8-Modelle ebenfalls. Teuken-7B v0.6 ist nur für nicht kommerzielle Zwecke freigegeben.

Wie viel Grafikspeicher braucht ein lokales KI-Modell?

In 4 Bit, für eine Anfrage mit 8.192 Tokens, braucht ein 8B-Modell nach unserer Rechnung rund 8 GB, ein 30B-Modell rund 22 GB und ein 70B-Modell rund 50 GB. Für ein Embedding-Modell und einen Reranker kommen 4,4 GB dazu, und jede weitere gleichzeitige Anfrage braucht zusätzlichen Speicher. Mit dem LLM-VRAM-Rechner rechnen Sie Ihre Konstellation nach.

Darf ich Llama 4 als Unternehmen in der EU nutzen?

Das ist eine Frage für Ihre Rechtsabteilung. Die Acceptable Use Policy zu Llama 4 sagt: Für multimodale Llama-4-Modelle werden die Rechte aus Abschnitt 1(a) der Lizenz Personen mit Wohnsitz in der EU und Unternehmen mit Hauptsitz in der EU nicht eingeräumt; für Endnutzer eines Produkts, das solche Modelle enthält, gilt die Einschränkung nicht. Meta beschreibt Scout und Maverick als nativ multimodal. Die Acceptable Use Policy zu Llama 3.3 enthält dieselbe Klausel; sie betrifft dort aber nur multimodale Modelle, und Llama 3.3 70B ist laut Model Card ein reines Textmodell.

Was heißt „Deutsch offiziell unterstützt“?

Der Herausgeber nennt Deutsch in Model Card oder Release-Beitrag ausdrücklich als unterstützte Sprache. Meta erklärt dazu für Llama 3.3, dass die unterstützten Sprachen seine Schwellen für Sicherheit und Hilfsbereitschaft erreichen und das Modell auch in weiteren Sprachen antworten kann. Fehlt Deutsch in der Liste, heißt das nicht, dass ein Modell schlecht Deutsch kann, sondern nur, dass der Herausgeber es nicht zusagt.

Wie aktuell ist die Tabelle?

Stand ist der 5. November 2026. Alle Angaben stammen aus den Model Cards, Lizenzdateien und Release-Beiträgen der Herausgeber, jeweils an diesem Tag geprüft. Wir prüfen die Tabelle regelmäßig und bei wichtigen neuen Modellen; maßgeblich ist das Stand-Datum.

Darf ich das Testset verwenden und verändern?

Ja. Handbuch, Fragen und Antworten stehen unter Creative Commons Namensnennung 4.0 (CC BY 4.0). Sie dürfen sie nutzen, verändern und weitergeben, auch kommerziell, wenn Sie die Quelle nennen: „RAG-Testset Deutsch, RAGSuite (ragsuite.de), CC BY 4.0“. Die Musterwerk GmbH und alle Angaben im Handbuch sind frei erfunden.

Mihaela Angelova
Mihaela Angelova
Delivery & Onboarding

Das passende Modell für Ihre Dokumente finden.

Mihaela prüft mit Ihnen Lizenz, Hardware und Testergebnisse und hilft, zwei oder drei Kandidaten mit Ihren eigenen Dokumenten zu vergleichen.