Lokale KI im Realitätscheck: 25 Modelle, 30 Aufgaben, ehrliche Ergebnisse

25 offene Sprachmodelle gegeneinander laufen gelassen – auf einer normalen Workstation, mit 30 unterschiedlichen Aufgaben, jeweils zehnfach wiederholt. Zwei unabhängige Bewerter, 7500 einzelne Antworten. Was rausgekommen ist, überrascht in mehreren Punkten. Und ist gleichzeitig weit davon entfernt, das letzte Wort zu sein.

In aller Kürze

• 25 lokale Sprachmodelle getestet, Größen von 0.8 Milliarden bis 35 Milliarden Parameter
• 30 Aufgaben aus 10 unterschiedlichen Kategorien (von Halluzinationsresistenz über Datenextraktion bis Coding) – jede in 3 Varianten
• 7500 Antworten insgesamt, jede von zwei unabhängigen Bewertern gescored: Qwen 3.6-27B lokal und GPT-5.6-luna in der Cloud
• Überraschung Nummer 1: Ein 4-Milliarden-Modell landet auf Rang 5 – direkt hinter den 27B-Schwergewichten
• Überraschung Nummer 2: Ein spezialisiertes 28B-Modell auf Rang 23 – deutlich hinter Modellen mit einem Zehntel der Größe
• „Größer" heißt nicht automatisch „besser". Fine-Tuning und Instruction-Qualität zählen oft mehr als reine Parameterzahl
• Was der Test nicht kann: agentische Fähigkeiten, Tool-Nutzung, Thinking-Modus. Das folgt in weiteren Testrunden.

Die kompletten Ergebnisse zum Selbstforschen inklusive aller Modell-Antworten und Bewertungsdetails sind im interaktiven Viewer einsehbar.

Warum überhaupt lokale KI?

Drei Gründe, die für deutsche Unternehmen zählen:

1. DSGVO ohne Kopfschmerzen. Kundendaten, interne Dokumente, Personalfragen — sobald die zu OpenAI, Anthropic oder Google wandern, brauchst du saubere Auftragsverarbeitungsverträge, US-Datenschutzabkommen (Trans-Atlantic Data Privacy Framework), Rechtsfolgenabschätzung. Bei einer lokal betriebenen KI bleibt alles im eigenen Haus. Keine Datenübermittlung ins Drittland, kein Subauftragsverarbeiter, keine Angst vor dem nächsten Schrems-Urteil.

2. Kosten sind planbar. Cloud-KI kostet pro Anfrage. Bei ernsthafter Nutzung im Unternehmen wird das schnell vierstellig pro Monat. Ein Server mit einer RTX 5090 kostet einmal rund 6.000 Euro, danach läuft er jahrelang. Strom und Wartung schlagen mit ca. 50 Euro pro Monat zu Buche. Das rechnet sich meist innerhalb weniger Monate.

3. Kontrolle über das Verhalten. Cloud-Modelle können sich über Nacht ändern — neue Version, andere Antworten, andere Sicherheitsfilter, andere Zensur-Regeln. Ein lokal betriebenes Modell macht genau das, was es beim Deployment gemacht hat. Für regulierte Branchen — Kanzleien, Steuerberatung, Medizin, Finanzen — ist das keine Feinheit, sondern Grundbedingung.

Wie der Test aufgebaut ist

Als Testumgebung diente eine Workstation mit einer NVIDIA RTX 5090 (32 GB VRAM) und 96 GB RAM. Alle Modelle liefen im GGUF-Q4_K_M-Format über llama.cpp — also die klassische Konfiguration für einen mittelständischen KI-Server, ohne exotische Hardware oder Cluster-Setup.

Die 10 Testkategorien

Jede Kategorie wurde bewusst so gewählt, dass sie eine typische Alltagsaufgabe im Unternehmen abbildet:

1. Halluzinationsresistenz — Erfindet das Modell Fakten, wenn es etwas nicht weiß? Zum Beispiel bei einem Roman, der nicht existiert.
2. Wissensgrenze — Gibt es zu, wenn es etwas nicht wissen kann? Zum Beispiel den DAX-Schlusskurs vom vergangenen Freitag.
3. JSON-Ausgabe — Hält es sich exakt an strukturelle Vorgaben (Feldnamen, Datentypen)?
4. Datenextraktion aus Dokumenten — Findet es die richtigen Zahlen und Daten in einem Besprechungsprotokoll, auch wenn absichtlich Zahlenfallen eingebaut sind?
5. Zusammenfassung — Fasst es Texte in vorgegebener Länge zusammen, ohne dabei Fakten zu erfinden?
6. Anweisungstreue — Folgt es strikten Format-Regeln (genau 3 Bullets, maximal 50 Wörter, ein Wort verboten)?
7. Logik & Rechnen — Rechnet es verkettete Prozente, Stromkosten, Kalenderfragen richtig?
8. Multi-Turn-Kontext — Behält es Informationen aus früheren Nachrichten im Gespräch?
9. E-Mail-Schreiben — Trifft es Ton, Struktur und Format für geschäftliche Kommunikation?
10. Coding — Schreibt es lauffähigen Python-Code für typische kleine Aufgaben (Umsatzsummen mit deutschem Zahlenformat, URL-Slugify, Rechnungs-Gruppierung)?

Jede Kategorie wurde in drei Varianten getestet, um sicherzustellen, dass die Ergebnisse keine Zufallseffekte einer einzelnen Aufgabenformulierung sind. Jede einzelne Frage wurde zehnmal gestellt — mit unterschiedlichen Seeds, um die Streuung sichtbar zu machen.

Die Bewertung

Zwei unabhängige Bewertungssysteme laufen parallel — genau, um dem naheliegenden Kritikpunkt „Wer bewertet den Bewerter?" den Wind aus den Segeln zu nehmen:

• Qwen 3.6-27B lokal als Judge — kostet nichts pro Bewertung, prüft mit derselben Sorgfalt wie ein Cloud-Judge.
• GPT-5.6-luna in der Cloud als unabhängige Zweitmeinung — schützt gegen einen möglichen Selbst-Bewertungs-Bias.

Für Coding, JSON-Struktur und Bullet-Formate greift zusätzlich ein rein regelbasierter Prüfer: Python-Sandbox in Docker, harte String- und Struktur-Checks. Hier gibt es keinen Interpretationsraum — der Code läuft entweder korrekt oder nicht.

Alle Modelle wurden mit den vom jeweiligen Modell-Autor empfohlenen Sampling-Parametern getestet. Kein einheitliches temperature=0.7 für alle. Der Grund: falsches Sampling kann eigentlich gute Modelle katastrophal aussehen lassen. Ein fairer Vergleich braucht Modelle „in ihrem Element".

Die wichtigsten Ergebnisse

Rang 1 bis 4: Erwartbar solide

Die 27B-Klasse dominiert das obere Feld:

Vier solide Allrounder, alle DSGVO-konform lokal betreibbar. Wer ausreichend Hardware hat (RTX 4090 oder besser, mindestens 24 GB VRAM), findet hier professionell nutzbare Modelle für die meisten Business-Anwendungsfälle.

Rang 5: Die eigentliche Sensation

gemma-4-e4b — ein Modell mit nur 4 Milliarden Parametern — landet mit 90.1/100 auf Platz 5. Direkt hinter den 27B-Schwergewichten, mit denen es rund siebenmal kleiner ist.

Bei Coding schafft es 10/10. Bei Logik und Anweisungstreue 9.8 und 9.9 von 10 – teils besser als deutlich größere Modelle. Der einzige Schwachpunkt: bei einem fiktiven Roman erfindet es tatsächlich die ganze Handlung (0 von 10 in der Kategorie „Halluzination Frage 1"). Bei fiktiven Personen und Software-Features erkennt es aber sauber, dass es die nicht kennen kann.

Was heißt das praktisch? Für viele Alltagsaufgaben im Unternehmen reicht ein 4B-Modell völlig aus. Das läuft auf einer 8-GB-Grafikkarte oder sogar leistungsfähigen Business-Laptops. Kein 5.000-Euro-Server nötig. Der Einstieg in lokale KI ist deutlich günstiger als viele annehmen.

Rang 23: Der Reinfall

steuerllm-28b — ein spezialisiertes 28B-Modell — schafft nur 55.9 von 100 Punkten. Fällt bei Alltagsanweisungen (Vegetarier-Menü empfehlen, JSON-Ausgabe, Bullet-Format einhalten) reihenweise durch.

Der Grund: Spezialisierung. Das Modell wurde extrem eng auf Steuerthemen trainiert und hat dabei die allgemeine Instruktionstreue verloren.

Lehre daraus: Vorsicht bei stark spezialisierten Domain-Modellen. Wenn ein Vertikal-Anbieter verspricht „unser Modell versteht Ihre Branche besser", hat es oft in anderen Bereichen an Fähigkeit eingebüßt. Für die meisten Unternehmensanwendungen ist ein solider Generalist die bessere Wahl — dem übergibt man das Domain-Wissen dann als Kontext (via System-Prompt oder RAG).

Weitere Auffälligkeiten

• granite-4.1-8b (IBM): solides Mittelfeld mit 81.3/100, besonders stark bei strukturierten Aufgaben. Interessant für Unternehmen, die auf IBM-Ökosystem setzen.
• phi-4-reasoning (Microsoft): 54.7/100 — enttäuschend. Reasoning-Modelle mit „lauten Denkschritten" scheitern in diesem Test-Setup oft daran, dass sie ihre Zwischenüberlegungen statt der finalen Antwort ausgeben.
• qwen3.5-2b und qwen3.5-0.8b: unter 65/100. Kleinstmodelle haben ihre klaren Grenzen – für ernsthafte Business-Nutzung nicht ausreichend.
• Sampling-Parameter zählen: In einer Vor-Runde mit einheitlichem temperature=0.7 sackten mehrere Modelle um 10 bis 20 Punkte ab. Ein realistischer Test braucht Modell-spezifische Sampling-Konfiguration.

Wo dieser Test aufhört

Es ist wichtig, das ehrlich zu sagen: das ist kein umfassender Test.

Es ist ein solider Indikator für typische Alltagsaufgaben in einem deutschen Mittelstandsunternehmen. Aber blindes Vertrauen auf diese Zahlen wäre falsch.

Was noch fehlt und in kommenden Testrunden dazukommt:

• Agentische Fähigkeiten — Kann das Modell Tools nutzen, mehrschrittige Aufgaben planen, mit Fehlern umgehen, sich selbst korrigieren? Für viele moderne Business-Use-Cases (Auftragserfassung, Recherche, Report-Erstellung) entscheidend. Wurde hier bewusst nicht getestet, weil es einen anderen Test-Rahmen braucht.
• Thinking- bzw. Reasoning-Modus — Viele Modelle (Qwen 3.5 und 3.6, DeepSeek-R1, Phi-4-Reasoning) können optional „laut nachdenken", bevor sie antworten. Das kann die Ergebnisse deutlich verbessern – oder bei falscher Kalibrierung auch verschlechtern. Kommt in der nächsten Testrunde.
• Lange Kontexte — Keine Tests mit Dokumenten über 20.000 Token. Für Vertragsanalyse oder ausführliche Reports relevant.
• Multimodalität — Keine Bilder, keine PDFs mit Tabellenlayout, keine gemischten Inhalte. Für Rechnungserfassung oder Formularauslese wichtig.
• Fachdomänen im Detail — Recht, Medizin, Steuer wurden nur als Alltagssprache getestet. Vertiefte Fachexpertise braucht andere Testfragen und andere Bewertungsverfahren.
• Deutsch vs. Englisch — Alle Testfragen auf Deutsch. Viele Modelle sind primär auf Englisch trainiert. Ein Handicap für manche, interessanterweise weniger für die Qwen-Familie, die stark auf mehrsprachige Daten trainiert wurde.

Der Test ist also am ehesten aussagekräftig für: täglich anfallende Text-, Extraktions- und Strukturierungsaufgaben in einem deutschen Unternehmen. Also der überwiegende Teil dessen, wofür KI aktuell in kleinen und mittleren Firmen konkret eingesetzt wird.

Praktische Empfehlungen nach Anwendungsfall

Für einen einfachen internen Chat-Assistenten (FAQ, HR-Fragen, allgemeine Hilfe): gemma-4-e4b oder qwen3.5-9b. Läuft auf günstiger Hardware (ab 8 GB VRAM), deckt etwa 80 % der typischen Anfragen sauber ab.

Für Dokumentenverarbeitung (Extraktion, Zusammenfassung, Analyse): qwen3.6-27b oder thinkingcap-27b. Braucht eine RTX 4090 / 5090 oder eine A6000, dafür professionelle Qualität.

Für Coding-Assistenz und Automatisierung: qwen3.5-27b liegt vorne. Wer weniger Hardware hat, greift zu granite-4.1-8b oder gemma-4-e4b. Beide sind gut brauchbar für alltägliche Python-Aufgaben.

Für kleine Einstiegs-Setups (8 GB VRAM oder gute Laptops): gemma-4-e2b oder qwen3.5-4b. Es gibt Qualitätskompromisse gegenüber den Top-Modellen, aber die Ergebnisse sind immer noch deutlich besser als „gar keine lokale KI".

Für regulierte Branchen (Kanzlei, Steuerberatung, Medizin): qwen3.5-27b oder qwen3.6-27b als Grundlage, kombiniert mit sauberer RAG-Pipeline für Fachwissen. Ein spezialisiertes Vertikal-Modell allein reicht nicht – wie der Test zeigt, verlieren solche Modelle oft mehr, als sie gewinnen.

Bewertung des Tests selbst

Dass die Bewertungen fair gelaufen sind, lässt sich am doppelten Judge-System ablesen: bei Fragen, bei denen sowohl der lokale Qwen-Judge als auch der Cloud-GPT-Judge bewertet haben, stimmen die Verdikte in über 85 % der Fälle überein. Wo sie abweichen, sind es meist Grenzfälle in der Rubrik-Bewertung (E-Mail-Qualität etwa), nicht bei den harten Faktenprüfungen.

Für die deterministischen Prüfungen (Coding, JSON, Bullet-Format) gibt es ohnehin keinen Interpretationsraum — der Python-Sandbox-Test läuft entweder grün oder nicht.

Was du jetzt tun kannst

Wenn du überlegst, lokale KI in deinem Unternehmen einzusetzen, kannst du die kompletten Ergebnisse im interaktiven Benchmark selbst durchgehen. Alle Modell-Antworten, Judge-Kriterien und Runden sind einsehbar. Kein Datenblatt, sondern echte Antworten auf echte Aufgaben.

Für einen unabhängigen Blick auf dein spezielles Setup — deine Datenschutz-Anforderungen, deine Anwendungsfälle, die passende Hardware — buche einen Potenzialcheck. Ehrliche Einschätzung, keine Verkaufsshow, kein Alleskönner-Versprechen. Wenn lokale KI in deinem Fall nicht sinnvoll ist, hörst du das auch. Genauso deutlich.

Die nächste Testrunde mit Reasoning-Modus, agentischen Fähigkeiten und Langkontext folgt. Melde dich, wenn du Bescheid bekommen willst, sobald die Ergebnisse da sind.

Testrunde 1 · Juli 2026 · winiecki.ai · Dirk Winiecki
Lokale KI für Unternehmen – DSGVO-konform, ohne Cloud.