Eine Anwaltskanzlei in Frankfurt nutzt ChatGPT, um Vertragsentwürfe zu analysieren. Die Mitarbeiterin kopiert den Vertrag, fügt ihn ins Chatfenster ein, stellt ihre Fragen. Schnell, praktisch, hilfreich.
Was dabei passiert, ist nicht ganz so praktisch: Der Vertragstext landet auf einem Server von OpenAI in den USA. Wer ihn dort sieht, wie lange er gespeichert wird, ob er für Modell-Training genutzt wird, das liegt außerhalb der Kontrolle der Kanzlei. Für Mandantendaten ist das rechtlich und ethisch ein Problem, das viele unterschätzen.
Für bestimmte Branchen ist das kein theoretisches Datenschutz-Bedenken. Es ist ein konkretes Compliance-Risiko.
Was passiert eigentlich mit deinen Daten?
Wenn du ChatGPT, Claude oder Gemini im Browser nutzt, gelten die Datenschutzbestimmungen des jeweiligen Anbieters. OpenAI erklärt, dass Daten aus der kostenlosen Version für Training genutzt werden können, es sei denn, du deaktivierst das aktiv. Die Enterprise-Versionen bieten stärkere Garantien, aber die Daten verlassen trotzdem das eigene Unternehmen und liegen bei einem US-Anbieter.
Für viele Einsatzzwecke ist das kein Problem. Wenn du eine E-Mail formulieren lässt oder eine allgemeine Frage stellst, ist das Risiko gering.
Sobald du aber mit internen Dokumenten arbeitest, verändert sich die Situation grundlegend: Patientendaten in Arztpraxen, Mandantenunterlagen einer Kanzlei, Forschungsdaten eines Pharmaunternehmens. Der EU AI Act und die DSGVO setzen hier klare Grenzen, die viele Unternehmen noch nicht vollständig verstanden haben.
Dazu kommt ein weiterer Grund für lokale KI, der nichts mit Regulierung zu tun hat: Wettbewerbssensitivität. Wenn dein strategisches Planungsdokument oder deine Preiskalkulationen in eine Cloud-KI wandern, sind das Informationen, die du aus guten Gründen schützen möchtest, unabhängig davon, ob der Anbieter sie missbraucht oder nicht.
Was Ollama ist und wie es funktioniert
Ollama ist ein Open-Source-Tool, das es ermöglicht, große Sprachmodelle vollständig lokal auf einem eigenen Rechner oder Server zu betreiben. Kein Cloud-Abo, keine Datenweitergabe, keine Abhängigkeit von einem externen Anbieter.
Die Installation ist überraschend einfach. Du lädst Ollama herunter und tippst im Terminal ollama run llama3. Das Modell wird heruntergeladen, und du kannst sofort damit chatten, vollständig offline. Was danach verarbeitet wird, verlässt deinen Rechner nicht.
Welche Modelle stehen zur Verfügung? Hauptsächlich Open-Source-Modelle:
Llama 3 (von Meta) ist aktuell eines der leistungsfähigsten frei verfügbaren Modelle. In der 8B-Parameter-Variante läuft es auf einem modernen MacBook Pro oder einem mittelklassigen Bürorechner. Die 70B-Variante braucht deutlich mehr Rechenleistung.
Mistral aus Frankreich ist besonders stark im mehrsprachigen Bereich, was es für deutschsprachige Anwendungen interessant macht.
Phi-3 von Microsoft ist ein kleineres, sehr effizientes Modell, das auf schwächerer Hardware gut läuft.
Für Unternehmen gibt es außerdem Open WebUI, eine Web-Oberfläche, die Ollama mit einem Chat-Interface verbindet. Optisch ähnlich wie ChatGPT, aber vollständig lokal.
Was du an Hardware brauchst
Die Frage, die alle zuerst stellen: Kann mein Rechner das?
Kleine Modelle mit 3 bis 8 Milliarden Parametern laufen auf einem modernen MacBook mit M-Chip oder einem Windows-Laptop mit aktueller NVIDIA-Grafikkarte problemlos. Ein MacBook Pro M3 verarbeitet Llama 3 8B flüssig.
Für mittlere Modelle mit 14 bis 30 Milliarden Parametern brauchst du entweder einen Mac mit viel Unified Memory (32 GB oder mehr) oder eine dedizierte NVIDIA-Grafikkarte mit mindestens 16 GB VRAM.
Die großen Modelle (70B Parameter und aufwärts) brauchen Server-Hardware oder High-End-Workstations. Hier reden wir über Investitionen im vier- bis fünfstelligen Bereich für die Hardware allein.
Für den Unternehmenseinsatz ist ein dedizierter lokaler Server die naheliegende Lösung: Ollama läuft darauf, das Team greift über eine Web-Oberfläche vom eigenen Rechner aus zu, und die Daten verlassen den internen Server nie.
Ehrliches Bild: Lokale Modelle sind noch schwächer
Das musst du wissen, wenn du lokale KI ernsthaft in Betracht ziehst: Die lokal laufenden Open-Source-Modelle sind aktuell noch nicht so stark wie GPT-4o, Claude Opus oder Gemini Ultra.
Der Unterschied zeigt sich besonders bei komplexen Reasoning-Aufgaben, bei kreativen Texten mit hohem Qualitätsanspruch und beim Verständnis verschachtelter Anweisungen. Für einfache Aufgaben wie Texte zusammenfassen, Fragen zu einem Dokument beantworten oder Code kommentieren ist der Unterschied kleiner als du vielleicht erwartest.
Die gute Nachricht: Der Abstand schrumpft. Llama 3 70B war vor einem Jahr noch deutlich schwächer gegenüber GPT-4. Die Fortschritte im Open-Source-Bereich sind erheblich, und in ein bis zwei Jahren wird die Lücke für viele Anwendungsfälle nicht mehr relevant sein.
Für manche Use Cases ist das heute schon kein Thema: Wenn du ein Modell auf deinen eigenen Daten fine-tunest, also auf spezifische Aufgaben in deinem Unternehmen spezialisierst, kann ein kleineres lokales Modell ein allgemeineres Cloud-Modell für genau diese Aufgabe übertreffen. Eine Kanzlei, die ihr Modell mit Hunderten von Vertragsanalysen trainiert, bekommt für Vertragsanalysen oft bessere Ergebnisse als mit einem Generalisten-Modell in der Cloud. Mehr dazu im Artikel zu Fine-Tuning.
Wer sollte lokale KI ernsthaft in Betracht ziehen?
Nicht jedes Unternehmen braucht das. Die meisten tun es nicht.
Aber es gibt klare Kategorien, für die sich der Aufwand lohnt:
Branchen mit sensiblen Daten: Besonders Anwaltskanzleien und Arztpraxen sind hier betroffen. Überall dort, wo Berufsgeheimnisse oder regulierte Daten im Spiel sind, ist Datensouveränität kein Nice-to-have, sondern Pflicht. Für Kanzleien bietet sich etwa eine KI-gestützte Vertragsanalyse an, sobald die Datensouveränität gesichert ist.
Unternehmen mit starkem IP-Schutz: Wenn Geschäftsgeheimnisse, Produktentwicklungsdaten oder Forschungsergebnisse in die KI fließen sollen, ist Datensouveränität ein echtes Argument.
Eingeschränkte Cloud-Nutzung: Manche Behörden oder Betreiber kritischer Infrastruktur haben bereits Vorgaben, die Cloud-Dienste ausschließen.
Wer keiner dieser Kategorien angehört und hauptsächlich mit allgemeinen Texten oder Marketing arbeitet, ist mit Cloud-KI oft besser bedient. Sie ist leistungsstärker und braucht keine Infrastruktur-Investition.
Der pragmatische Einstieg: Lade Ollama heute herunter und probiere es aus. Es ist kostenlos, und du siehst in einer Stunde, was auf deiner Hardware möglich ist. Das ist die beste Grundlage für eine informierte Entscheidung.
Wenn du mehr über Datenschutz und KI wissen möchtest oder KI-Einführung für dein Unternehmen planst, findest du im KI-Syndikat Newsletter regelmäßig konkrete Praxistipps ohne Marketingsprech.