Wer Texte, Verträge oder Kundendaten durch ein Sprachmodell schickt, gibt diese Daten an dessen Betreiber weiter, sofern das Modell nicht auf eigener Infrastruktur läuft. Für viele Unternehmen ist das der Punkt, an dem aus einem Werkzeug eine Datenschutzfrage wird.
Ein lokales Sprachmodell läuft auf einem Rechner oder Server, den das Unternehmen kontrolliert. Offene Modelle wie Llama 3 oder Mistral lassen sich dafür herunterladen, und Werkzeuge wie Ollama übernehmen Installation, Modellverwaltung und eine einfache Programmierschnittstelle. Nach der Installation genügt ein Befehl, um ein Modell zu laden und im Terminal Fragen zu stellen. Die Anfragen verlassen das Netzwerk nicht, und es fallen keine Gebühren pro Anfrage an.
Wie die Einrichtung Schritt für Schritt aussieht, beschreibt der Beitrag zum Thema lokale KI selber hosten im Blog von hosting.de. Er setzt auf Ollama, nennt als Richtwerte mindestens 16 GB Arbeitsspeicher und für die Beschleunigung eine NVIDIA-Grafikkarte mit mindestens 8 GB VRAM und erinnert daran, dass schon ein einzelnes großes Modell 5 bis 10 GB oder mehr Speicherplatz belegt. Die Programmierschnittstelle läuft standardmäßig auf Port 11434 des lokalen Rechners.
Der Aufwand liegt weniger in der Installation als in der Auswahl. Allgemeine Modelle schreiben und fassen zusammen, spezialisierte Varianten übersetzen oder erzeugen Code, und für Dokumente aus dem eigenen Haus braucht es zusätzlich eine Suche, die passende Textstellen an das Modell weiterreicht. Diese Ergänzung heißt Retrieval und lässt sich lokal ebenfalls betreiben. Gerade bei Dokumenten lohnt es sich, mit einem kleinen Bestand zu beginnen und die Antworten gegen die Quellen zu prüfen, bevor mehr Material hinzukommt.
Datenschutz ist bei KI kein Randthema. Nach einer Befragung von 603 Unternehmen durch Bitkom Research im Sommer 2026 setzen 57 Prozent der deutschen Unternehmen ab 20 Beschäftigten KI ein, erstmals eine Mehrheit. Unter denen, die KI bereits nutzen, nennen 66 Prozent die Anforderungen an den Datenschutz als Hemmnis, 56 Prozent rechtliche Verunsicherung und 45 Prozent die Sorge, dass Unternehmensdaten in falsche Hände geraten.
Die Befragung enthält auch einen Befund, der gegen einfache Rechnungen spricht. Als großen Kostenpunkt nennen 51 Prozent der KI-Anwender die Infrastruktur wie Cloud und Rechenleistung und 50 Prozent die Aufbereitung der Daten, während der Verbrauch von Token nur für 8 Prozent ein großer Posten ist. Lokale Modelle sparen also Gebühren pro Anfrage, verschieben die Kosten aber auf Hardware, Strom und Betreuung.
Für kleine Unternehmen heißt das, dass die Entscheidung zwischen lokal und Cloud selten allein technisch fällt. Wer personenbezogene Daten verarbeitet, braucht für jeden externen Dienst eine Rechtsgrundlage, einen Auftragsverarbeitungsvertrag und bei Anbietern außerhalb der EU eine Prüfung der Datenübermittlung. Ein Modell im eigenen Netz erspart diese Prüfung für die Modellnutzung, nicht aber die übrigen Pflichten der DSGVO.
Die Größe eines Modells bestimmt die Hardware. Ein Modell mit acht Milliarden Parametern belegt in 4-Bit-Quantisierung grob fünf Gigabyte und läuft auf einem aktuellen Laptop oder Mini-PC. Modelle mit 70 Milliarden Parametern brauchen dagegen Dutzende Gigabyte Speicher und oft mehrere Grafikkarten. Quantisierte Varianten verkleinern den Bedarf, kosten aber etwas Genauigkeit, und der Blog von hosting.de rät für schwächere Systeme ausdrücklich zu kleineren Varianten wie Llama 3 mit 8 Milliarden oder Mistral mit 7 Milliarden Parametern.
Ein virtueller Server ohne Grafikkarte kann kleine Modelle auf der CPU ausführen, antwortet dabei aber deutlich langsamer als mit GPU und eignet sich eher für Tests, Stapelaufgaben und interne Werkzeuge mit wenigen Nutzern. Für Fälle, in denen die eigene Hardware nicht reicht, nennt hosting.de den VPS als Alternative mit NVMe-Speicher und ISO-zertifizierten Rechenzentren in Deutschland. Wer interaktive Antworten für viele Mitarbeiter braucht, plant GPU-Leistung ein, entweder im eigenen Haus oder bei einem Anbieter, der sie ausdrücklich anbietet.
Ein lokaler KI-Server ist eine Anwendung mit Schnittstelle und gehört deshalb abgesichert wie jeder andere Dienst. Ollama lauscht standardmäßig nur auf dem lokalen Rechner, und der Blog von hosting.de rät, die Schnittstelle nur hinter Authentifizierung oder einem Reverse Proxy ins Netz zu stellen. Wer sie für Kollegen öffnet, schaltet ein VPN davor oder beschränkt den Zugriff per Firewall auf bekannte Adressen.
Zusätzlich lohnt es sich, Eingaben und Ausgaben zu protokollieren, sofern das rechtlich zulässig ist und die Protokolle selbst geschützt werden. Die Modelldateien stammen aus öffentlichen Registern, und ihre Herkunft sollte geprüft werden, denn Lizenzen unterscheiden sich. Manche offene Modelle erlauben die gewerbliche Nutzung nur unter Bedingungen, die vor einem Einsatz im Unternehmen gelesen werden wollen.
Der Betrieb auf einem gemieteten Server ändert die Bewertung nicht grundlegend. Auch dort bleibt die Verantwortung für Zugriffsrechte und Updates beim Betreiber, und wer sensible Daten verarbeitet, schließt mit dem Hoster einen Auftragsverarbeitungsvertrag ab und klärt, wo die Server stehen.
Lokal ist nicht automatisch besser. Die leistungsfähigsten Modelle laufen weiterhin bei großen Anbietern, und bei Aufgaben, die höchste Qualität verlangen, etwa komplexen Analysen oder sehr langen Dokumenten, liegen offene Modelle auf eigener Hardware oft zurück. Auch der Betreuungsaufwand ist real. Modelle erscheinen in kurzen Abständen neu, Treiber müssen gepflegt werden, und jemand muss entscheiden, wann ein Wechsel lohnt.
Ein verbreiteter Mittelweg trennt nach Sensibilität. Personenbezogene Daten, Verträge und interne Dokumente laufen über ein lokales Modell, allgemeine Recherche und unkritische Texte über Cloud-Dienste. Voraussetzung ist eine klare Regel, die Beschäftigten sagt, welche Daten wohin dürfen, denn die beste lokale Lösung nützt wenig, wenn sensible Texte weiter in öffentliche Chatfenster kopiert werden.
Zur Entscheidung hilft ein Pilotversuch. Zwei oder drei typische Aufgaben, etwa die Zusammenfassung eines Vertrags oder die Beantwortung einer Kundenanfrage, laufen mit einem lokalen und einem Cloud-Modell, und eine Person aus der Fachabteilung bewertet die Ergebnisse, ohne zu wissen, woher sie stammen. Der Vergleich zeigt schneller als jede Rangliste, ob die lokale Qualität für den Zweck genügt.