Selbst gehostete KI für deutsche Unternehmen: Daten in der EU halten

Fast jedes deutsche Unternehmen, mit dem wir sprechen, möchte KI einsetzen – und fast jedes stellt zuerst dieselbe Frage: Wohin gehen unsere Daten? Das ist die richtige Frage. Kundendaten, Verträge, interne Dokumente und technische Zeichnungen sollten nicht in einem System landen, das niemand geprüft hat. Die gute Nachricht: 2026 gibt es solide Möglichkeiten, leistungsfähige KI zu nutzen und die Daten trotzdem in der EU oder sogar im eigenen Haus zu halten.

Dieser Artikel erklärt die drei wichtigsten Hosting-Varianten, was sie für DSGVO und EU AI Act bedeuten und wie Sie auswählen. Er ist keine Rechtsberatung; binden Sie Ihren Datenschutzbeauftragten früh ein.

Warum „einfach ChatGPT nutzen“ keine Antwort ist

Consumer-Konten für KI sind bequem, werfen im Unternehmenseinsatz aber Probleme auf: unklare Bedingungen zur Datenverarbeitung, mögliche Nutzung der Eingaben zum Training, Datenübermittlung in die USA und kein Audit-Trail. Mitarbeitende, die Kunden-E-Mails in einen Consumer-Chatbot kopieren, gehören heute zu den häufigsten Datenschutzrisiken, die wir sehen.

Die Lösung ist nicht, KI zu verbieten. Sie besteht darin, eine freigegebene, gut konfigurierte Alternative bereitzustellen, die besser ist als das, was Menschen auf eigene Faust nutzen würden.

Variante 1: Verwaltete Modelle in EU-Regionen

Große Anbieter stellen ihre Modelle über Cloud-Plattformen mit EU-Datenresidenz bereit, etwa Azure OpenAI in Schweden oder Deutschland, AWS Bedrock in Frankfurt (mit Modellen von Anthropic, Mistral und anderen) oder Google Vertex AI in europäischen Regionen. Unter Enterprise-Verträgen werden Eingaben nicht für das Training genutzt, und Sie schließen einen Auftragsverarbeitungsvertrag ab.

Vorteile: Zugang zu den leistungsfähigsten Modellen, keine Hardware, Abrechnung nach Nutzung, schneller Start. Nachteile: Der Anbieter ist oft ein US-Unternehmen, Übermittlungen und Zugriffsanfragen bleiben ein Thema für Ihren DSB; die Kosten wachsen mit dem Volumen; Sie hängen von den Modellversionen des Anbieters ab.

Typischer Einsatz: Dokumentenassistenten, E-Mail-Entwürfe, Zusammenfassungen und Agenten, die mit nicht hochsensiblen Geschäftsdaten arbeiten.

Variante 2: Open-Weight-Modelle auf EU-Servern

Modelle wie Llama, Mistral und weitere lassen sich herunterladen und auf eigenen GPU-Servern betreiben – gemietet bei einem deutschen oder europäischen Hoster. Die Daten verlassen nie eine Infrastruktur, die Sie kontrollieren.

Vorteile: volle Kontrolle, keine Gebühren pro Anfrage, Modelle lassen sich auf Ihre Daten feinabstimmen, keine Übermittlung in Drittländer. Nachteile: Sie brauchen GPU-Kapazität und Betriebs-Know-how; offene Modelle sind sehr gut, liegen bei komplexem Schlussfolgern aber mitunter hinter den besten verwalteten Modellen; Updates und Sicherheit liegen in Ihrer Verantwortung.

Typischer Einsatz: interne Wissensassistenten über sensible Dokumente, Klassifizierung und Extraktion in großen Mengen und Anwendungsfälle, bei denen planbare Kosten zählen.

Variante 3: Komplett On-Premise

Dieselben Open-Weight-Modelle auf Hardware im eigenen Rechenzentrum oder sogar auf einer einzelnen Workstation mit starker GPU. Für Computer Vision laufen Modelle der YOLO-Familie auf kleinen Edge-Geräten direkt neben der Kamera. Unser ALPR-Parksystem ist ein Beispiel: Die Kennzeichenerkennung kann vor Ort laufen, nur Ereignisse verlassen den Standort.

Vorteile: maximale Kontrolle, funktioniert offline, keine Daten verlassen das Gebäude. Nachteile: Hardware-Investition, Wartung und begrenzte Kapazität für sehr große Modelle.

Typischer Einsatz: Produktion, Gesundheitswesen, kritische Infrastruktur, betriebsratssensible Szenarien und alles mit strengen Vertraulichkeitsanforderungen.

Wie Sie auswählen

Stellen Sie vier Fragen:

1. Wie sensibel sind die Daten? Öffentliche Produktinformationen sind etwas anderes als Patientenakten oder Personalunterlagen.
2. Welches Volumen erwarten Sie? Einige hundert Anfragen pro Tag sind mit verwalteten Modellen günstig; Millionen Dokumente pro Monat können eigene GPUs rechtfertigen.
3. Welche Qualität brauchen Sie? Testen Sie die Kandidaten mit eigenen Beispielen. Ein Evaluierungsdatensatz mit 50–200 echten Fällen sagt mehr als jeder Benchmark.
4. Wer betreibt es? Selbst-Hosting braucht Monitoring, Updates und Bereitschaft.

Viele Unternehmen landen bei einer Mischung: verwaltete EU-Modelle für allgemeine Produktivität, selbst gehostete Modelle für sensible Daten.

DSGVO in der Praxis

Unabhängig von der Variante bleiben die Grundlagen gleich:

• Rechtsgrundlage und Zweck: Dokumentieren Sie, warum personenbezogene Daten im KI-System verarbeitet werden.
• Auftragsverarbeitungsvertrag: mit jedem Anbieter, der personenbezogene Daten in Ihrem Auftrag verarbeitet.
• Datenminimierung: Senden Sie nur, was nötig ist; maskieren Sie Namen und Kennungen, wo möglich.
• Speicherdauer: Legen Sie fest, wie lange Prompts, Ausgaben und Logs aufbewahrt werden.
• Transparenz: Informieren Sie Mitarbeitende und gegebenenfalls Kunden über den KI-Einsatz.
• Datenschutz-Folgenabschätzung (DSFA): oft erforderlich bei Systemen, die Menschen bewerten oder sensible Daten in großem Umfang verarbeiten.

Der EU AI Act in zwei Minuten

Der EU AI Act ordnet KI-Systeme nach Risiko ein. Die meisten Business-Assistenten und Dokumentenwerkzeuge fallen in niedrige Risikoklassen mit Transparenzpflichten. Systeme etwa für Personalentscheidungen, Kreditwürdigkeitsprüfungen oder kritische Infrastruktur können als Hochrisiko gelten – mit Anforderungen an Dokumentation, menschliche Aufsicht und Qualitätsmanagement. Seit 2025 müssen Unternehmen zudem für ausreichende KI-Kompetenz bei Mitarbeitenden sorgen, die KI-Systeme nutzen. Ordnen Sie jeden Anwendungsfall früh ein; das prägt die Architektur.

Architekturmuster, die wir einsetzen

• Retrieval-Augmented Generation (RAG): Das Modell antwortet aus Ihren Dokumenten, die aus einer Vektordatenbank in der EU abgerufen werden – mit Quellenangaben. Ein Training auf Ihren Daten ist nicht nötig.
• Modell-Gateway: eine interne API vor mehreren Modellen, mit Authentifizierung, Logging, Kostenlimits und der Möglichkeit, Modelle zu wechseln, ohne Anwendungen zu ändern.
• PII-Filter: Personenbezogene Daten werden erkannt und maskiert, bevor sie ein Modell erreichen.
• Evaluierung und Monitoring: Testdatensätze, Qualitäts-Dashboards und Alarme, wenn Antworten abdriften.

Was es kostet

Ein erster produktiver Assistent mit Retrieval über einen klar abgegrenzten Dokumentenbestand, gehostet auf verwalteten EU-Modellen, kostet in der Entwicklung typischerweise 25.000–60.000 € zuzüglich Nutzungsgebühren. Ein selbst gehostetes Setup verursacht zusätzlich GPU-Kosten – von einigen hundert Euro pro Monat für einen gemieteten GPU-Server bis zu fünfstelligen Investitionen in On-Premise-Hardware. Ein zweiwöchiger KI-Sprint ist der schnellste Weg zu belastbaren Zahlen für Ihren Fall.

Häufige Fragen

Ist ein selbst gehostetes Modell so gut wie die großen kommerziellen?

Für viele Geschäftsaufgaben – Zusammenfassen, Klassifizieren, Daten aus Dokumenten extrahieren, Fragen aus einer definierten Wissensbasis beantworten – sind aktuelle Open-Weight-Modelle gut genug, besonders in Kombination mit Retrieval. Bei komplexem, mehrstufigem Schlussfolgern liegen die führenden verwalteten Modelle oft noch vorn. Testen Sie beide mit Ihren eigenen Beispielen.

Können wir mit einem verwalteten Modell starten und später wechseln?

Ja, wenn Sie auf einem Modell-Gateway aufbauen und Prompts, Retrieval und Evaluierung unabhängig vom Anbieter halten. So bauen wir jedes KI-System – ein Wechsel wird damit zur Konfigurationsänderung statt zum Neubau.

Welche Hardware brauchen wir für Selbst-Hosting?

Das hängt von Modellgröße und Anzahl gleichzeitiger Nutzer ab. Kleinere Modelle laufen auf einer einzelnen modernen GPU, größere brauchen mehrere GPUs oder Quantisierung. GPU-Server bei einem europäischen Anbieter zu mieten, ist ein guter Weg, den echten Bedarf zu messen, bevor Sie Hardware kaufen.

Wie verhindern wir, dass Mitarbeitende nicht freigegebene Tools nutzen?

Bieten Sie ein besseres freigegebenes Werkzeug an, erklären Sie, warum es wichtig ist, und flankieren Sie es mit einer kurzen KI-Richtlinie. Verbote ohne Alternative funktionieren selten.

Ein pragmatischer Fahrplan

1. Woche 1–2: Anwendungsfall auswählen, Daten prüfen, DSB einbinden, Modelle mit einem Evaluierungsdatensatz vergleichen.
2. Woche 3–8: Pilot mit kleiner Nutzergruppe, Retrieval, Berechtigungen und Logging.
3. Ab Monat 3: Rollout, Monitoring von Qualität und Kosten, Entscheidung über Selbst-Hosting anhand echter Volumina.

Fazit

Sie müssen sich nicht zwischen KI und Datenschutz entscheiden. Verwaltete Modelle in EU-Regionen, Open-Weight-Modelle auf europäischen Servern und komplette On-Premise-Setups haben jeweils ihren Platz. Starten Sie mit einem konkreten Anwendungsfall, testen Sie Modelle mit eigenen Daten, binden Sie Ihren DSB ein und bauen Sie auf einer Architektur, die einen Modellwechsel erlaubt, wenn sich der Markt bewegt. Wo Sie stehen, zeigt unser KI-Readiness-Check.

Zweiwöchigen KI-Sprint buchen