Die Mitarbeiter-Frage
Anfang 2026 sind in fast jedem deutschen Mittelstand zwei Realitäten parallel sichtbar. Erstens: Mitarbeiter nutzen ChatGPT (oder andere LLMs) bereits — meist privat finanziert, oft auf eigene Faust, gelegentlich mit Geschäftsdaten als Eingabe. Diese unstrukturierte Nutzung schafft DSGVO-Risiken: Geschäftsgeheimnisse landen unkontrolliert bei US-Anbietern, personenbezogene Daten werden ohne Rechtsgrundlage verarbeitet, eine Datenschutz-Folgenabschätzung fehlt. Zweitens: Geschäftsleitungen sind sich des Themas bewusst, wissen aber oft nicht, welche der vielen Optionen die richtige ist.
Dieser Artikel räumt auf. Er stellt die vier zulässigen Architektur-Optionen vor, vergleicht sie strukturiert, und empfiehlt eine konkrete organisatorische Aufstellung (Richtlinie, Schulung, Betriebsvereinbarung). Für vertiefte juristische Aspekte siehe unsere Pillar-Pages zu DSGVO & KI und EU AI Act.
Die vier zulässigen Architektur-Optionen
- Azure OpenAI mit EU-Region — Microsoft hostet OpenAI-Modelle in Sweden Central oder Switzerland North. DPA mit Trainingsausschluss verfügbar, EU-Datenverarbeitung garantiert.
- ChatGPT Enterprise mit EU-Region — OpenAI-eigenes Hosting in Frankfurt. Höhere Modellqualität in einigen Bereichen, plus Custom GPTs.
- EU-eigene LLM-Anbieter — Mistral La Plateforme (Paris) oder Aleph Alpha PhariaAI (Heidelberg). Kein US-Mutterkonzern, vollständig EU-Hosting.
- Selbst gehostete Open-Weight-Modelle — Llama 3.x, Mistral Open-Weight oder Phi auf Hetzner/IONOS GPU-Server. Maximale Kontrolle.
Daneben sind Microsoft 365 Copilot und GitHub Copilot weitere produkt-spezifische Optionen, die jeweils eigene DSGVO-Bewertungen brauchen.
Vergleichsmatrix
Azure OpenAI mit EU-Region
Microsoft Azure OpenAI Service in Sweden Central (Stockholm) oder Switzerland North (Zürich) ist die häufigste Wahl in unseren Mandaten. Vorteile: Microsoft-Vertragsbasis ist im Mittelstand oft schon vorhanden, DPA-Erweiterung für Azure OpenAI ist Standard, Trainingsausschluss vertraglich, Compliance-Reporting (Auditing, Logging) gut integriert. Daten werden in der gewählten Region verarbeitet — auch Datenresidenz für „Stored Conversation Data“ garantiert.
Architektur-Pattern im Mittelstand: API-basierter Zugriff aus eigenen Anwendungen + parallel Microsoft 365 Copilot für allgemeine Office-Produktivität. Beide nutzen die gleiche Microsoft-Compliance-Infrastruktur.
ChatGPT Enterprise mit EU-Region
OpenAI bietet ChatGPT Enterprise mit EU-Hosting in Frankfurt. Vorteile: höchste Modellqualität an einigen Stellen (besonders bei komplexen Reasoning-Tasks), Custom GPTs für interne Anwendungen, Code-Interpreter, Datei-Uploads, lange Kontexte. Nachteile: höherer Preis pro Nutzer (~60 USD/Monat ab 150 Nutzer-Mindestabnahme), weniger Microsoft-Integration als Copilot.
Empfohlene Konstellation: Power-User (10–50 Personen in Marketing/F&E/Strategie) bekommen ChatGPT Enterprise, breite Belegschaft Copilot.
Mistral EU & Aleph Alpha
Beide Anbieter bieten produktionsreife LLMs mit vollem EU-Hosting und ohne US-Mutterkonzern. Damit entfällt das Schrems-III-Restrisiko strukturell. Mistral La Plateforme (Paris) ist im allgemeinen Mittelstand verbreiteter, hat eine starke API und gute Modell-Qualität (Mistral Large für Top-Pfade, Mistral Small für kosteneffiziente Massendaten). Aleph Alpha PhariaAI ist Heidelberger Eigenentwicklung mit Schwerpunkt regulierte Branchen, Behörden und Verteidigung — mit eigener On-Premise-Option.
Selbst gehostete Open-Weight-Modelle
Llama 3.1/3.3 70B oder Mistral Open-Weight Modelle (z. B. Mistral Small 3.x) auf eigener Infrastruktur (Hetzner GPU-Server mit H100/A100). Vorteile: vollständige Kontrolle, keine Anbieter-Abhängigkeit, fixe Kosten. Nachteile: höherer Initial-Aufwand (Hardware, Setup, Wartung), höhere Betriebsverantwortung, im Modell-Update-Rhythmus etwas langsamer als kommerzielle Anbieter.
Empfohlen für: Hochsensible Daten (z. B. F&E-Daten, Konstruktions-Geheimnisse), hohe Volumina (wo API-Kosten bei kommerziellen Anbietern explodieren würden), strenge Vendor-Lock-in-Vermeidung.
KI-Nutzungsrichtlinie für Mitarbeiter
Eine gute KI-Nutzungsrichtlinie ist 2–4 Seiten und definiert klar:
Standard-Aufbau einer KI-Nutzungsrichtlinie
- 1
Zugelassene Tools
Welche Tools sind erlaubt? Welche sind ausdrücklich nicht erlaubt? Listing mit Update-Quartal.
- →Whitelist
- →Blacklist
- 2
Datenklassen
3-Stufiges Modell: öffentlich / intern / vertraulich/personenbezogen. Pro Stufe definiert, welche Tools genutzt werden dürfen.
- →Datenklassen-Matrix
- 3
Verbotene Anwendungen
Bewertungen, automatisierte Entscheidungen, Anwendungen aus EU-AI-Act-Verbotsliste, sensible Mitarbeiter-Daten.
- →Verbots-Katalog
- 4
Schulungspflicht
AI Literacy nach EU AI Act Art. 4. Onboarding-Modul und jährliches Refresh.
- →Schulungsplan
Beispiel-Datenklassen-Matrix (verkürzt)
Konkrete Use Cases
Wo bringen ChatGPT-artige LLMs im Mittelstand operativ den meisten Nutzen?
- E-Mail-Bearbeitung (Antwort-Entwürfe, Übersetzungen, Zusammenfassungen langer Threads) — über Copilot in Outlook für die ganze Belegschaft.
- Dokument-Generierung (Berichte, Memos, Präsentationen) — über Copilot in Word/PowerPoint oder ChatGPT Enterprise.
- Recherche & Zusammenfassung (Marktstudien, Wettbewerbsanalyse, Fachliteratur) — ChatGPT Enterprise mit Browse, oder Mistral Large.
- Code-Unterstützung (für IT-Mannschaft) — GitHub Copilot Business mit DPA.
- Datenanalyse (Excel-Auswertungen, Insights) — Copilot in Excel oder ChatGPT Advanced Data Analysis.
- Kreativarbeit (Marketing-Texte, Bild-Briefings, Konzeptentwürfe) — ChatGPT Enterprise oder Claude.
- Schulungs-Material (Erstellung von Lerninhalten, FAQ, Onboarding-Texten) — alle Optionen geeignet.
- Geschäftsspezifische Wissens-Bots (RAG auf interne Quellen) — Private AI klar bevorzugt, siehe RAG-Pillar.
Verteilung der LLM-Architekturen in 17 KBD-Mandaten 2025–2026
(Mehrfachnennungen — viele Mandanten nutzen Kombinationen.)
Wenn Sie ChatGPT-artige KI in Ihrem Unternehmen rechtssicher aufsetzen wollen, ist der einfachste Schritt ein kostenfreies Erstgespräch. Wir analysieren Ihre Use-Case- und Daten-Klassen, empfehlen die passende Architektur und unterstützen optional bei der KI-Nutzungsrichtlinie und Betriebsvereinbarung. Vertieftes Material in Tool-Vergleich, DSGVO-Pillar und EU AI Act-Pillar.