KI im Unternehmen einführen — der Leitfaden für den Mittelstand

Was heißt „KI im Unternehmen einführen"?

KI-Einführung ist der strukturierte Prozess, in dem ein Unternehmen aus ersten Experimenten produktiv genutzte, gemessene und compliance-konforme KI-Anwendungen macht. Es ist nicht der Kauf einer Lizenz und nicht der Anschluss an ChatGPT. Eine KI-Einführung ist abgeschlossen, wenn mindestens ein Use Case in einem Geschäftsprozess fest verankert ist, einen messbaren Effekt erzeugt und einen dokumentierten Compliance-Nachweis hat.

Drei Reifegrade sind wichtig zu unterscheiden:

• Experiment-Phase — einzelne Mitarbeiter nutzen KI-Tools privat oder in grauen Zonen.
• Pilot-Phase — ein Use Case ist klar definiert, getestet, aber nicht skaliert.
• Produktiv-Phase — Use Case ist im Prozess verankert, gemessen, in der KI-Governance erfasst.

Die meisten Mittelständler 2026 sind in der Experiment-Phase und glauben, sie wären in Pilot-Phase. Eine ehrliche Einordnung liefert unser KI-Maturity-Index.

Was Sie vorher brauchen — und was nicht

Brauchen Sie zwingend:

• Ein klares Geschäftsproblem, das KI besser löst als Alternativen.
• Mindestens einen Datenbestand, der für den Use Case relevant ist (Tickets, Verträge, Anrufe, Kandidaten, Belege …).
• Eine Person mit Mandat (KI-Lotse oder KI-Verantwortliche:r) — keine Doppelrolle der IT-Leitung „nebenher".
• Geschäftsführungs-Sponsorship mit Budget-Bereitschaft 60–200 k€ im ersten Jahr.

Brauchen Sie nicht vorher:

• Eine perfekte Datenstrategie — die entsteht use-case-getrieben.
• Ein eigenes KI-Team — entsteht meist erst ab dem 3. Use Case.
• Eine fertige KI-Strategie — diese wird in Phase 1–3 mit-erarbeitet.
• State-of-the-Art-IT — auch Mittelstands-typische IT-Landschaften reichen für RAG- und Voice-Use-Cases aus.

Die 7 Phasen der KI-Einführung

Wichtige Lehre aus 50+ Mittelstands-Mandaten: Phase 5 (Compliance) muss parallel zu Phase 3 starten, nicht als Nachklapp. Wer Compliance erst nach dem Pilot betrachtet, baut häufig die Architektur teuer um.

Zeit- und Kostenrahmen — realistische Zahlen

Detail-Aufschlüsselung Erstjahres-Budget:

• Discovery & Strategie: 8–25 k€ (1–2 Workshops + Use-Case-Bewertung)
• Pilot-Implementierung: 25–60 k€ (technische Umsetzung erster Use Case)
• Compliance & Governance: 5–15 k€ (DSGVO/EU-AI-Act-Audit, Vertragswerke)
• Lizenzen & Cloud im Jahr 1: 10–30 k€ (LLM-API, Hosting, Vektordatenbank, Tools)
• Schulungen & Change: 5–15 k€ (Anwender-Trainings, Multiplikatoren)
• Interner Aufwand KI-Lotse: 30–60 k€ (60 %-Stelle für 12 Monate, oft umgewidmet)

Konkrete Zahlen für Ihren Fall liefert unser KI-Kostenrechner oder direkt eine kostenfreie Potenzialanalyse.

Wer macht was? — Rollen in der KI-Einführung

Erfolgreiche KI-Einführungen haben fünf klar besetzte Rollen:

• Sponsor (Geschäftsführung): Budget, politische Rückendeckung, Eskalationsinstanz. Aufwand: 1–2 Stunden/Monat.
• KI-Lotse (intern): Treiber im Tagesgeschäft, Schnittstelle Fachbereich ↔ Technik ↔ Beratung. Aufwand: 60–100 %.
• Fachbereichs-Owner: kennt den Prozess, definiert Erfolgsmetrik, verantwortet Akzeptanz. Aufwand: 0,5–2 Tage/Woche im Pilot.
• IT/Datenschutz: AVV, Sicherheitsfreigaben, Integration in bestehende Systeme. Aufwand: 2–5 Tage/Monat.
• Externer Partner: Beratung, Implementierung, Compliance-Setup, Schulung. Aufwand projektabhängig.

Tieferer Einstieg: Rollen & RACI für KI-Projekte.

Typische Fallen und wie man sie vermeidet

• Falle „Technologie-getrieben": Use Case wird gewählt, weil das Tool spannend ist — nicht weil das Geschäftsproblem groß ist. Gegenmittel: Wert-vor-Werkzeug-Bewertung in Phase 3.
• Falle „Big Bang": Skalierung ohne Pilot — Risiko von Akzeptanz- und Datenproblemen wird unterschätzt. Gegenmittel: Pilot mit klarem Go/No-Go.
• Falle „Schatten-IT": Mitarbeiter nutzen ChatGPT mit Geschäftsdaten privat — DSGVO-Verstoß. Gegenmittel: Nutzungsrichtlinie + DSGVO-konforme Alternative innerhalb von 60 Tagen bereitstellen.
• Falle „Erfolg nicht messbar": Kein Vorher-Nachher-Vergleich definiert. Gegenmittel: Baseline-Messung in Phase 3, A/B-Setup im Pilot.
• Falle „Compliance am Ende": EU-AI-Act-Klassifizierung erst beim Roll-out — teure Re-Architektur. Gegenmittel: Compliance-Check in Phase 3 (siehe EU AI Act Umsetzung).

Compliance-Pflichten ab Tag 1

Spätestens in Phase 3 müssen folgende Themen aktiv adressiert werden:

• DSGVO-Schutzkonzept: Welche Personendaten werden verarbeitet? Wer ist Verantwortlicher / Auftragsverarbeiter? Wo werden Daten verarbeitet (EU-Hosting Pflicht für viele Anwendungen).
• EU-AI-Act-Klassifizierung: Minimal-, Begrenzt-, Hoch-, oder Verboten-Risiko? Pflichten je Klasse — siehe EU-AI-Act-Klassifizierungsmatrix.
• AVV / Auftragsverarbeitung: Mit jedem KI-Anbieter (LLM-Provider, Vektordatenbank, Hosting). Standardvertragsklauseln bei Drittland-Transfer.
• KI-Register: Internes Verzeichnis aller produktiven KI-Anwendungen — Stand 2026 De-facto-Standard, mit EU AI Act ab August 2026 für Hochrisiko-Systeme verpflichtend.
• Betriebsrat: §87 BetrVG bei Mitarbeiter-bezogenen Anwendungen, idealerweise Rahmen-Betriebsvereinbarung KI.

Tieferer Einstieg: DSGVO-konforme KI und EU AI Act Umsetzung.

Konkreter nächster Schritt

Die häufigste Bremse ist nicht Budget, sondern fehlende Klarheit: „Wo fangen wir an?" Drei Wege, die je nach Reifegrad sinnvoll sind:

• Reifegrad 1 (Experimente): Starten Sie mit dem Readiness-Check (5 Min) und einer kostenfreien Potenzialanalyse — Output ist eine priorisierte Use-Case-Liste.
• Reifegrad 2 (erste Use Cases identifiziert): Starten Sie mit einem strukturierten KI-Pilot (8–14 Wochen, klar abgegrenzt).
• Reifegrad 3+ (mehrere Use Cases im Betrieb): Skalierung und Governance — sprechen Sie über einen KI-Audit als Standortbestimmung.

Wenn Sie unsicher sind, welcher Schritt passt: Termin in 24 Std. buchen — kostenfreies 30-Minuten-Erstgespräch.