Warum eine KI-Strategie — und nicht einfach drauflos?
Im Mittelstand begegnen wir zwei Anti-Mustern. Erstens: Unternehmen ohne Strategie und ohne klare Führung lassen Mitarbeiter ungesteuert ChatGPT konsumieren. Das schafft kurzfristig Begeisterung („KI macht ja Spaß“), produziert aber DSGVO-Risiken (Geschäftsgeheimnisse landen bei OpenAI), Insellösungen ohne Investitionsschutz und Frustration im Roll-out, weil ohne Strategie kein konsistentes Vorgehen möglich ist. Zweitens: Unternehmen mit übergroßer Strategie-Neigung beauftragen 18-monatige McKinsey-Projekte mit 200-Seiten-Decks, die zwei Jahre später unangewandt im Vorstandsschrank liegen. Beide Wege scheitern systematisch.
Eine gute KI-Strategie für den Mittelstand ist ein kompaktes, aktualisierbares Dokument mit klarem Mandat, priorisierten Use Cases und einer Roadmap, die alle 6 Monate nachjustiert wird. Sie schafft drei Dinge: erstens Klarheit über Prioritäten („was zuerst, was später, was gar nicht“), zweitens Konsistenz in Architektur und Compliance („alle Use Cases nutzen die gleiche Hosting-Strategie und das gleiche Datenschutz-Framework“), drittens Verbindlichkeit für Investitionen („für die nächsten 12 Monate sind X € budgetiert“).
Aus internen KBD-Daten sowie Bitkom-Studien zur KI-Adoption im Mittelstand 2025
Baustein 1 — Reifegrad-Bestimmung
Eine Strategie ohne ehrliche Bestandsaufnahme baut auf Wunschdenken. Der erste Baustein ist deshalb eine strukturierte Reifegrad-Bewertung in sechs Dimensionen: Strategie & Mandat, Daten, Datenschutz, IT-Infrastruktur, Organisation, Budget. Wir nutzen dafür unseren KI-Readiness-Check als Selbsteinstieg, in der Strategie-Entwicklung dann eine vertiefte Workshop-Bewertung mit Geschäftsleitung und Schlüssel-Stakeholdern.
Ergebnis dieses Bausteins ist ein zweiseitiges Reifegrad-Profil mit Stärken (worauf wir aufbauen können), Schwächen (was wir parallel adressieren müssen) und einem klaren Ranking der drängendsten Reifelücken. Wer hier ehrlich ist, spart sich später viel Schmerz — eine schlechte Datenlage lässt sich nicht wegoptimieren, sondern muss strukturell adressiert werden.
Baustein 2 — Use-Case-Portfolio
Der häufigste Strategiefehler: zu viele Use Cases gleichzeitig. Ein Mittelständler mit 150 Mitarbeitern kann in 12 Monaten realistisch 2–4 Use Cases produktiv ausrollen. Mehr scheitert an Aufmerksamkeitsdefizit, IT-Kapazität und Change-Belastung. Eine gute Strategie priorisiert deshalb hart.
Unser Vorgehen für die Use-Case-Priorisierung folgt einer 2x2-Matrix:
- Achse 1: Wirtschaftlicher Hebel — Wie groß ist der erwartete Nutzen (Einsparung, Umsatzsteigerung, Risikoreduktion)? Wir empfehlen, hier konservativ zu schätzen — nicht das Best-Case-Marketing-Versprechen, sondern den realistischen Erwartungswert.
- Achse 2: Umsetzungsaufwand — Wie schwer ist der Use Case (Datenlage, technische Komplexität, Stakeholder-Zahl, Datenschutz-Risiko)?
Use Cases mit hohem Hebel und niedrigem Aufwand sind Quick Wins (sofort starten). Hoher Hebel + hoher Aufwand sind strategische Wetten (in der Roadmap später, mit dediziertem Programm). Niedriger Hebel + niedriger Aufwand sind „Nice to have“ (oft besser nicht angreifen — Aufmerksamkeit bündeln). Niedriger Hebel + hoher Aufwand sind klar zu vermeiden.
Häufig priorisierte Use Cases im Mittelstand 2026
Baustein 3 — Make-or-Buy-Entscheidungen
Für jeden priorisierten Use Case stellt sich die Frage: Bauen wir selbst, kaufen wir Standard-Software, oder konfigurieren wir eine Plattform? Im Mittelstand entscheiden wir typischerweise so:
- Buy (Standard-Software): Microsoft Copilot, ChatGPT Enterprise, Salesforce Einstein, dedizierte Vertikallösungen. Vorteil: schnell live, geringer Eigenanteil. Nachteil: keine Differenzierung, Lock-in, Datenfluss zu US-Anbieter.
- Configure (Plattform): Microsoft Azure AI Studio, IBM watsonx, AWS Bedrock, lokale Plattformen wie Aleph Alpha PhariaAI. Vorteil: schneller als Eigenbau, mehr Kontrolle als reines Buy. Nachteil: Plattform-Abhängigkeit.
- Build (Custom-Implementierung): RAG-Systeme auf pgvector/Qdrant, eigene Agenten-Frameworks, individuelle Pipelines. Vorteil: maximale Kontrolle, Datenschutz, Differenzierung. Nachteil: höherer Initialaufwand, eigene Betriebsverantwortung.
Faustregel: Buy für nicht-differenzierende Standardprozesse (z. B. Mitarbeiter-Produktivität durch Copilot), Build für differenzierende Kerngeschäfts-Use-Cases (z. B. der RAG-Bot auf Service-Berichten im Maschinenbau-Case oben). Configure als Mittelweg, wenn Make zu groß und Buy zu eingeschränkt ist.
Baustein 4 — Daten- und Tech-Architektur
Die Architektur-Entscheidungen, die Sie heute treffen, prägen Ihre KI-Landschaft für die nächsten 5+ Jahre. Wir empfehlen vier verbindliche Architektur-Prinzipien für jede Mittelstands-KI-Strategie:
- Hosting-Hoheit: Vorab definieren, was wo gehostet werden darf. Empfehlung für die meisten Mittelständler: Standardmäßig DE/EU, US-Cloud nur mit explizitem Approval pro Use Case.
- LLM-Abstraktion: LLM-Provider sind austauschbar zu halten. Konkret heißt das: kein Anbieter-spezifischer Code in der Anwendungslogik, sondern eine schlanke Abstraktionsschicht (z. B. LangChain, LlamaIndex oder ein eigener Adapter).
- Daten-Pipeline-Standardisierung: Jede neue Datenquelle wird über die gleiche Pipeline angebunden (Extraktion, Chunking, Embedding, Vektor-Store). Keine Insellösungen.
- Eval-First: Jeder Use Case bekommt von Anfang an ein Eval-Set mit ≥50 Test-Cases, das automatisiert läuft und bei jedem Modell-Wechsel re-evaluiert wird.
Baustein 5 — Governance & Compliance
Eine KI-Strategie ohne Governance-Bausteine ist 2026 nicht mehr zulässig. Konkret brauchen Sie:
- KI-Nutzungsrichtlinie für Mitarbeiter (welche Tools dürfen genutzt werden, mit welchen Daten?)
- DSFA-Standardvorgehen für jede neue KI-Anwendung mit personenbezogenen Daten
- EU-AI-Act-Risiko-Klassifikation für jede neue Anwendung (verboten / hochrisiko / begrenztes Risiko / minimales Risiko)
- Anbieter-Auditierung mit DPA-Standards für jeden externen LLM-/Voice-Provider
- Incident-Response-Prozess für KI-spezifische Vorfälle (Halluzination mit Schaden, Daten-Leak, Modell-Drift)
- Modell-Inventarisierung aller produktiven KI-Anwendungen mit Owner, Risiko-Klassifikation, letztem Audit
Vertiefung in unseren Pillar-Pages zu DSGVO-konformer KI und EU-AI-Act-Umsetzung.
Baustein 6 — Skills & Change Management
KI-Strategien scheitern selten an der Technik, sondern oft an Akzeptanz und Skills. Eine gute Strategie definiert deshalb konkret:
- Schulungsplan für Mitarbeiter (Grundlagen, anwendungsbezogen, advanced)
- Champion-Modell: 1–2 Personen pro Abteilung als KI-Champion, die als Multiplikatoren wirken
- Internes KI-Center-of-Excellence oder zumindest ein klar verantwortlicher Owner
- Externe Sparringspartner für längere Projekte (Beratung, Subunternehmen)
- Kommunikationsplan: Wie kommunizieren wir KI-Vorhaben gegenüber Belegschaft, Betriebsrat, Kunden?
Baustein 7 — Roadmap & KPIs
Eine Roadmap ohne KPIs ist Wunschliste. Eine gute KI-Roadmap operationalisiert die Strategie in 3-Monats-Sprints mit klaren Milestones:
Typische 12-Monats-Roadmap (Beispiel)
- 1Monate 1–3
Foundation
Strategie verabschiedet, Governance-Skelett aufgesetzt, erster Use Case als Pilot live.
- →Strategie-Dokument
- →Nutzungsrichtlinie
- →Pilot 1 produktionsreif
- 2Monate 4–6
Quick Wins
Pilot 1 Skalierung auf gesamte Abteilung, Pilot 2 startet, Schulungsprogramm beginnt.
- →Pilot 1 Roll-out
- →Pilot 2 startet
- →Erste Schulungswelle
- 3Monate 7–9
Skalierung
Pilot 2 produktiv, Pilot 3 als strategische Wette, DSFA für hochrisiko Use Case.
- →Pilot 2 produktiv
- →Pilot 3 Pilot-Phase
- →DSFA dokumentiert
- 4Monate 10–12
Reife
Mehrere produktive Use Cases, Strategie-Update für Jahr 2, ROI-Bilanz für Geschäftsleitung.
- →ROI-Bilanz Jahr 1
- →Strategie 2.0 für Jahr 2
- →Optional Managed Service
KPIs auf drei Ebenen
- Strategische KPIs (für Geschäftsleitung): Anzahl produktiver Use Cases, kumulierte Einsparung/Mehrumsatz, KI-bezogene Mitarbeiter-Adoption.
- Operative KPIs (pro Use Case): Use-Case-spezifische Metriken (z. B. Angebotszeit, Stillstandzeit, Bearbeitungsquote).
- Compliance-KPIs: Anzahl DSFA, Anzahl Incidents, Anzahl auditierte Anbieter, EU-AI-Act-Klassifikations-Stand aller Anwendungen.
Häufige Fehler in der Strategie-Entwicklung
- Zu großer Scope. 200-Seiten-Dokumente landen in der Schublade. Halten Sie es schlank (12–20 Seiten).
- Zu viele Use Cases parallel. Mehr als 4 produktive Use Cases im ersten Jahr sind im Mittelstand sehr selten realistisch.
- Tech-First statt Process-First. Strategie soll mit Geschäftsfragen beginnen, nicht mit Tech-Trends.
- DSGVO und EU AI Act als „später“ abtun. Nachträgliches Compliance-Patchwork ist teurer als Compliance by Design.
- Schulung und Change unterschätzen. Mindestens 15 % des Pilot-Budgets in Schulung und Akzeptanz investieren.
- Strategie nicht verbindlich beschließen. Eine Strategie ohne Geschäftsleitungs-Beschluss ist Lyrik.
- Strategie nie aktualisieren. KI-Markt verändert sich quartalsweise — Strategie spätestens halbjährlich nachjustieren.
Vorlagen & nächste Schritte
Wir stellen unseren Mandanten eine Sammlung von Vorlagen zur Verfügung: Reifegrad-Audit-Bogen, Use-Case-Portfolio-Template (Excel), Make-or-Buy-Entscheidungsbaum, KI-Nutzungsrichtlinie (Word-Vorlage), DSFA-Template, EU-AI-Act-Klassifikations-Bogen, ROI-Kalkulationsmodell. Diese Vorlagen sind Teil unseres Strategie-Sprints und werden gemeinsam mit Ihnen ausgefüllt.
Wenn Sie zunächst Ihren Reifegrad bestimmen wollen, beginnen Sie mit unserem KI-Readiness-Check (4 Minuten). Wenn Sie bereits konkret in eine Strategie-Entwicklung einsteigen wollen, vereinbaren Sie ein kostenfreies Erstgespräch. Wir prüfen ergebnisoffen, ob ein 4-Wochen-Strategie-Sprint, ein direkter Pilot oder eine andere Form der Zusammenarbeit am besten passt.