KI-Pilotprojekte im Mittelstand: Warum 95 Prozent scheitern und wie Sie Ihre KI-Investition retten

95 Prozent. So viele KI-Pilotprojekte bringen keinen messbaren Umsatz. Das ist keine Bauchzahl, sondern ein MIT-Befund aus 2025, den Gartner und McKinsey inzwischen mit eigenen Daten bestätigen. Wenn Sie in einem mittelständischen Unternehmen gerade den zweiten oder dritten Anlauf mit KI planen, dürfte sich das unangenehm vertraut anfühlen.

Die Frage ist also nicht mehr, ob KI im Mittelstand funktioniert. Die Frage ist, warum so viele Pilotprojekte in Demos hängenbleiben, nie in den Arbeitsalltag kommen und am Ende als teure Lernerfahrung verbucht werden. Und vor allem: Was die 5 Prozent anders machen, die es schaffen.

In diesem Artikel zeige ich Ihnen die sieben Muster, die wir in Beratungsprojekten immer wieder sehen. Sie werden Ihr eigenes Projekt darin wiederfinden, oder besser: Sie werden erkennen, wo Sie gerade abbiegen, bevor es teuer wird.

Das Problem heißt nicht KI, es heißt „Pilotfegefeuer”

Der typische Ablauf sieht so aus. Ein Geschäftsführer liest einen Artikel, die IT-Abteilung bekommt Budget, ein Dienstleister wird beauftragt. Nach drei Monaten gibt es eine beeindruckende Demo. Der Prototyp liest Rechnungen aus, beantwortet Kundenanfragen oder erstellt Angebote. Alle nicken zufrieden.

Und dann passiert nichts mehr.

Das ist kein Einzelfall. Analysten nennen dieses Muster inzwischen „Pilotfegefeuer”: Projekte, die in einer Dauerschleife zwischen Proof of Concept und echtem Produktivbetrieb feststecken. Laut einer Erhebung von Superkind landen 46 Prozent aller POCs gar nicht erst in der Produktion. Sie sterben einen stillen Tod, meistens weil niemand definiert hat, was passieren soll, wenn die Demo vorbei ist.

Die gute Nachricht: Das Scheitern folgt Regeln. Wer die Regeln kennt, kann sie brechen.

Fehler 1: Niemand hat den Business Case wirklich ausgerechnet

Fragen Sie die Projektleitung in einem KMU, was der KI-Chatbot konkret einsparen soll. In neun von zehn Fällen bekommen Sie eine Antwort wie „Zeit im Kundenservice” oder „weniger manuelle Arbeit”. Schön. Wie viele Stunden? Bei welchen Ticket-Typen? Und was kostet die Stunde wirklich, wenn Sie Opportunitätskosten, Schulung und Wartung einrechnen?

Ein durchschnittliches KI-Projekt kostet zwischen 200.000 und 500.000 Euro bis zum Proof of Concept. Rechnet man Folgekosten und verschenkte Managementzeit dazu, kann ein einziges gescheitertes Pilotprojekt einen Mittelständler bis zu eine Million Euro kosten. Das ist für viele Unternehmen die Hälfte eines Jahresgewinns.

Ein solider Business Case beantwortet vor dem Projektstart drei Fragen. Wie hoch ist die Kosten- oder Umsatzwirkung pro Fall? Wie viele Fälle pro Monat haben wir? Wie hoch ist die realistische Automatisierungsquote? Wenn Sie auf diese Fragen keine belastbare Antwort haben, sollten Sie nicht starten. Sie sollten erst rechnen.

Fehler 2: Der falsche Use Case, weil er „technisch spannend” ist

Technisch interessant heißt nicht wirtschaftlich sinnvoll. Trotzdem landen auf den Prio-Listen vieler KMU Themen wie „KI-gestützte Predictive Maintenance für unsere Sondermaschinen” oder „generative KI für unseren Online-Shop”, obwohl die eigentlichen Schmerzpunkte im Unternehmen ganz woanders liegen: in zu langen Angebotserstellungen, schlechter Dokumentensuche oder unübersichtlichem Rechnungseingang.

Ein guter erster Use Case hat vier Eigenschaften. Er ist oft (hohe Fallzahl), teuer (messbare Kosten pro Fall), unbeliebt (Mitarbeiter geben ihn gerne ab) und klar abgrenzbar (wenig Sonderfälle). Das klingt banal, sortiert aber 80 Prozent der typischen KMU-Ideen aus. Und es ist der Grund, warum nüchterne Use Cases wie „Rechnungen vorerfassen” oder „E-Mails klassifizieren” in der Praxis mehr ROI bringen als jedes Leuchtturmprojekt.

Fehler 3: Daten, die für KI unbrauchbar sind

Gartner prognostiziert, dass bis Ende 2026 etwa 60 Prozent aller KI-Projekte allein an der Datenlage scheitern. Nicht am Modell. Nicht am Anbieter. An den Daten.

Typische Probleme im Mittelstand: PDFs als Scan statt als durchsuchbare Datei, Kundendaten verteilt auf CRM, ERP, Excel und Outlook, widersprüchliche Feldbezeichnungen zwischen Abteilungen, fehlende Dokumentation, wer welche Daten eigentlich pflegt. Eine KI, die mit diesem Wildwuchs arbeiten soll, liefert entweder unbrauchbare Antworten oder halluziniert plausible Falschinformationen. Beides ist im Kundenkontakt verheerend.

Bevor Sie in KI investieren, investieren Sie zwei bis vier Wochen in eine ehrliche Datenbestandsaufnahme. Welche Daten gibt es? In welcher Qualität? Wer ist verantwortlich? Das ist keine glamouröse Arbeit, aber sie entscheidet über Erfolg oder Scheitern des gesamten Projekts.

Fehler 4: Der IT-Einzelkämpfer ohne Rückendeckung

In vielen Mittelständlern treibt genau eine Person das Thema KI: oft ein IT-Leiter, ein digitalaffiner Prokurist oder ein junger Produktmanager mit Elan. Das funktioniert in der Versuchsphase. Es funktioniert nicht in der Skalierung.

Wenn der KI-Assistent plötzlich Teile der Angebotserstellung übernimmt, berührt das Vertrieb, Einkauf, Buchhaltung und Geschäftsleitung. Ohne Sponsor auf Geschäftsleitungsebene, ohne mindestens einen Fachbereichsvertreter als Co-Owner und ohne frühzeitige Einbindung des Betriebsrats (sofern vorhanden) kollabiert das Projekt spätestens beim ersten Change. Nicht weil die Technik versagt, sondern weil die Organisation nicht mitzieht.

Die 5 Prozent, die Erfolg haben, machen es so: Ein klares Steering-Gremium mit drei bis fünf Personen aus verschiedenen Bereichen. Monatliches Review mit der Geschäftsleitung. Und schriftliche Rollen, wer was entscheidet.

Fehler 5: Keine Akzeptanz bei den Menschen, die damit arbeiten sollen

Ich habe schon Unternehmen gesehen, die einen Rechnungsprüfungs-Assistenten eingeführt haben, der technisch einwandfrei funktionierte. Trefferquote über 90 Prozent. Nach sechs Monaten nutzten ihn 15 Prozent der Sachbearbeiter. Der Rest arbeitete weiter wie immer.

Warum? Weil niemand sie vorher gefragt hatte, wie sie eigentlich arbeiten. Der Assistent war so gebaut, dass er perfekt in einen idealisierten Prozess passte, den es in der Praxis gar nicht gab. Die echten Rechnungen kamen mit Notizen am Rand, als Foto vom Handy, mit Rückfragen zum Lieferanten. Die KI konnte damit nichts anfangen. Die Mitarbeiter auch nicht mit der KI.

Akzeptanz baut sich in drei Schritten auf. Erstens: die Menschen, die die Arbeit kennen, gestalten den Prozess mit. Nicht einmal im Workshop, sondern kontinuierlich. Zweitens: das System startet als Assistent, nicht als Ersatz. Menschen prüfen, KI schlägt vor. Drittens: Fehler sind normal und werden besprochen, nicht versteckt. Wer eine KI einführt, ohne eine Fehlerkultur zu etablieren, bekommt am Ende eine teure Black Box, die keiner benutzt.

Fehler 6: Ungeklärter Umgang mit dem AI Act

Seit August 2024 ist der AI Act in Kraft, seit Februar 2025 gilt die Pflicht zur KI-Kompetenz. Ab August 2026 werden weitere Regelungen scharfgeschaltet, unter anderem für sogenannte General-Purpose-AI-Modelle, die in den meisten KMU-Projekten eingesetzt werden (Stichwort ChatGPT, Claude, Copilot).

Viele Mittelständler tun so, als wäre das nur ein Thema für Konzerne. Ist es nicht. Die KI-Kompetenzpflicht bedeutet: Alle Mitarbeiter, die mit KI-Systemen arbeiten, müssen nachweislich geschult sein. Das gilt auch für die Praktikantin, die ChatGPT für E-Mails benutzt.

Ein pragmatischer Minimal-Ansatz für KMU: Interne KI-Richtlinie schreiben (was darf mit welchen Daten gemacht werden?), Dokumentation der verwendeten Systeme (welches Modell, welcher Anbieter, welche Datenflüsse?), nachweisbare Schulung der Nutzer (kann auch online in zwei bis drei Stunden passieren). Das ist keine Raketenwissenschaft, muss aber passieren, bevor ein Pilotprojekt in den Rollout geht.

Fehler 7: Keine Exit-Kriterien für den Pilot

„Wir machen mal einen Piloten” ist einer der teuersten Sätze der deutschen Wirtschaft. Denn ein Pilot ohne definiertes Ende hat kein Ergebnis, nur Kosten.

Bevor Sie starten, schreiben Sie drei Dinge auf. Was muss der Pilot mindestens erreichen, damit er in den Rollout geht? (Zum Beispiel: 70 Prozent Trefferquote bei der Rechnungsklassifikation, Durchlaufzeit halbiert, Mitarbeiterzufriedenheit neutral oder besser.) Was bedeutet „Abbruch”? (Eindeutige Untergrenzen, bei denen Sie den Stecker ziehen.) Und bis wann? (Meist 8 bis 12 Wochen für einen sauberen Pilot in einem klar abgegrenzten Bereich.)

Wer das nicht festhält, bekommt Dauer-Piloten. Und Dauer-Piloten sind der Hauptgrund, warum ROI bei KI im Mittelstand so oft ausbleibt. Laut aktuellen Zahlen zeigt sich der erste messbare ROI bei gut aufgesetzten Projekten innerhalb von 90 Tagen nach Go-live. Wer nach sechs Monaten Pilot keine Zahlen hat, hat kein Pilotprojekt, sondern eine teure Nebenbeschäftigung.

Was die 5 Prozent anders machen

Wenn man die erfolgreichen KMU-KI-Projekte der letzten zwei Jahre durchsieht, findet man überraschend wenig Magie. Sie starten klein und eng. Sie messen von Anfang an. Sie investieren mehr Zeit in den Prozess und die Akzeptanz als in die Technologie selbst. Sie haben einen Sponsor auf Geschäftsführungsebene, der nach 90 Tagen Rechenschaft einfordert. Und sie sind bereit, einen Piloten auch zu beenden, wenn die Zahlen nicht stimmen.

Vor allem aber: Sie behandeln KI nicht als IT-Projekt, sondern als Veränderungsprojekt. Die Technik ist das Werkzeug. Die eigentliche Arbeit ist die Neugestaltung eines Prozesses, der Jahre oder Jahrzehnte so gelaufen ist wie bisher. Wer das versteht, hat eine reelle Chance, auf der richtigen Seite der 95/5-Statistik zu landen.

So starten Sie jetzt richtig

Wenn Sie gerade am Anfang stehen, tun Sie Folgendes. Machen Sie eine nüchterne Liste Ihrer Top-5-Engpässe im Unternehmen (wo geht Zeit verloren, wo entstehen Fehler, wo ist die Stimmung im Team schlecht?). Prüfen Sie für jeden Punkt, ob er die vier Use-Case-Kriterien erfüllt. Wählen Sie den langweiligsten, aber am besten messbaren Fall aus. Rechnen Sie den Business Case. Und setzen Sie sich ein 90-Tage-Fenster mit klaren Abbruchkriterien.

Das ist weniger spektakulär als eine Strategiepräsentation über „KI im Zeitalter der Transformation”. Aber es funktioniert.

Wenn Sie an diesem Punkt stecken oder schon ein Projekt haben, das nicht richtig in Fahrt kommt, reden Sie mit jemandem, der den Schritt vom Piloten in den Rollout schon oft gesehen hat. Bei KI-Schub begleiten wir genau diese Phase: vom Business Case über die Use-Case-Auswahl bis zur Schulung der Mitarbeiter nach AI Act. Ein unverbindliches Erstgespräch klärt in 30 Minuten, ob Ihr Projekt auf dem richtigen Weg ist oder ob Sie gerade Geld verbrennen. Hier können Sie einen Termin vereinbaren.