KI-Pilotprojekt: wie ein Versuch in den Betrieb kommt – oder sauber endet

Ein KI-Pilotprojekt ist ein zeitlich begrenzter Versuch, bei dem ein KI-System eine klar beschriebene Aufgabe mit echten Daten und echten Nutzern übernimmt, gemessen an einer vorher festgelegten Größe. Es endet mit einer Entscheidung: in den Betrieb überführen, anpassen oder beenden. Ohne diese Entscheidung bleibt es eine Vorführung.

Was ein KI-Pilotprojekt ist

Der Pilot liegt zwischen zwei Stufen, die oft verwechselt werden. Davor steht der technische Machbarkeitsnachweis, der zeigt, dass ein Modell eine Aufgabe grundsätzlich lösen kann, meist mit ausgewählten Beispielen. Danach steht der Regelbetrieb mit Verantwortlichen, Überwachung und Budget. Der Pilot beantwortet die Frage dazwischen: Funktioniert das im tatsächlichen Ablauf, mit den tatsächlichen Daten und den tatsächlichen Menschen?

Diese Frage ist härter als die technische. Echte Anfragen sind unvollständig, echte Dokumente schlecht gescannt, und echte Mitarbeiter haben wenig Zeit, sich an ein neues Werkzeug zu gewöhnen. Ein Pilot, der das ausblendet, liefert schöne Zahlen und keine Erkenntnis.

Wie groß ein Pilot sein sollte, entscheidet weniger die Technik als der Ablauf. Ein einzelnes Team, eine Filiale oder eine Belegart genügen meist. Klein genug, damit Fehler niemandem schaden, und groß genug, damit die Messgröße nicht von zwei Zufällen abhängt: Diese Abwägung trifft man mit den Fachleuten aus dem Ablauf, nicht allein mit der IT.

Ein KI-Pilotprojekt aufsetzen: fünf Festlegungen

1. Aufgabe. Eine konkrete, wiederkehrende Tätigkeit, nicht ein Themenfeld. Wie man sie findet, beschreibt der Beitrag zu KI-Use-Cases.
2. Messgröße. Woran der Erfolg gemessen wird, etwa der Anteil der Entwürfe, die ohne Änderung übernommen werden, oder die Zahl der Belege, die ohne Nacharbeit durchlaufen. Der Ausgangswert wird vor dem Start erhoben.
3. Prüfschritt. Wer das Ergebnis kontrolliert, bevor es wirkt, und wie Korrekturen zurückfließen.
4. Rahmen. Welche Daten verwendet werden dürfen, welche Dienste beteiligt sind, welche Kostengrenze gilt und wie lange der Versuch läuft.
5. Abbruchkriterium. Welches Ergebnis zeigt, dass der Ansatz nicht trägt. Es wird festgelegt, bevor jemand emotional am Projekt hängt.

Schattenbetrieb: prüfen, bevor etwas wirkt

Eine bewährte Form ist der Schattenbetrieb. Das System arbeitet parallel zum bisherigen Ablauf mit, aber seine Ergebnisse gehen nicht an Kunden oder in Buchungen, sondern werden mit dem verglichen, was die Mitarbeiter ohnehin tun. So zeigt sich, wie oft es richtig liegt, wo es danebengreift und welche Fälle es gar nicht erkennt, ohne dass ein Fehler Schaden anrichtet.

Aus diesen Vergleichen entstehen die Korrekturen: fehlende Regeln in der Wissensbasis, unklare Anweisungen, Fälle, die grundsätzlich beim Menschen bleiben sollen. Erst wenn die Messgröße im Schatten stabil erreicht wird, schaltet man um, zunächst mit Freigabe durch einen Mitarbeiter, später gegebenenfalls für einzelne Fallgruppen ohne.

Vom Versuch in den Alltag

Ist die Entscheidung für den Betrieb gefallen, beginnt Arbeit, die im Pilot oft fehlt. Das System braucht einen Verantwortlichen, eine Überwachung von Qualität und Kosten, eine Dokumentation für neue Kollegen und eine Regel, wie mit Fehlern umgegangen wird. Häufig muss auch eine Anwendung entstehen, in der Mitarbeiter Ergebnisse prüfen und freigeben, statt zwischen Chatfenster und Fachsystem hin und her zu kopieren.

Hinzu kommen Pflichten, die im kleinen Versuch noch nicht auffielen: Schulung der Beteiligten im Sinne der KI-Verordnung, Verträge mit beteiligten Diensten und Transparenz gegenüber Kunden, wenn diese mit einem automatisierten System in Kontakt kommen.

Warum Piloten stecken bleiben

• Ausgewählte Beispiele. Der Versuch läuft mit den zwanzig saubersten Fällen und scheitert an den alltäglichen.
• Keine Ausgangsmessung. Hinterher weiß niemand, wie lange die Aufgabe vorher dauerte.
• Kein Eigentümer. Nach der Vorführung fühlt sich keine Abteilung zuständig.
• Offenes Ende. Der Pilot läuft einfach weiter, halb genutzt und nie entschieden.
• Fehlende Oberfläche. Das Modell funktioniert, aber die Arbeit mit ihm passt nicht in den Tag der Mitarbeiter.

Auch ein beendeter Pilot ist ein Ergebnis, wenn er dokumentiert ist. Wer festhält, woran der Versuch gescheitert ist, spart beim nächsten Anlauf die gleichen Umwege und erkennt schneller, ob sich die Voraussetzungen inzwischen geändert haben.

Wie wir Piloten führen

Wir legen Aufgabe, Messgröße, Prüfschritt, Kostengrenze und Abbruchkriterium schriftlich fest, bevor der Versuch beginnt, und lassen neue Abläufe zuerst im Schatten mitlaufen. So haben wir etwa die Bestellregeln eines Lebensmittelbetriebs geprüft, bevor ein Mitarbeiter die ersten Antwortentwürfe freigab. Zeigt der Versuch, dass eine einfache Anwendung genügt, sagen wir auch das. Mehr auf den Seiten KI-Beratung und App-Entwicklung.