KI-Pilotprojekt im Unternehmen: Einstieg auswählen und Erfolg messen

Ein KI-Pilotprojekt im Unternehmen sollte eine wiederkehrende Aufgabe verbessern, deren Aufwand du bereits kennst oder vorab messen kannst. Wähle einen Ablauf, bei dem dein Team die Ergebnisse zuverlässig prüfen kann. Der Test ist erfolgreich, wenn nach Kontrolle und Nacharbeit ausreichend Zeit gespart wird und die vereinbarte Qualität stimmt.

Kurz gesagt: Begrenze den Einstieg auf eine konkrete Aufgabe. Miss den bisherigen Ablauf und lege vor der Umsetzung fest, welche Verbesserung ausreicht. Lass die KI zunächst Vorschläge liefern, die ein Mensch freigibt.

Welcher Ablauf eignet sich als KI-Pilotprojekt im Unternehmen?

Ein geeigneter KI-Pilot hat einen klaren Anfang und ein prüfbares Ergebnis. Du solltest ihn testen können, ohne dafür mehrere Abteilungen oder zentrale Arbeitsabläufe umzustellen.

Ein Pilotprojekt ist ein begrenzter Praxistest vor einem möglichen breiteren Einsatz. Es beantwortet eine konkrete Frage: Lohnt sich diese Technik für diese Aufgabe?

Als Beispiel dient hier ein Dienstleister mit wiederkehrenden Kundenanfragen per E-Mail. Bisher liest jemand die Nachricht, sucht Informationen und schreibt eine Antwort. Ein KI-Pilot könnte aus freigegebenen Informationen einen Antwortentwurf erstellen. Ein Mitarbeiter prüft ihn vor dem Versand.

Der Test beschränkt sich auf eine bestimmte Anfrageart, etwa Fragen zu angebotenen Wartungsleistungen. Er umfasst keine automatische Terminbuchung und keine verbindlichen Angebote. So lässt sich feststellen, ob bereits die Unterstützung beim Antworten Arbeit spart.

Auch Mittelstand-Digital empfiehlt begrenzte Pilotprojekte mit konkreten, messbaren Zielen. Der Leitfaden warnt vor zu vielen Zielen und unrealistischen Erwartungen. Ein Auftrag wie „Unsere Kundenkommunikation soll mit KI laufen“ ist deshalb zu weit gefasst.

Wie wählst du die erste Aufgabe aus?

Wähle eine häufige Aufgabe, deren Ergebnisse jemand im Team fachlich beurteilen kann. Wenn Fehler schwer zu erkennen sind oder sofort Folgen für Kunden haben, ist der Ablauf als Einstieg weniger geeignet.

Suche nach Arbeit, die regelmäßig liegen bleibt oder unnötig Zeit bindet. Vielleicht werden Angaben aus Dokumenten abgetippt. Vielleicht sucht jemand für ähnliche Anfragen immer wieder dieselben Informationen heraus.

Prüfe dabei, ob KI überhaupt nötig ist. Eine feste Berechnung braucht kein Sprachmodell. Auch Daten lassen sich häufig über eine Schnittstelle übertragen, also eine technische Verbindung zwischen Programmen.

Bevor du dich entscheidest, kläre diese Fragen:

• Kommt die Aufgabe während des Tests häufig genug vor, um unterschiedliche Fälle zu beobachten?
• Sind passende Beispieldaten und verlässliche Informationen vorhanden?
• Kann jemand richtig und falsch eindeutig unterscheiden?
• Kann das Team bei Problemen im bisherigen Verfahren weiterarbeiten?
• Wer bewertet die Ergebnisse und entscheidet über die weitere Nutzung?

Fehlen verlässliche Informationen, beginne dort. Ein Antwortassistent kann keine eindeutigen Wartungsbedingungen liefern, wenn intern widersprüchliche Fassungen verwendet werden.

Schau außerdem nach, was deine vorhandene Software bereits kann. Für einen begrenzten Test lohnt sich nicht automatisch eine Eigenentwicklung. Bei dieser Entscheidung hilft der Ratgeber Individualsoftware oder Standardsoftware.

Was musst du vor dem Test messen?

Miss die aktive Arbeitszeit vom Eingang der Aufgabe bis zum verwendbaren Ergebnis. Nur so kannst du später vergleichen, ob der KI-Einsatz tatsächlich Arbeit spart.

Beim E-Mail-Beispiel zählen Lesen, Informationssuche und Schreiben dazu. Erfasse ebenso das Gegenlesen und spätere Korrekturen. Wird wegen einer unklaren Antwort eine weitere Nachricht nötig, gehört dieser Aufwand ebenfalls zum Vorgang.

Trenne Arbeitszeit von Liegezeit. Eine Anfrage kann lange im Postfach warten, obwohl ihre Bearbeitung kurz ist. Ein schnellerer Entwurf hilft wenig, wenn anschließend niemand für die Freigabe zuständig ist.

Für die Erfassung reicht zunächst eine einfache Liste. Notiere pro Vorgang die Anfrageart, die aktive Bearbeitungszeit und notwendige Nacharbeit. Kennzeichne schwierige Fälle, damit sie im Durchschnitt nicht verschwinden.

Wähle nicht nur kurze Standardanfragen. Der Test sollte auch unvollständige Nachrichten und Fälle mit Rückfragen enthalten. Sonst vergleichst du später womöglich einfache KI-Fälle mit dem gesamten bisherigen Tagesgeschäft.

Erfasse die Einarbeitung getrennt vom laufenden Aufwand. Das Einrichten einer Informationssammlung fällt zunächst einmalig an. Das Aktualisieren geänderter Wartungsbedingungen bleibt dagegen eine wiederkehrende Aufgabe.

Woran erkennst du einen erfolgreichen KI-Piloten?

Ein erfolgreicher KI-Pilot erreicht ein vorher festgelegtes Arbeitsziel und hält die vereinbarten Qualitätsgrenzen ein. Entscheidend ist das verwendbare Ergebnis, nicht die Geschwindigkeit, mit der ein Entwurf erscheint.

Für den Antwortassistenten könnte das Ziel lauten: Die gesamte aktive Bearbeitungszeit sinkt, ohne mehr fachliche Fehler zu verursachen. Wie groß die Einsparung sein muss, legst du anhand deines Anfragevolumens und des zusätzlichen Aufwands fest.

Miss die Zeit bis zur versandfertigen Antwort. Ein Entwurf spart nichts, wenn jemand danach jede Aussage mühsam recherchieren muss.

Für den Test sind diese Messgrößen hilfreich:

• Arbeitszeit je Vorgang: einschließlich Prüfung, Korrektur und Übernahme ins E-Mail-Programm.
• Fachlich brauchbare Entwürfe: Welche Vorschläge lassen sich ohne inhaltliche Änderung verwenden?
• Fehler und Nacharbeit: Was musste geändert werden und wie aufwendig war das?
• Abgebrochene Bearbeitungen: Welche Fälle musste das Team vollständig selbst erledigen?
• Laufender Zusatzaufwand: Wie viel Arbeit verursachen Informationspflege und technische Probleme?

Unterscheide sprachliche Änderungen von fachlichen Fehlern. Eine steife Anrede ist etwas anderes als eine erfundene Leistungszusage. Lege fest, welche Fehler eine Freigabe ausschließen und wann der Test pausiert.

Vermischt der Assistent beispielsweise Informationen verschiedener Kunden, darf eine gute Durchschnittszeit diesen Fehler nicht überdecken. Die Ursache muss geklärt werden. Anschließend braucht es einen erneuten Test der betroffenen Fälle.

Das Hauptziel sollte während des Piloten gleich bleiben. Wenn du zunächst Bearbeitungszeit sparen wolltest, ist eine angenehmere Formulierung allein noch kein ausreichender Erfolg.

Wie testest du KI im echten Arbeitsablauf?

Beginne mit ausgewählten Testfällen und gehe erst danach in einen begrenzten Alltagstest. Die KI sollte zunächst keine Nachrichten versenden oder Änderungen in anderen Systemen auslösen.

Beim Antwortassistenten prüft ein Mitarbeiter jeden Entwurf vor dem Versand. Er kann ihn verwerfen und die Nachricht selbst schreiben. Dieser Rückweg muss ohne Umwege funktionieren.

Nutze unterschiedliche Beispiele für Einrichtung und Prüfung. Ein System, das nur an bekannten Anfragen vorgeführt wird, sagt wenig über neue Fälle aus. Lass deshalb auch Nachrichten prüfen, die bei der Einrichtung nicht verwendet wurden.

Baue bewusst Problemfälle ein. Was passiert, wenn eine Anfrage widersprüchlich ist? Wie reagiert der Assistent, wenn die hinterlegten Informationen keine Antwort enthalten? Dann sollte er eine Rückfrage vorschlagen oder an einen Mitarbeiter übergeben, statt Angaben zu erfinden.

Vergleiche ähnliche Vorgänge mit und ohne KI. Notiere, wer sie bearbeitet hat. Ein erfahrener Mitarbeiter findet Informationen möglicherweise schneller als jemand, der die Aufgabe gerade übernimmt.

Halte Änderungen am System fest. Ein Prompt ist die Arbeitsanweisung an das KI-Modell. Änderst du diese Anweisung oder die verwendeten Informationen, muss erkennbar bleiben, welche Ergebnisse vor und nach der Änderung entstanden sind.

Sammle Rückmeldungen direkt beim Bearbeiten. „War hilfreich“ lässt sich kaum auswerten. „Wartungsumfang falsch beschrieben, Antwort neu geschrieben“ benennt dagegen einen konkreten Fehler und seine Folge.

Diese Testfälle kannst du später für die Abnahme verwenden. Wie du Anforderungen und Ergebnisse abgleichst, zeigt unsere Checkliste zur Software-Abnahme.

Was gehört vor der Beauftragung in den Projektauftrag?

Der Projektauftrag muss festhalten, was getestet wird und anhand welcher Ergebnisse du entscheidest. Ebenso muss klar sein, wer die nötigen Informationen liefert und die Antworten bewertet.

Beschreibe den Ablauf vom Auslöser bis zum fertigen Ergebnis. Beim E-Mail-Piloten gehört ausdrücklich hinein: Die KI erstellt einen Entwurf aus festgelegten Informationen. Ein Mitarbeiter übernimmt die Prüfung und den Versand.

Benenne auch die Grenzen. Welche Anfragearten bleiben ausgeschlossen? Darf das System nur Informationen lesen oder auch Daten verändern? Was passiert, wenn die Verarbeitung scheitert?

Vereinbare einen Endtermin und eine Aufwandsgrenze. Liefert der Test bis dahin zu wenige auswertbare Vorgänge, braucht es eine ausdrückliche Entscheidung über die Verlängerung. Er sollte nicht ohne klare Fragestellung weiterlaufen.

Halte fest, was du am Ende erhältst: eine nutzbare Testversion und dokumentierte Ergebnisse als Entscheidungsgrundlage. Kläre außerdem, welche Anpassungen zum vereinbarten Umfang gehören. Eine zusätzliche Anfrageart kann bereits neue Informationen und weitere Prüfungen erfordern.

Der Aufwand hängt stark von den Daten und Anbindungen ab. Ein Entwurf zum Kopieren ist weniger aufwendig als eine direkte Einbindung ins E-Mail-System. Zugriffsrechte und der Umgang mit technischen Fehlern kommen ebenfalls hinzu.

Bei mawu legen wir für KI-Automatisierungen den Ablauf und Funktionsumfang vor der Umsetzung fest. Dazu gehören Freigaben, Fehlerfälle und die Datenverarbeitung durch beteiligte Dienste. Diese Klarheit solltest du unabhängig vom Anbieter verlangen.

Wann solltest du ausbauen, nachbessern oder stoppen?

Baue den Piloten aus, wenn er die vereinbarten Ziele erreicht und der laufende Aufwand tragbar bleibt. Wurden die Ziele verfehlt, entscheide anhand der Ursachen über eine gezielte Nachbesserung oder das Ende des Tests.

Beim Antwortassistenten könnte der nächste Schritt eine weitere Anfrageart sein. Ändere möglichst nicht zugleich die Informationsbasis und die Freigaberegeln. Sonst wird schwer erkennbar, wodurch neue Fehler entstehen.

Nachbessern lohnt sich bei einer klar behebbaren Ursache. Vielleicht fehlen verbindliche Angaben zu einer Leistung. Vielleicht kostet das Kopieren zwischen Programmen die eingesparte Schreibzeit. Beschreibe die nötige Änderung und prüfe danach erneut den vollständigen Ablauf.

Stoppen ist sinnvoll, wenn die Kontrolle dauerhaft mehr Arbeit macht als das eigene Schreiben. Dasselbe gilt, wenn sich kritische Fehler nicht ausreichend begrenzen lassen. Ein Pilot darf zu der Entscheidung führen, diesen Ablauf vorerst ohne KI weiterzuführen.

Schreibe als nächsten Schritt einen geeigneten Ablauf vom Auslöser bis zum fertigen Ergebnis auf. Miss anschließend den bisherigen Aufwand an echten Vorgängen, bevor du Angebote für die Umsetzung einholst.