Probleme & Scheitern

Warum lässt sich der Erfolg unserer KI-Projekte nicht messen?

5 Min.

Der Erfolg eines KI-Projekts lässt sich meist deshalb nicht messen, weil vor dem Start kein Ausgangswert (Zeitaufwand, Fehlerquote, Durchlaufzeit) erhoben wurde — ohne diesen Vergleichswert fehlt jede Grundlage, um eine Verbesserung später zu belegen.

Nach einigen Monaten KI-Einsatz stellt sich häufig die Frage, ob sich der Aufwand gelohnt hat — und ebenso häufig fehlt eine belastbare Antwort, weil zu Beginn nichts gemessen wurde.

Zertifikat erhalten

Vorher/Nachher: Angebotsprozess ohne und mit Erfolgsmessung

Vorher wird ein KI-gestützter Angebotsprozess eingeführt, ohne vorher zu erfassen, wie lange die manuelle Angebotserstellung im Schnitt dauerte — nach drei Monaten gibt es nur den subjektiven Eindruck „es geht schneller", aber keine Zahl.

Nachher wird vor dem Start die durchschnittliche Bearbeitungszeit von 10 zufällig ausgewählten Angeboten gemessen (im Beispiel 35 Minuten), und dieselbe Messung nach drei Monaten wiederholt (im Beispiel 14 Minuten) — der Vergleich liefert eine belastbare Aussage.

Beispielrechnung zur Erfolgsmessung

Beispielrechnung: Sinkt die Bearbeitungszeit von 35 auf 14 Minuten bei 60 Angeboten im Monat, ergibt das eine Ersparnis von 21 Stunden monatlich; bei 45 Euro Vollkostensatz entspricht das rund 945 Euro Kapazität im Monat — eine Zahl, die sich ohne die anfängliche Messung nicht hätte belegen lassen.

Warum diese Messung oft übersprungen wird

Vor dem Projektstart steht meist die Umsetzung im Fokus, nicht die Messung — die Ausgangswerte werden dann nachträglich geschätzt statt gemessen, was die spätere Aussage angreifbar macht.

Wann eine genaue Messung nicht nötig ist

Bei sehr kleinen, unregelmäßigen Prozessen ohne wirtschaftliche Tragweite lohnt sich der Messaufwand selbst nicht — hier reicht eine grobe qualitative Einschätzung im Team.

Einordnung