KI-Pilot Kill-or-Scale-Scorecard: 12 Kennzahlen nach 30 Tagen

Erfolgskriterien für einen KI-Piloten müssen eine Entscheidung beantworten: Hat das System genug verlässlichen Geschäftswert erzeugt, um den nächsten investierten Euro zu rechtfertigen? Bewerte nach 30 gemessenen Betriebstagen zwölf Kennzahlen zu Wirtschaftlichkeit, Automatisierungsqualität, Zuverlässigkeit, Adoption und Governance. Vergib Grün, Gelb oder Rot, aber lass niemals zu, dass ein guter Durchschnitt ein unvertretbares Sicherheits-, False-Positive- oder Auditierbarkeitsproblem verdeckt.

Das hier ist das Messmodell, nicht der Rollout-Plan. Für die Reihenfolge von Tag 0 bis 90 nutze unseren 30/60/90-Tage-Plan für KI-Agent-Piloten. Diese Scorecard beginnt nach 30 Tagen repräsentativer Nutzung im Shadow- oder Live-Betrieb. Für die detaillierte Kostenmechanik nutze Kosten pro erfolgreicher KI-Agent-Aktion.

Was sind gute Erfolgskriterien für einen KI-Piloten?

Gute Erfolgskriterien vergleichen den neuen Workflow mit einer gemessenen Ausgangslage, zählen nur Ergebnisse oberhalb einer fachlichen Qualitätsschwelle, enthalten menschliche Korrektur- und Fehlerkosten und definieren harte Governance-Gates. Sie werden vor dem Pilotstart festgelegt und führen an einem fixen Datum zu einer klaren Entscheidung: skalieren, einmal iterieren oder stoppen.

"Nach 30 Tagen" bedeutet 30 Tage, an denen repräsentative Nutzer und echte Fälle das System erreichen konnten. Ein Monat, der durch fehlende Berechtigungen, Testdaten oder Integrationen blockiert war, ist ein Datenreife-Signal. Er ist keine valide Stichprobe für Adoption oder Aufgabenleistung.

Das Modell folgt der Messlogik des NIST AI Risk Management Framework Playbook: mit menschlicher oder technischer Baseline vergleichen, reales Verhalten überwachen, Overrides und Eskalationen dokumentieren und verantwortliche Go- oder No-Go-Entscheidungen festhalten. Microsoft trennt End-to-End-Aufgabenerfolg von Prozessmetriken wie Tool-Call-Erfolg; Google Cloud bewertet unveränderliche Traces mit Modelleingaben, Antworten und Tool-Aufrufen. Deshalb misst diese Scorecard sowohl das Ergebnis als auch den Weg dorthin.

Die 12 Kennzahlen der KI-Pilot-Scorecard

Die folgenden Bänder sind Wavects empfohlener Startpunkt für einen risikoarmen internen Operations-Workflow. Sie sind keine universellen Branchenbenchmarks. Ersetze sie vor dem Kick-off, wenn Wirtschaftlichkeit, Risikotoleranz oder Service Level strengere Grenzen verlangen.

Übernimm keinen Schwellenwert nur, weil er in einer Tabelle steht. Eine Eskalationsrate von 20% kann für einen risikoreichen Freigabeprozess gesund und für Tier-1-Support fatal sein. Eine Erfolgsrate von 95% kann für interne Entwürfe stark und für Zahlungsfreigaben unvertretbar sein. Schreibe zuerst die geschäftliche Konsequenz auf und setze dann den Grenzwert.

Wie werden die zwölf KPIs berechnet?

1. Baseline-Kosten pro Aufgabe

Messe eine repräsentative Stichprobe des heutigen Prozesses. Berücksichtige Vollkosten der Arbeit, zurechenbare Software, Prüfung, Nacharbeit und erwartete Fehlerkosten. Microsofts Agent-Metriken definieren Transaktionskosten ebenfalls mit produktiver Zeit, Systemkosten und Nacharbeit vor dem Agent-Build.

Baseline-Kosten = (mediane Arbeitsminuten × Vollkostensatz ÷ 60) + Systemkosten + Nacharbeit + erwarteter Fehlerschaden.

2. Kosten pro erfolgreicher Aktion

Eine Modellantwort ist noch kein Geschäftsergebnis. Definiere Erfolg als korrekt verbuchte Rechnung, ohne Wiedereröffnung gelöstes Ticket oder von Sales akzeptierten Lead. Fehlversuche bleiben im Zähler; nur Ergebnisse oberhalb der Qualitätsschwelle stehen im Nenner.

Kosten pro erfolgreicher Aktion = (Modell + Retrieval + Tools + Plattform + Retries + menschliche Korrektur + Vorfälle) ÷ erfolgreiche Aktionen.

3. End-to-End-Automatisierungsrate

Microsoft bezeichnet diese Kennzahl als Touchless Rate: der Anteil der Transaktionen, die ohne menschlichen Eingriff vollständig abgeschlossen werden. Ein korrigierter, freigegebener oder geretteter Run zählt nicht als vollautomatisch.

Automatisierungsrate = erfolgreiche Aktionen ohne menschlichen Eingriff ÷ geeignete Versuche × 100.

4. Menschliche Korrekturzeit

Messe Korrekturzeit über alle geeigneten Versuche, einschließlich der Fälle mit null Minuten. Halte verpflichtende Review- oder Freigabezeit separat fest.

Korrekturzeit pro Versuch = gesamte Korrekturminuten ÷ alle geeigneten Versuche.

5. Tool-Call-Fehlerrate

Zähle Timeouts, Authentifizierungsfehler, verweigerte Berechtigungen, Schemafehler, Rate Limits und 4xx- oder 5xx-Antworten. Werte zusätzlich jedes Tool getrennt aus. Microsoft Foundry trennt Tool-Auswahl, Eingabegenauigkeit, Ergebnisnutzung und technischen Tool-Erfolg vom End-to-End-Ergebnis.

Tool-Call-Fehlerrate = fehlgeschlagene technische Tool Calls ÷ alle Tool Calls × 100.

6. False-Positive-Kosten

Accuracy behandelt Fehler gleich, das Geschäft nicht. Ein fälschlich blockierter Kunde, ein falscher Rechtsfund und ein unbrauchbarer Sales-Lead verursachen unterschiedliche Schäden. Googles Leitfaden zu Klassifikationsmetriken empfiehlt deshalb eine Auswahl nach den relativen Kosten von False Positives und False Negatives.

False-Positive-Kosten pro Versuch = Summe aus Prüfung, Rückabwicklung, Remediation, Kunden- und Compliance-Schaden ÷ geeignete Versuche.

7. P50- und P95-Latenz

P50 zeigt den typischen Fall; P95 deckt den langsamen Tail durch Retries, großen Kontext, langsame Tools und Eskalationsschleifen auf. Messe vom Geschäftsevent bis zum nutzbaren Ergebnis, nicht nur den Modellaufruf. OpenTelemetry erfasst Modelllatenz, Tokens und verschachtelte Agent- oder Tool-Spans.

P50 ist die Dauer, unter der 50% der Aktionen fertig sind. P95 ist die Dauer, unter der 95% fertig sind.

8. Eskalationsrate

Eine Eskalation ist eine bewusste Übergabe an einen Menschen wegen fehlender Sicherheit, Befugnis, Daten oder Fähigkeit. Vermische sie nicht mit Abstürzen oder stillem Abbruch.

Eskalationsrate = bewusst an Menschen übergebene Aktionen ÷ geeignete Versuche × 100.

9. Nutzeradoption

Einladungen, Accounts und einmalige Logins sind keine Adoption. Definiere eine sinnvolle Nutzung und zähle Wiederholungsnutzung nur bei Personen, die tatsächlich geeignete Arbeit hatten. Microsoft verwendet vier oder mehr aktive Tage in einem rollierenden Vier-Wochen-Fenster als Routinenutzung.

Routinenutzung = berechtigte Nutzer oberhalb der vorab definierten Nutzungsschwelle ÷ eingeladene berechtigte Nutzer × 100.

10. Auditierbarkeit

Ein Run ist auditierbar, wenn ein unabhängiger Reviewer Eingabe, Modell- und Prompt-Version, Tool-Sequenz, Policy- oder Menscheneingriff und das Geschäftsergebnis rekonstruieren kann. NIST empfiehlt Historien, Audit Logs sowie Statistiken zu Overrides und Eskalationen.

Auditierbarkeit = geprüfte Runs mit vollständigem Trace und verknüpftem Geschäftsergebnis ÷ alle geprüften Runs × 100.

Für Hochrisiko-KI sind Logging und menschliche Aufsicht keine optionale Qualität. Der EU AI Act verlangt technische Logging-Fähigkeiten über den Lebenszyklus und angemessene menschliche Aufsicht. Ein fehlender High-Impact-Trace ist ein harter Stop.

11. Datenreife-Fehlerrate

Markiere fehlende Felder, veraltete Datensätze, Duplikate, schlechte Dokumentqualität, unzugängliche Quellen, falsche Berechtigungen und nicht repräsentative Testdaten getrennt von Modellfehlern. AWS beschreibt einen seriösen GenAI-PoC als Prüfung von Geschäftswert, Datenreife, technischer Machbarkeit und Risikominderung.

Datenreife-Fehlerrate = durch ungeeignete, fehlende, veraltete oder unzugängliche Daten blockierte Versuche ÷ geeignete Versuche × 100.

12. Amortisationsdauer

Berücksichtige nach dem Pilot verbleibende Integration, Security, Datenarbeit, Training, Monitoring und Change Management. Ziehe laufende KI-Kosten, verbleibende menschliche Arbeit und erwartete Fehlerschäden vom vermiedenen Baseline-Aufwand ab.

Monatlicher Nettonutzen = vermiedene Baseline-Kosten − KI-Betriebskosten − Restaufwand für Menschen − erwartete Fehlerschäden.

Amortisationsdauer in Monaten = verbleibende Produktionsinvestition ÷ monatlicher Nettonutzen.

Ist der Nettonutzen null oder negativ, ist die Amortisation nicht lang. Sie existiert nicht.

Wie funktioniert das Kill-or-Scale-Modell?

Grün zählt 2 Punkte, Gelb 1 Punkt und Rot 0 Punkte. Maximal sind 24 Punkte möglich.

Drei harte Gates überschreiben die Summe:

• Unvertretbarer Schaden oder False-Positive-Vorfall: stoppen oder pausieren, auch bei grüner Wirtschaftlichkeit.
• Fehlender Audit Trail für eine High-Impact-Aktion: Autonomie nicht erhöhen, bis jeder solche Run rekonstruierbar ist.
• Keine belastbare Baseline oder Ergebnisdefinition: Der Pilot kann keinen Wert beweisen und darf nicht als Scale-Begründung dienen.

Rechenbeispiel: KI-Pilot in der Rechnungsverarbeitung

Ein österreichisches Operations-Team testet einen Agenten, der Rechnungsdaten extrahiert, gegen Richtlinien prüft, den Lieferantenstamm abfragt und die Rechnung weiterleitet. In 30 Betriebstagen verarbeitet er 1.000 geeignete Rechnungen. Erfolg bedeutet korrekte Felder und die richtige Queue; vollautomatisch bedeutet zusätzlich keine Korrektur und keine Eskalation.

Das Ergebnis sind 18 von 24 Punkten: einmal iterieren, dann neu bewerten. Wirtschaftlichkeit, Adoption und Auditierbarkeit rechtfertigen den nächsten kontrollierten Schritt. Vor einem breiten Rollout muss das Team jedoch den fehleranfälligen Connector reparieren, die Lieferantenstammdaten verbessern und den P95-Retry-Pfad unter 60 Sekunden bringen.

Was gehört ins Entscheidungsmeeting nach 30 Tagen?

1. Eine Seite Definitionen: geeigneter Versuch, Erfolg, vollautomatische Aktion, Eskalation, False Positive und Datenfehler.
2. Baseline und Stichprobe: Vorher-Zeitraum, Fallmix, Ausschlüsse und Volumen.
3. Die 12-Zeilen-Scorecard: Ziel, Ist, Band, Owner und Evidenzlink.
4. Die teuersten Traces: langsamste, am stärksten korrigierte und teuerste Runs.
5. Hard-Gate-Evidenz: Vorfälle, False Positives, fehlende Traces, Datenschutz und unzulässige Zugriffsversuche.
6. Eine unterschriebene Entscheidung: kontrolliert skalieren, einmal iterieren, wegen fehlender Evidenz pausieren oder stoppen.

"Ein Pilot ist nicht erfolgreich, weil das Modell intelligent wirkte. Er ist erfolgreich, wenn ein repräsentativer Workflow günstiger oder besser wurde, Nutzer ihn freiwillig einsetzen, Fehler im Risikobudget bleiben und ein anderes Team ohne die Erbauer rekonstruieren kann, was passiert ist."

Wo passt die Scorecard in den KI-Pilot-Werkzeugkasten?

Nutze diese Scorecard für die Finanzierungsentscheidung nach 30 Tagen. Nutze den 30/60/90-Tage-Pilotplan für Ablauf, Berechtigungen, Shadow-Modus, begrenzte Produktion und Übergabe. Nutze das Kosten-pro-Aktion-Modell für Token-, Tool-, Retry-, Caching- und Routing-Kosten.

Quellen und Methodik

Dies ist ein originales Wavect-Entscheidungsmodell. Die Formeln sind reproduzierbar; die Schwellenwerte sind Empfehlungen für einen risikoarmen internen Workflow, keine universellen Durchschnittswerte. Geprüft am 16. Juli 2026 anhand von NIST, Microsoft, Google Cloud, OpenTelemetry, AWS und dem EU AI Act.