Scope-Vorlage für ein KI-MVP: Abnahmekriterien, Eval-Set, Launch-Gate und was in den SoW gehört

Den Scope für ein KI-MVP zu schreiben ist etwas anderes als bei einem normalen Software-MVP, denn das System ist probabilistisch, nicht deterministisch. "Nutzer kann Passwort zurücksetzen" ist ein Binärfall, den Sie als Pass-Fail-Test formulieren können. "Der Assistent antwortet korrekt" ist es nicht, denn dieselbe Frage kann andere Antworten liefern, sobald sich Modellversion, Temperatur oder Formulierung ändern. Sie ersetzen "es funktioniert" also durch vier Dinge, die im Statement of Work benannt sein müssen, bevor Geld fließt: ein versioniertes Eval-Set mit Goldantworten, eine Zielmetrik samt Schwellenwert auf diesem Set, ein Launch-Gate, das über den Go-Live entscheidet, und die explizite Behandlung des unsicheren Falls samt Rollback. Wenn der Scope eines Anbieters "KI-Assistenten bauen" lautet und keines dieser Dinge enthält, hat er eine Demo abgegrenzt, und Sie zahlen die Lücke beim Härten. Eine kopierfertige Vorlage finden Sie unten.

Das ist das Dokument, das Gründer intern herumschicken, bevor sie kaufen. Es ist aus der Bauperspektive geschrieben, mit den unbequemen Fragen explizit benannt. Die regulatorischen Daten sind Stand Mitte 2026 und dort abgesichert, wo sie in Bewegung sind.

Warum "es funktioniert" bei KI nicht funktioniert

Bei normaler Software ist die Abnahme binär: Bei Eingabe X erwarte Ausgabe Y, fertig. Ein LLM gibt bei derselben Eingabe über mehrere Durchläufe hinweg unterschiedliche Ausgaben, also steht hinter "der Chatbot antwortet präzise" kein Test. Keine Zahl, kein definiertes Set, keine Untergrenze, nichts zum Abzeichnen und nichts, worüber man bei schlechter Qualität streiten könnte. Die Lösung ist statistisch, nicht binär. Sie akzeptieren eine gemessene Quote auf einem definierten Set, idealerweise über mehrere Durchläufe gemittelt, und für reproduzierbare Regressionsprüfungen fixieren Sie die Temperatur auf null, wo der Anwendungsfall es zulässt. Die zweite Falle folgt sofort: Ein Fix für einen Fall bricht still einen anderen, also muss das Eval-Set als Gate bei jeder Prompt- oder Modelländerung laufen, nicht einmal am Ende. Genau dieser eine Schwenk, von "es funktioniert" zu "es überschreitet diese Latte auf diesem Set, jedes Mal", ist der ganze Sinn eines gut abgegrenzten KI-Builds.

Was ein Statement of Work für ein KI-MVP festlegen muss

Jeder Abschnitt verdient seinen Platz. Die tragenden sind das Eval-Set, die Abnahmekriterien und das Launch-Gate.

Abnahmekriterien: falsch versus richtig

Das ist der Abschnitt, der entscheidet, ob Sie einen Anbieter an irgendetwas binden können.

Falsch, weil es keine Zahl, kein Set und keine Untergrenze gibt: "der Chatbot beantwortet Kundenfragen korrekt", "der Assistent ist präzise und hilfreich", "das Modell halluziniert selten", "es funktioniert gut im Test".

Richtig, auf dem vereinbarten 100-Fall-Eval-Set mit fixen Goldantworten:

• mindestens 90% getreue Antworten, im abgerufenen Kontext verankert, bewertet von einem LLM-as-judge mit binärem Pass-Fail und gegen menschliche Labels kalibriert;
• mindestens 85% Antwortrelevanz;
• unter 2% schädliche oder richtlinienwidrige Ausgaben, als hartes Gate, bei dem jede einzelne schädliche Ausgabe den Launch blockiert;
• Verweigerung oder Eskalation bei mindestens 95% der nicht beantwortbaren Testfälle;
• p95 time-to-first-token unter 2 Sekunden, p95 vollständige Antwort unter 4 Sekunden;
• Kosten unter EUR 0,05 pro Konversation beim vereinbarten Modell;
• keine Regression unter eine Untergrenze im Eval-Lauf vor einem Deploy.

Behandeln Sie die exakten Schwellenwerte als Ausgangspunkte, die Sie gegen Ihr Risiko verhandeln, nicht als Evangelium. Anbieter nennen häufig Faithfulness ab 0,75 und Halluzination unter 5% (1% bei hohem Einsatz) als produktive Ausgangspunkte; legen Sie Ihre danach fest, was eine falsche Antwort Sie kostet. Das Eval-Set, das Sie hier abgrenzen, ist genau der Nachweis, den die technische Due Diligence eines Investors verlangen wird, was wir in der Checkliste zur technischen Due Diligence für KI-MVPs behandeln, und die Bewertungsmethoden stehen in wann sich LLM-Evals lohnen.

Die kopierfertige Scope-Vorlage

Einfügen, Klammern ausfüllen, Nichtzutreffendes löschen. Schicken Sie sie herum, bevor Sie ein einziges Angebot annehmen.

"Wenn der Scope Ihnen nicht in Zahlen sagen kann, wie gut genug aussieht und was passiert, wenn das Modell falsch liegt, dann ist es kein Scope. Es ist ein Wunsch. Das Eval-Set und das Launch-Gate sind die zwei Zeilen, die aus einer KI-Demo etwas machen, das Sie tatsächlich kaufen können."

Eine Anmerkung zum AI Act

Wenn Ihre App mit Nutzern interagiert, gelten die Transparenzpflichten aus Artikel 50 des EU AI Act, einschließlich der Information der Nutzer, dass sie es mit KI zu tun haben, ab dem 2. August 2026 und sind von den vorgeschlagenen Änderungen weitgehend unberührt. Die meisten Hochrisiko-Pflichten waren ebenfalls dann fällig. Eine vorläufige Einigung 2026 würde die eigenständigen Hochrisiko-Pflichten auf Ende 2027 verschieben, aber Stand Mitte 2026 ist das noch nicht Gesetz und tritt erst mit der förmlichen Annahme in Kraft. Grenzen Sie Ihren Compliance-Plan nicht um eine Verzögerung herum ab, die nicht in Kraft getreten ist.