Inhouse Readiness-Check: AI-Agent Evals

Sieben Fragen, bevor Ihr Team selbst baut

1. 1
   Ownership

   Frage 1: Wer verantwortet die inhaltliche Qualität des Agenten nach dem Go-live?

   Die IT misst Technik wie Uptime und Kosten, der Fachbereich hat die Use Cases gebrieft. Für die Antwortqualität aus Kundensicht ist zwischen beiden oft niemand zuständig.

   Verantwortung heißt hier: eine benannte Person mit Mandat, Zeit und Budget. Ohne sie bleiben Auffälligkeiten liegen, weil jede Seite davon ausgeht, dass die andere sich kümmert. Das gilt besonders, wenn ein externer Dienstleister den Agenten gebaut hat und betreibt.

2. 2
   Messgröße

   Frage 2: Messen Sie die Genauigkeit der Antworten oder die Lösungsquote aus Kundensicht?

   Beide Zahlen können deutlich auseinanderliegen. Eine Antwort kann fachlich korrekt sein und das Anliegen trotzdem nicht lösen. Im Dashboard zählt sie dann als Erfolg.

   Noch häufiger fällt ein anderer Fall durch: Kunden brechen das Gespräch entnervt ab, und der Agent wertet es als erledigt. Ob ein Anliegen wirklich gelöst wurde, zeigt sich oft erst daran, ob dieselbe Person kurz darauf anruft oder ein Ticket eröffnet.

3. 3
   Gold Sets

   Frage 3: Wer erstellt Referenz-Testfälle und pflegt sie bei jedem Release weiter?

   Referenz-Testfälle sind Fragen mit bekannter, richtiger Antwort, gegen die der Agent regelmäßig geprüft wird. Veraltete Testfälle liefern grüne Ergebnisse und falsche Sicherheit.

   Die Pflege kostet bei jedem Release Zeit, denn mit neuen Produkten, Preisen oder Prozessen ändern sich auch die richtigen Antworten. Klären Sie vorab, wer diese Arbeit fachlich übernimmt.

4. 4
   LLM-as-Judge

   Frage 4: Wer kalibriert die automatische Bewertung regelmäßig gegen menschliches Urteil?

   Viele Teams lassen die Antworten eines Agenten von einem zweiten Sprachmodell bewerten. Das skaliert gut, solange die Bewertung zum Urteil erfahrener Servicemitarbeiter passt.

   Ohne regelmäßigen Abgleich bewertet der Judge zuverlässig nach den falschen Kriterien, und niemand merkt es, weil die Zahlen stabil aussehen.

5. 5
   Release Gates

   Frage 5: Läuft jede Änderung an Prompt, Modell oder Wissensbasis automatisch gegen die Eval Suite, bevor sie live geht?

   LLM-Systeme ändern ihr Verhalten mit jeder Anpassung. Auch ein harmlos wirkendes Dokumenten-Update in der Wissensbasis kann Antworten unbemerkt unvollständig machen.

   Ein Release Gate legt fest, dass keine Änderung live geht, bevor sie gegen die Testfälle geprüft wurde. Entscheidend ist, dass das automatisch passiert und nicht vom Zeitdruck im jeweiligen Sprint abhängt.

6. 6
   Drift-Monitoring

   Frage 6: Wer erkennt schleichenden Qualitätsverfall im Betrieb, bevor Ihre Kunden ihn bemerken?

   Kundenanliegen verändern sich mit der Zeit, durch neue Produkte, Saisoneffekte oder Störungen. Ein Agent, der zum Go-live gut war, kann so Woche für Woche schlechter werden, ohne dass sich an ihm selbst etwas geändert hat.

   Ohne Monitoring und Alerts fällt Drift erst auf, wenn Beschwerden steigen oder Kennzahlen kippen.

7. 7
   Unabhängigkeit

   Frage 7: Wer bewertet die Bewertung?

   Wer das System baut und betreibt, benotet sich am Ende selbst. Das gilt für jedes interne Team und jeden Dienstleister gleichermaßen.

   Eine zweite, unabhängige Sicht auf die eigenen Konversationen bestätigt im besten Fall den eingeschlagenen Weg. Im anderen Fall zeigt sie, was in den bisherigen Auswertungen nicht sichtbar war.