KI-Agenten testen: Qualität, Kosten und Kontrolle

KI-Workflows und Praxisexperimente → KI-Agenten prüfen

Dieser Leitfaden ist ein KILBI-Prüfvorschlag, kein Bericht über einen durchgeführten Test. Die folgenden Kriterien helfen, einen eigenen Vergleich nachvollziehbar zu dokumentieren. Sie sind keine Sicherheitszertifizierung.

1. Eine konkrete Aufgabe festlegen

Wähle einen wiederkehrenden Ablauf mit prüfbarem Ergebnis: beispielsweise eingehende Anfragen kategorisieren und einen Antwortentwurf erstellen. Beschreibe Eingabe, erwartete Ausgabe, erlaubte Datenquellen und Werkzeuge. Lege fest, welche Handlung eine Freigabe braucht. Für einen ersten Pilot kann der Agent Entwürfe liefern, während Versand und Änderungen an produktiven Daten beim Menschen bleiben.

Notiere ausserdem den bisherigen Ablauf. Miss, wie lange ein Mensch für dieselben Aufgaben braucht und welche Fehler dabei auftreten. Ohne diesen Ausgangswert lässt sich eine Zeitersparnis nicht sinnvoll beurteilen.

2. Testfälle vor dem Start auswählen

Beginne beispielsweise mit 20 bereinigten Fällen aus dem tatsächlichen Einsatzbereich. Diese Zahl ist ein Einstieg für einen kleinen Pilot, kein statistischer Nachweis. Nimm neben gewöhnlichen Fällen auch fehlende Informationen, widersprüchliche Angaben und bewusst unlösbare Aufgaben auf. Definiere die richtige Reaktion vor dem Modelllauf: lösen, nachfragen oder begründet stoppen.

Teile die Fälle in eine kleine Entwicklungsmenge und eine getrennte Prüfmenge. Wer Prompts immer wieder an denselben Beispielen verbessert, prüft am Ende vor allem die Anpassung an diese Beispiele. Führe kritische Fälle mehrfach aus und dokumentiere abweichende Ergebnisse.

3. Ergebnis und menschliche Nacharbeit getrennt messen

Erfasse pro Fall, ob die Aufgabe fachlich korrekt und vollständig gelöst wurde, ob Quellen die Aussagen tatsächlich stützen und ob Grenzen eingehalten wurden. Bewerte nicht allein, wie überzeugend der Text klingt. Eine erfundene Quelle oder unzulässige Handlung braucht eine eigene Fehlerkategorie.

• Erfolgsquote: korrekt gelöste Fälle geteilt durch alle geprüften Fälle.
• Nacharbeit: Minuten für Kontrolle und Korrektur, einschliesslich fehlgeschlagener Versuche.
• Gesamtzeit: Vorbereitung, Wartezeit, Prüfung und Korrektur zusammen.
• Kosten je brauchbares Ergebnis: sämtliche Laufkosten geteilt durch die Zahl akzeptierter Ergebnisse.
• Grenzverletzungen: unerlaubte Zugriffe oder Aktionen separat zählen und untersuchen.

Beispielrechnung, keine Messung: Akzeptierst du 16 von 20 Ergebnissen, beträgt die Erfolgsquote 80 Prozent. Wenn alle Läufe zusammen CHF 2 kosten, sind das CHF 0.125 je akzeptiertes Ergebnis – ohne Personalaufwand. Die vier Fehler und die nötige Korrekturzeit müssen trotzdem in die Entscheidung einfliessen.

4. Abbruch und Freigaben gezielt prüfen

Simuliere in einer isolierten Testumgebung einen nicht erlaubten Werkzeugaufruf, eine nicht erreichbare Datenquelle und ein überschrittenes Laufbudget. Prüfe, ob der Ablauf stoppt, den Grund verständlich meldet und bereits erfolgte Schritte nachvollziehbar bleiben. Ein abgelehnter Auftrag kann das richtige Ergebnis sein.

Verwende Testdaten und begrenzte Berechtigungen. Für einen Schreibtest eignen sich eine Testdatei oder ein Testkonto. Halte fest, wer bei einem Fehler entscheidet und wie eine unerwünschte Änderung rückgängig gemacht wird.

5. Vorab über Fortsetzen oder Stoppen entscheiden

Lege die Abnahmekriterien vor dem Test fest. Eine mögliche Pilotregel lautet: keine unzulässige Handlung, nachvollziehbare Quellen und weniger gesamte Bearbeitungszeit als im bisherigen Ablauf. Welche Erfolgsquote genügt, hängt von den Folgen eines Fehlers ab; ein allgemeiner Prozentwert wäre irreführend.

Dokumentiere Modellversion, Prompt, Werkzeuge, Testdatum, Fallauswahl und bekannte Grenzen. Wiederhole die entscheidenden Fälle nach relevanten Modell- oder Workflowänderungen. Ein guter erster Lauf belegt noch keinen stabilen Dauerbetrieb.

Das Testprotokoll

Eine Zeile je Versuch genügt für den Einstieg: Fall-ID, erwartetes Ergebnis, tatsächliches Ergebnis, bestanden ja/nein, Quellenfehler, Grenzverletzung, Laufzeit, Nacharbeit, Kosten und Korrekturmassnahme. Bewahre keine unnötigen personenbezogenen Daten im Protokoll auf.

Weiterlesen: Aufbau eines kontrollierten KI-Workflows, aktuelle KI-Modelle und Agenten und Rechenschaft und Störfälle bei KI-Agenten.

Autor: Thiam Lütolf · Stand: 9. September 2026 · Redaktionelle Methode und Transparenz