Bekannte Fälle wählen
Nutze abgeschlossene Pull Requests mit dokumentierten Fehlern. Halte Commit, Prüfaufwand und Laufzeit fest.
Werkstatt · 03.10.2026
Praxis.
Ein Agent ist erst dann nützlich, wenn Grenzen, Daten, Freigaben und Messgrössen genauso klar sind wie sein Auftrag.
CODING · 03.10.2026
KI-Reviews kontrolliert integrieren
GitHubs neue Review-API bietet einen Anlass für einen kleinen Pilot. Der folgende Ablauf ist ein KILBI-Vorschlag, kein selbst durchgeführter Test.
Hinweise bewerten
Vergleiche Treffer, Fehlalarme, Nacharbeit und Kosten mit menschlicher Prüfung. Ein plausibler Kommentar ist noch kein Beleg.
Freigabe getrennt halten
Tests und Merge-Rechte bleiben eigene Kontrollen. Begrenze Wiederholungen und verwerfe Bewertungen nach neuen Commits.
PRAXISIMPULS · 13.09.2026
Versprechen in Stoppregeln übersetzen
KILBI-Vorschlag, kein selbst durchgeführter Test: Eine Sicherheitszusage wird erst prüfbar, wenn Auslöser, Entscheidungsrecht, Belege und Neustart feststehen.
Schwelle benennen
Vorab festlegen, welche Fähigkeit, Fehlerrate oder unerlaubte Aktion einen Lauf stoppt. Vage Formeln wie «bei erhöhtem Risiko» reichen nicht.
Stoppberechtigung klären
Eine benannte Person oder unabhängige Prüfstelle darf pausieren. Dafür braucht sie aktuelle Logs, Modellstand, Tool-Rechte und Vorfallbelege.
Neustart belegen
Erst nach Ursachenanalyse, korrigierter Grenze und bestandenem Wiederholungstest fortsetzen. Ausnahme und Entscheidung im Audit-Protokoll festhalten.
Aktueller Anlass: Amodeis Pacing-Vorschlag ↗. Der Ablauf ist ein allgemeines Betriebsmuster und keine Behauptung, dass KILBI die angekündigten Prüferprogramme getestet hat.
AGENTENWERKSTATT
Vom Demo-Zauber zum belastbaren Ablauf
Planen, Werkzeuge nutzen und im Hintergrund arbeiten ist nur die halbe Lösung. Der Unterschied entsteht durch Kontrolle, Quellen und Evaluation.
1AuftragZiel und Grenzen
2KontextDateien und Quellen
3ToolsMCP, Browser, Code
4KontrolleApproval und Logs
5ErgebnisTest und Übergabe
MCP ist kein Zauberadapter.
Es standardisiert den Austausch. Rechte, Datenqualität, Rate Limits und Fehlerbehandlung bleiben Aufgaben der Implementierung.
Agenten brauchen Abbruchpunkte.
Lesen und Entwerfen kann automatisiert sein. Speichern, Versenden oder Löschen sollte zunächst eine explizite Freigabe verlangen.
Messen vor Skalieren.
Eine kleine Menge echter Fälle zeigt schneller als ein Benchmark, ob Qualität, Laufzeit und Kosten tragfähig sind.
LEITFADEN
Wie zuverlässig ist ein KI-Agent?
Testfälle auswählen, Nacharbeit messen und Abbruchbedingungen prüfen: ein konkreter Prüfplan für einen ersten Pilot.
SECHS EXPERIMENTE
Muster mit echtem Nutzen
Jeder Versuch endet mit einer kleinen Messung statt mit einer Demo.
01WISSEN
Dokumente in einen belegbaren Wissensassistenten verwandeln
Eine repräsentative Sammlung mit OCR strukturieren und per Agentic Search erschliessen. Jede Antwort verweist auf konkrete Seiten oder Dokumente.
Messen: 20 reale Fragen · Trefferquote · korrekte Quellen · Zeitersparnis
02ARTEFAKTE
Mehrere Arbeitsprodukte aus einer Quelle erzeugen
Aus einem freigegebenen Quelldokument Bericht, Präsentation, Checkliste und Kurzfassung ableiten. Fachlogik vor dem Export prüfen.
Messen: Korrekturen pro Artefakt · Gesamtzeit · Wiederverwendbarkeit
03AUTOMATION
Anfragen sicher vorqualifizieren
Formular → Validierung → Modell klassifiziert und entwirft → Mensch gibt frei → Workflow versendet und protokolliert.
Messen: Fehlklassifikationen · eingesparte Minuten · sensible Daten im Prompt
04ROUTING
Modelle nach Aufgabe statt Marke wählen
Günstige Modelle für Alltag und Volumen; stärkere Modelle für tiefe Analyse, komplexe Computerarbeit oder lange Projekte.
Messen: Qualität · Laufzeit · Kosten · Anteil echter Premium-Fälle
05INCIDENT
Einen unerlaubten Tool-Aufruf kontrolliert simulieren
Erlaubte Systeme, Abbruchsignal, Audit-Protokoll und Eskalationsweg festlegen. Danach einen Testlauf auslösen, der bewusst ausserhalb der Freigabe liegt.
Messen: Zeit bis zum Stopp · Fehlalarme · Belegvollständigkeit · Eskalationsdauer
06BELEGE
Eine spektakuläre KI-Meldung als Belegkette prüfen
Originalbehauptung, öffentliche Artefakte, unabhängige Prüfung und offenen Status in vier Spalten erfassen. Unsicherheit nicht mit einer Zahl verdecken.
Messen: Primärquelle · reproduzierbares Artefakt · unabhängige Bestätigung · offene Einwände
Deterministisch schreiben, probabilistisch denken: Das Modell darf klassifizieren, planen und formulieren. Wirkungen nach aussen führt ein klarer Workflow aus.
— KILBI Praxisprinzip