AI QA: Der Chatbot-Testbot

AI QA: Der Chatbot-Testbot ist ein Prüfwerkzeug für KI-Schnittstellen, zum Beispiel Chatbots, KI-Suche oder Assistenten. AI QA fährt Goldsets und OWASP-Testfälle gegen die Schnittstelle, bewertet die nicht-deterministischen Antworten mit LLM-Judges nach Rubrik, ergänzt um deterministische Checks, sichert Fehlerquoten über mehrere Iterationen statistisch ab und erzeugt Reports.

Status: Version 0.11.0. Adapter für HTTP mit JSON und gestreamten Antworten (NDJSON, Server-Sent Events), OpenAI-kompatible Schnittstellen, Browser und lokale Kommandos, Login mit kurzlebigen Tokens, Einrichtung aus einem cURL-Aufruf, Variablen je Fall, Platzhalter mit Werten aus Datenquellen, erwarteter HTTP-Status, Folgeaufrufe im Dialog, Judge mit Kalibrierung und Quelldokumenten, der Ablehnungen des Judge-Modells erkennt, 43 OWASP-Testmuster mit Ködern, Vergleich und Gates, Markdown- und HTML-Report mit bestätigten und verworfenen Befunden sowie Frage, Soll und Antwort je Fall, Übergabe-Report über mehrere Läufe, sauberer Abbruch am Tageslimit des Zielsystems, Planungs- und Analyseagent, promptfoo-Import, JUnit-XML für GitHub, eine lokale Oberfläche und ein Einrichtungs-Skill für Claude Code. Die Releases erscheinen öffentlich unter https://github.com/philipploes-DEU/ai-qa-chatbot-testbot, entwickelt wird in einem privaten Repository (ADR 0023).

Ein Projekt von Philipp Löschner, Wirkmittel AI: https://wirkmittel.ai

1. Was AI QA ist

AI QA beantwortet eine Frage mit Zahlen: Wie oft sagt deine KI-Schnittstelle das Richtige, wie oft verweigert sie das Falsche, und wie sicher ist dieses Ergebnis. Dafür beschreibst du Testfälle in Goldsets, AI QA stellt jede Frage mehrfach, prüft die Antworten und rechnet aus, was die Wiederholungen über die Zuverlässigkeit sagen. Das Ergebnis ist ein Report, den du ablegen, vergleichen und weitergeben kannst.

Was AI QA nicht ist: kein Live-Monitoring deiner Produktion, kein Benchmark zum Vergleich von Modellen und kein Ersatz für eine Sicherheitsprüfung durch Menschen. AI QA liefert Belege für ein konkretes System gegen ein konkretes Goldset.

Einen Überblick ohne Entwicklerhintergrund, von Ziel bis Ergebnis, gibt das Handbuch. Diese README ist die Referenz für Befehle und Dateien.

2. Voraussetzungen

• Node 22 oder neuer und pnpm. Die Version steht in package.json unter packageManager.
• Zugang zum Zielsystem, sobald du ein echtes System prüfen willst, und die Erlaubnis, es mit Proben zu prüfen. Für den ersten Lauf reicht das mitgelieferte Dummy-Zielsystem, es braucht kein Netzwerk.
• Ein Modell für den Judge, sobald Rubriken bewertet werden sollen: lokal über Ollama ohne Schlüssel oder ein Anbieter mit Chat-Completions-API und API-Schlüssel. Ohne Judge urteilen nur die deterministischen Checks.

pnpm install lädt neben den Abhängigkeiten das Werkzeug gitleaks aus seinem offiziellen GitHub Release herunter und prüft die Prüfsumme. Es dient dem Commit-Hook gegen versehentlich eingecheckte Geheimnisse und ist nur für die Entwicklung am Repository relevant.

3. Erster Lauf in zehn Minuten

Bis zum ersten Paket startest du AI QA aus dem Repository. Der Befehl heißt dort pnpm aiqa --, alles danach sind die Argumente von aiqa.

Lieber im Dialog? Öffne das Repository in Claude Code und bitte darum, AI QA einzurichten. Der Skill aiqa-einrichtung führt Schritt für Schritt vom Arbeitsbereich über Zielsystem, Zugangsdaten und Judge bis zum Report, auf Deutsch oder Englisch. Schlüssel fragt er nie ab, die trägst du selbst in die .env ein.

git clone https://github.com/philipploes-DEU/ai-qa-chatbot-testbot.git
cd ai-qa-chatbot-testbot
pnpm install

Lege einen Arbeitsbereich an. Der Ordner workspaces/ ist dafür gedacht und von Git ignoriert, damit deine Fälle und Ergebnisse nicht im Kern-Repository landen.

pnpm aiqa -- init workspaces/mein-bot

Du siehst:

Arbeitsbereich angelegt: workspaces/mein-bot
  aiqa.yaml
  goldsets/beispiel/goldset.yaml
  goldsets/beispiel/plan.yaml
  .gitignore
  README.md
Nächste Schritte, aus diesem Verzeichnis:
  aiqa -w workspaces/mein-bot validate
  aiqa -w workspaces/mein-bot run --plan goldsets/beispiel/plan.yaml --target dummy
  aiqa -w workspaces/mein-bot report --run latest
Aus dem Repository von AI QA heraus lautet der Befehl pnpm aiqa -- statt aiqa.

Öffne workspaces/mein-bot/aiqa.yaml. Jedes Feld ist kommentiert. Das Zielsystem ist ein Dummy, das aus einer Antworttabelle antwortet. Für den ersten Lauf musst du nichts ändern. Die Option -w sagt AI QA, auf welchen Arbeitsbereich sich alle Pfade beziehen.

Prüfe die Dateien gegen die Schemas:

pnpm aiqa -- -w workspaces/mein-bot validate

OK      aiqa.yaml (workspace, Zielsystem mein-bot-dummy (dummy))
OK      goldsets/beispiel/goldset.yaml (goldset, 3 Fälle)
2 Dateien geprüft, 0 mit Fehlern

Führe den Plan aus. Er wiederholt jeden der drei Fälle fünfmal:

pnpm aiqa -- -w workspaces/mein-bot run --plan goldsets/beispiel/plan.yaml --target dummy

Starte Plan plan-beispiel gegen mein-bot-dummy (Adapter dummy), 15 Aufrufe.
Judge: keiner konfiguriert, es urteilen nur die deterministischen Checks.
Budget: 20 Aufrufe an das Zielsystem. Erwartet: 15 Aufrufe.
  faq-oeffnungszeiten: 5 von 5 bestanden
  probe-prompt-injection: 5 von 5 bestanden
  probe-system-prompt-leak: 0 von 5 bestanden
Lauf 20261011-000350-6h1u abgeschlossen: 10 von 15 Iterationen bestanden, 55 Urteile.
Verbraucht: 15 Aufrufe, 0 Tokens (0 Eingabe, 0 Ausgabe).
Ergebnisse: runs/20261011-000350-6h1u/
Report erzeugen mit: aiqa report --run 20261011-000350-6h1u

以上為 README 的開頭部分。其餘內容請閱讀原文。 檢視完整 README ↗