ai-assist Benutzerhandbuch

Testen

Der Reiter Testen verbindet manuellen Live-Chat, Debug-Spalte, Testfall-Recorder, automatische Regression, QS-Startberatung und AFS-Split-Screen-Prüfung.

Was Sie hier erledigen

Testen-Maske in der manuellen Sicht mit Chat, Eingabefeld, Recorder und Debugspalte 1 2 3 4 5
Abb. T-01: Manueller Testchat mit Recorder und Debugspalte.
MarkerElementBedeutung
1ManuellDirekter Test einer Chat-Session in der Admin-Oberfläche.
2ChatverlaufZeigt Assistenten- und Benutzernachrichten.
3EingabeSendet Testnachrichten an den Chat.
4Recorder, Export und JudgeZeichnet Testfälle auf, kopiert oder speichert den Chat, bewertet die aktuelle Antwort mit dem Judge oder startet neu.
5DebugspalteZeigt Parameter und Voraussetzungen; Antwortpfad öffnet die fachliche Ablaufanalyse an der Bot-Antwort.

Abb. T-01 zeigt die manuelle Testansicht vor der Erklärung der Testaufgaben. Der Chat links nutzt eine echte Session, die Debugspalte rechts zeigt Parameter und Voraussetzungen; fachliche Ablaufdaten öffnen Sie an der Bot-Antwort über Antwortpfad.

Sicht Manuell

Der Kontextindikator ist bewusst kein Teil des Chatverlaufs. Wenn Sie ihn im Test lösen, wird nur der interne Servicebezug entfernt; die nächste Eingabe startet wieder offen in der Startberatung. Im Chat erscheint danach nur eine kurze Bestätigung.

Die Judge-Bewertung ist verfügbar, wenn eine aktive Testsession mindestens eine Nutzerfrage mit nachfolgender Bot-Antwort enthält und die angemeldete Person die Leserechte für Chat-Tests, Debug, Services und Wissen besitzt. Das Overlay enthält keine manuelle Service- oder Antwortauswahl; es startet automatisch und zeigt Judge prüft ..., bis ein Ergebnis oder ein nicht bewertbarer Zustand vorliegt.

Bewertbar sind deutschsprachige Testdialoge mit ausreichendem Service-, Frage- und Wissenskartenkontext. Fehlt dieser Kontext, ändert ai-assist keine Daten, sondern meldet, dass keine belastbare Bewertung möglich ist.

Beispiel: Testfall aus einem Dialog erzeugen

Starten Sie in einer neuen Session die Aufzeichnung und führen Sie einen kurzen Dialog. Ein erkannter Service-Bezug genügt für die Benennung; eine ausdrückliche Serviceauswahl ist dafür nicht erforderlich. Der zweite Klick auf Aufzeichnung öffnet die Vorschau der erkannten Schritte. Prüfen Sie die vorgeschlagenen Prüfungen und Werte und wählen Sie Speichern.

Nach erfolgreichem Speichern öffnet sich automatisch QS-Service & Assistenz. Der neue Testfall ist blau markiert und wird ins Sichtfeld gescrollt; ein zuvor gesetzter Suchtext wird geleert. Bei Verwerfen oder einem Speicherfehler bleiben Sie in der manuellen Ansicht.

Der Name besteht aus dem erkannten Servicenamen und einer laufenden Nummer, beispielsweise Alleinerziehenden Förderung 1, danach Alleinerziehenden Förderung 2. Ohne erkannten Service heißt der Testfall Kein Service 1 usw. Das ist bei einem noch offenen Anliegen korrekt. Bereits gespeicherte Namen werden nicht rückwirkend geändert.

Beispiel: Wissenslücke aus dem Testchat prüfen

Stellen Sie im manuellen Testchat eine freie Fachfrage. Wenn die Antwort fehlt, zu grob ist oder nicht zum erwarteten Detail passt, öffnen Sie Aktuelle Antwort mit Judge bewerten. Prüfen Sie Begründung, Coverage und angezeigte Wissenskarten. Springen Sie über den Kartenpfeil in Fakten > Wissen & Rechnen, wenn eine Quelle oder Wissenskarte ergänzt oder präzisiert werden muss.

Sicht QS-Service & Assistenz

QS-Service und Assistenz mit nummerierten Demo-Testfällen und AUTT-Freigabepunkten links über den Auswahlcheckboxen 1 2 3 4 5
Abb. T-02: QS-Service & Assistenz mit nummerierten Testfällen, Auswahl und AUTT-Freigabe (Demo-Daten).
MarkerElementBedeutung
1QS-Service & AssistenzWechselt zur Verwaltung gespeicherter Dialog- und AFS-Testfälle.
2TestfalllisteZeigt Testfallname und sichtbare Nummer, darunter Service und Datumsangaben. Die Suche steht oberhalb der Liste.
3Testfall/TestlaufTrennt gespeicherte Erwartung von tatsächlichem Laufprotokoll.
4Ausführen und VerwaltenStartet oder löscht ausgewählte Testfälle; Sichtprüfung und Sprache stehen daneben.
5Freigabe und AuswahlAUTT-Freigabepunkt oben, Auswahlcheckbox darunter. Beide Aktionen sind unabhängig.

Abb. T-02 steht vor der Beschreibung der Sicht QS-Service & Assistenz. Links werden Testfälle gesucht und ausgewählt, rechts werden Erwartung, Testlauf und Ergebnisse kontrolliert.

Beispiel: Testlauf-Fehlerartefakt JSON

{
  "artifact_id": "autt-failure-wohnbeihilfe-001",
  "artifact_filename": "autt-failure-wohnbeihilfe-001.json",
  "screenshot_selector": "#afsPreviewFrame",
  "frame_selector": "#afsPreviewFrame",
  "preview_proxy_url": "/admin/afs-preview/..."
}

Dieses JSON ist ein technisches Analysepaket für fehlgeschlagene Testläufe. Es wird nicht importiert und ersetzt keinen gespeicherten Testfall.

Beispiel: unterbrochener QS-Serviceberatung-Lauf

Sie starten mehrere ausgewählte Testfälle und schließen den Browser während des Laufs. Bereits gespeicherte Testläufe bleiben am Testfall erhalten. Beim erneuten Öffnen sieht nur die startende Person vollständige Fehlerdetails und Run-Logs dieses unterbrochenen Laufs; andere Admins sehen keine Dialoginhalte aus dem verwaisten Lauf.

1 Testfall prüfen Im Tab Testfall Schritte, Prüfungen und Erwartungswerte bearbeiten.
2 Testlauf starten Ausgewählte Fälle abspielen; Sichtprüfung nur bei gezielter optischer Kontrolle aktivieren.
3 Ergebnis bewerten Fehler im Testlauf lesen, Testfall oder Fachinhalt korrigieren.

Beispiel: stabile Erwartung wählen

Wenn die Antwortformulierung schwankt, ist Antwort ok plus Service oder State meist robuster als ein langer exakter Textvergleich. Für AFS-Schritte ergänzen Sie AFS-Felder, damit nicht nur die Chatantwort, sondern auch die Formularmarkierung geprüft wird.

QS-Startberatung

Die Ansicht QS-Startberatung prüft, ob die freie Startberatung passende Antworten aus den Wissenskarten liefert und ob die Bewertung durch den Judge nachvollziehbar ist. Links steht die Serviceauswahl, rechts die Auswertung der Testfragen.

Testen-Maske in der Sicht QS-Startberatung mit Serviceliste, Testfragen, Bewertungen sowie Import-, Export- und Diagnoseaktionen 1 2 3 4 5 6 7
Abb. T-03: QS-Startberatung mit Serviceauswahl, Fragen, Bewertungen und Diagnose-Export.
MarkerElementBedeutung
1QS-StartberatungWechselt zur Qualitätssicherung der freien Startberatung.
2ServicefilterSucht Services und filtert bei Bedarf auf offene QS-Ergebnisse.
3ServicekarteZeigt Fragenset, Freigabestatus und Durchschnittsbewertung.
4TestfragenZeigt die Fragenansicht des ausgewählten Services.
5Fragen und BewertungenZeigt Antwortvorschau, Judge-Score und Detailzugang je Frage.
6Import, Export und PflegeImportiert CSV, exportiert Fragen, legt Fragen an oder löscht markierte Fragen.
7Diagnose-Backlog exportierenBerücksichtigt Suchbegriff, Diagnosefilter und – sobald gesetzt – nur die per Checkbox markierten Fragen; vor dem Download erscheint eine Zusammenfassung.

Beispiel: QS-Startberatung später fortsetzen

Ein Lauf über mehrere Services wird durch Stop oder Browser-Schließen beendet, nachdem ein Teil der Fragen schon bewertet wurde. Öffnen Sie nach der Anmeldung den betroffenen Service in QS-Startberatung und prüfen Sie Lauf-Ergebnisse. Dort bleiben Teilergebnisse sichtbar; Restliche Fragen fortsetzen legt einen neuen Lauf für offene Fragen an und ist nur für die ursprüngliche startende Person verfügbar.

CSV-Import und -Export für Fragen

Der Fragenexport verwendet Komma als Trennzeichen und ist als Importvorlage geeignet. Der Import akzeptiert zusätzlich Semikolon- und Tab-getrennte Dateien. Zulässige Werte für split sind training, validation und holdout; ohne Wert wird training verwendet. test_goal akzeptiert routing, knowledge_answer, boundary, no_answer oder mixed. expected_answer_mode akzeptiert answerable, no_answer, boundary_answer oder unknown. Das Gewicht weight ist eine positive Zahl; bei Komma-CSV verwenden Sie am besten Dezimalpunkte oder setzen Dezimalkommas in Anführungszeichen.

Beispiel: reimportierbare CSV

frage,service_slug,split,test_goal,expected_answer_mode,weight
Welche Nachweise brauche ich?,wohnbeihilfe,training,knowledge_answer,answerable,1
Wann muss ich den Antrag stellen?,wohnbeihilfe,validation,boundary,boundary_answer,1.5

Beispiel: einfache Datei ohne Kopfzeile

Welche Unterlagen brauche ich?
Gibt es eine Frist?
Muss ich den Antrag neu stellen, wenn sich mein Einkommen ändert?;
X Darf ich den Antrag rückwirkend stellen?

Diese Kurzform ist nur eindeutig, wenn der Import aus einem ausgewählten Service heraus erfolgt oder der Service aus dem Dateinamen erkannt werden kann. Ein führendes X wird als Markierung gespeichert und nicht Teil der Frage. Ein abschließendes Semikolon wird bei reinen Fragenlisten toleriert.

Beispiel: Semikolon-CSV

frage;service_slug
Muss ich den Antrag neu stellen, wenn sich mein Einkommen ändert?;wohnbeihilfe
Welche Nachweise brauche ich?;wohnbeihilfe

Beispiel: erweiterte Importspalten

question,service,split,ziel,antwortmodus,expected_route,response_pattern,projection,gewicht
Wird ein bestimmtes Einkommen vorausgesetzt?,wohnbeihilfe,holdout,knowledge_answer,answerable,answer,"Einkommen|Grenze",free_first_turn,2

Die zusätzlichen Spalten expected_route, response_pattern und projection werden als Metadaten übernommen, erscheinen aber nicht im Standardexport.

CSV-Diagnose-Backlog

Der Button Diagnose-Backlog exportieren exportiert die gefilterte QS-Sicht des aktiven Services als Arbeitsliste. Der Begriff Diagnose ist dabei bewusst weiter als Judge: Die Judge-Bewertung ist ein Bestandteil; zusätzlich enthält der Backlog Wissenslage, technische Diagnose, Handlungsziel, Priorität sowie Antwort- und Quellenlücken. Ohne Checkbox-Auswahl werden alle zum Suchbegriff und Diagnosefilter passenden Fragen berücksichtigt; mit Auswahl nur die markierten Fragen. Alle Diagnosen umfasst dabei nur Ergebnisse mit erkanntem Handlungsbedarf; neutrale Ergebnisse ohne Diagnosegruppe werden nicht aufgenommen. Für jede passende Projektion entsteht eine eigene Zeile. Die vorgeschaltete Zusammenfassung zeigt den tatsächlichen Umfang und startet den Download erst mit CSV exportieren. Die Datei enthält zusätzlich zu den bisherigen Feldern die getrennten Werte und Scores für flow, antwort_achse, evidenz, quellenkonsistenz und gesamtachse sowie den bewertungsmodus. Sie dient der fachlichen Nacharbeit und wird nicht wieder importiert.

Beispiel: Backlog-Zeile

service_slug,service_name,frage_ref,frage_id,projektion,diagnosegruppe,wissenslage,handlungsziel,chat_score,wissen_score,flow,flow_score,antwort_achse,antwort_score,evidenz,evidenz_score,quellenkonsistenz,quellenkonsistenz_score,gesamtachse,gesamtachse_score,wissensketten_diagnose,bewertungsmodus,source_gap,prioritaet,verdict,issue_type,frage,antwort,begruendung,verbesserung,coverage_reason,karten
wohnbeihilfe,Wohnbeihilfe,Wohnbeihilfe-003,128,Service bekannt,Wissenslage,Wissen dünn,Wissenskarte schärfen,72,40,nicht anwendbar,,teilweise korrekt,70,unklar,,unklar,,unklar,,Wissenskarte fehlt,LLM-Judge,nein,hoch,Teilweise richtig,card_generation_gap,"Welche Unterlagen brauche ich?","Antwortauszug ...","Begründung ...","Verbesserung ...","Passender Claim vorhanden; aktive Wissenskarte fehlt","Karte A; Karte B"
Details zur QS-Bewertung mit Antwort, Ergebnis, Diagnosehinweisen und verwendeter Wissenskarte 1 2 3 4 5 6
Abb. T-04: Judge-Overlay mit Bewertung, Diagnose und Wissenskartenbezug.
MarkerElementBedeutung
1FrageZeigt, welche QS-Frage bewertet wurde.
2BewertungErklärt Antwort, Ergebnis, Einschätzung, Begründung und Verbesserung.
3DiagnosehinweiseZeigt nachvollziehbare Hinweise aus Bewertung und Antwortpipeline, falls vorhanden.
4KartenvergleichTrennt Kandidaten, Reranker-Auswahl, aspektgenaue Ergänzung, finalen Kontext, tatsächliche Verwendung und Judge-Rollen.
5WissenskarteZeigt die fachliche Quelle mit Sprung in den Reiter Fakten.
6SchließenKehrt zur QS-Fragenliste zurück.
Zusammenfassung vor dem Export des QS-Diagnose-Backlogs mit Checkbox-Auswahl, Filtern, CSV-Umfang und Dateiname 1 2 3 4 5
Abb. T-05: Exportzusammenfassung für den Diagnose-Backlog.
MarkerElementBedeutung
1Checkbox-AuswahlBestätigt, dass nur die markierten Fragen berücksichtigt werden.
2Suche und DiagnosefilterZeigt die zusätzlich wirksamen Einschränkungen.
3CSV-InhaltNennt die Anzahl der Diagnosezeilen und betroffenen Fragen.
4DateiZeigt den vorgesehenen Namen der CSV-Datei.
5CSV exportierenBestätigt die Zusammenfassung und startet den Download.

Beispiel: fachliche Lücke schließen

Wenn eine Antwort fachlich nicht beantwortet werden konnte, öffnen Sie die Bewertungsdetails und beginnen Sie bei der in Wissenskette genannten Stufe. Ergänzen Sie eine Originalquelle nur bei Information fehlt in der Quelle; bei Aggregations-, Claim- oder Kartenlücken bearbeiten Sie die entsprechende Faktenstufe. Bei Auswahl- oder Antwortfehlern bleibt die Wissenskarte bestehen und die technische Suche beziehungsweise Antwortbildung wird geprüft. Starten Sie danach den QS-Lauf erneut.

Arbeitsablauf: Testfall aufzeichnen

  1. Starten Sie in Manuell eine neue Session.
  2. Starten Sie die Aufzeichnung.
  3. Führen Sie einen realistischen Dialog bis zum erwarteten Ergebnis.
  4. Stoppen Sie die Aufzeichnung.
  5. Prüfen Sie die vorgeschlagenen Prüfungen und Werte.
  6. Wählen Sie im Vorschau-Overlay Speichern. Nach erfolgreichem Speichern wechselt die Ansicht automatisch zu QS-Service & Assistenz.
  7. Prüfen Sie den dort markierten Testfall: Name und Nummer stehen fett in der ersten Zeile, der zugeordnete Service darunter. Führen Sie ihn bei Bedarf erneut aus.

AFS-Split-Screen-Prüfung

Testen-Maske in der manuellen Sicht mit Chat, Eingabefeld, Recorder und Debugspalte 1 2 3 4 5
Abb. T-01: Manueller Testchat mit Recorder und Debugspalte.
MarkerElementBedeutung
1ManuellDirekter Test einer Chat-Session in der Admin-Oberfläche.
2ChatverlaufZeigt Assistenten- und Benutzernachrichten.
3EingabeSendet Testnachrichten an den Chat.
4Recorder, Export und JudgeZeichnet Testfälle auf, kopiert oder speichert den Chat, bewertet die aktuelle Antwort mit dem Judge oder startet neu.
5DebugspalteZeigt Parameter und Voraussetzungen; Antwortpfad öffnet die fachliche Ablaufanalyse an der Bot-Antwort.

Abb. T-01 zeigt den manuellen Testkontext, in dem die AFS-Split-Screen-Prüfung durchgeführt wird. Die Formularvorschau erscheint parallel zum Chat, sobald ein geeigneter AFS-Link in der Session verfügbar ist.

Referenz: wichtige Prüfungen

PrüfungBedeutungTypischer Einsatz
Antwort okBot-Antwort ist technisch vorhanden und enthält keine Fehlerzeichen.Grundprüfung für jeden Erwartungsschritt.
Textankerwichtige erwartete oder verbotene Begriffe im Antworttext.Kurze fachliche Kernaussagen prüfen, ohne ganze Antwort festzunageln.
Stateerwarteter Workflow-Zustand.Dialogsteuerung stabil prüfen, wenn Text variieren darf.
Servicevorgeschlagener oder ausgewählter Service.Matching und Serviceauswahl absichern.
AFS-Felderim Chat abgefragte Formularfelder.Split-Screen-Markierung und Formularbefüllung prüfen.

Häufige Probleme

Querverweise