ai-assist Benutzerhandbuch
Testen
Der Reiter Testen verbindet manuellen Live-Chat, Debug-Spalte, Testfall-Recorder, automatische Regression und AFS-Split-Screen-Prüfung.
Was Sie hier erledigen
1
2
3
4
5
| Marker | Element | Bedeutung |
|---|---|---|
| 1 | Manuell | Direkter Test einer Chat-Session in der Admin-Oberfläche. |
| 2 | Chatverlauf | Zeigt Assistenten- und Benutzernachrichten. |
| 3 | Eingabe | Sendet Testnachrichten an den Chat. |
| 4 | Recorder und Aktionen | Zeichnet Testfälle auf, speichert oder startet neu. |
| 5 | Debugspalte | Zeigt Ablauf, Schritt, Sprache und ausgewählten Service. |
Abb. T-01 zeigt die manuelle Testansicht vor der Erklärung der Testaufgaben. Der Chat links nutzt eine echte Session, die Debugspalte rechts zeigt Ablauf, Sprache und Serviceauswahl.
- Beratungen aus Sicht der Bürger:innen manuell durchspielen.
- Testfälle aufzeichnen, speichern und automatisch erneut ausführen.
- Services, Fakten, Prompts, Voraussetzungen und AFS-Verhalten prüfen.
- AFS-Feldmarkierung und Formularbefüllung im Split-Screen absichern.
Sicht Manuell
- Der Chat verhält sich wie der Bürgerchat und nutzt eine echte Session.
- Mit Aufzeichnung starten/stoppen erzeugen Sie einen neuen Testfall.
- Der Export speichert den sichtbaren Verlauf; neue Session setzt den Testkontext zurück.
- Formular anzeigen blendet die AFS-Split-Ansicht ein.
- Die Debug-Spalte zeigt Ablauf & Services, Parameter und Voraussetzungen.
Beispiel: Testfall aus einem Dialog erzeugen
Starten Sie die Aufzeichnung, stellen Sie ein Bürger:innenanliegen, bestätigen Sie den richtigen Service und beantworten Sie die wichtigsten Rückfragen. Beim Stoppen der Aufzeichnung zeigt ai-assist eine Vorschau der erkannten Schritte. Prüfen Sie dort, ob die vorgeschlagenen Prüfungen sinnvoll sind, bevor Sie den Testfall speichern.
Sicht Automatisch
1
2
3
4
| Marker | Element | Bedeutung |
|---|---|---|
| 1 | Automatisch | Wechselt zur Verwaltung gespeicherter Testfälle. |
| 2 | Testfallliste | Sucht, filtert, wählt und markiert gespeicherte Dialogtests. |
| 3 | Testfall/Testlauf | Trennt gespeicherte Erwartung von tatsächlichem Laufprotokoll. |
| 4 | Ausführen und Verwalten | Startet Tests, steuert Sichtprüfung oder speichert den Inspector. |
Abb. T-02 steht vor der Beschreibung der automatischen Sicht. Links werden Testfälle gesucht und ausgewählt, rechts werden Erwartung, Testlauf und Ergebnisse kontrolliert.
- Links stehen Testfälle mit Suche, Checkboxen und Auswahlzähler.
- nur offen filtert auf Testfälle, die noch nicht fachlich erledigt oder freigegeben sind.
- Der Punkt für AUTT-Freigabe markiert, ob ein automatischer UI-/Split-Screen-Test als freigegeben gilt.
- Abspielen führt ausgewählte Fälle nacheinander aus.
- Sichtprüfung pausiert bei AFS-Prüfkarten für OK/NOK.
- Die Tabs Testfall und Testlauf trennen gespeicherte Erwartung und tatsächlichen Lauf.
- Prüfungen und Werte können im Testfall-Inspector bearbeitet werden.
Beispiel: stabile Erwartung wählen
Wenn die Antwortformulierung schwankt, ist Antwort ok plus Service oder State meist robuster als ein langer exakter Textvergleich. Für AFS-Schritte ergänzen Sie AFS-Felder, damit nicht nur die Chatantwort, sondern auch die Formularmarkierung geprüft wird.
Arbeitsablauf: Testfall aufzeichnen
- Starten Sie in Manuell eine neue Session.
- Starten Sie die Aufzeichnung.
- Führen Sie einen realistischen Dialog bis zum erwarteten Ergebnis.
- Stoppen Sie die Aufzeichnung.
- Prüfen Sie die vorgeschlagenen Prüfungen und Werte.
- Speichern Sie den Testfall.
- Führen Sie ihn in Automatisch erneut aus.
AFS-Split-Screen-Prüfung
1
2
3
4
5
| Marker | Element | Bedeutung |
|---|---|---|
| 1 | Manuell | Direkter Test einer Chat-Session in der Admin-Oberfläche. |
| 2 | Chatverlauf | Zeigt Assistenten- und Benutzernachrichten. |
| 3 | Eingabe | Sendet Testnachrichten an den Chat. |
| 4 | Recorder und Aktionen | Zeichnet Testfälle auf, speichert oder startet neu. |
| 5 | Debugspalte | Zeigt Ablauf, Schritt, Sprache und ausgewählten Service. |
Abb. T-01 zeigt den manuellen Testkontext, in dem die AFS-Split-Screen-Prüfung durchgeführt wird. Die Formularvorschau erscheint parallel zum Chat, sobald ein geeigneter AFS-Link in der Session verfügbar ist.
- Die Formularvorschau zeigt das AFS-Formular parallel zum Chat.
- Aktuell abgefragte Felder werden markiert und in den sichtbaren Bereich gescrollt.
- Markierung prüft, ob das richtige Formularfeld hervorgehoben ist.
- Befüllung prüft, ob die Antwort im richtigen Formularfeld angekommen ist.
- Bei wiederholbaren Blöcken und Datei-Uploads ist die richtige Blockinstanz besonders wichtig.
Referenz: wichtige Prüfungen
| Prüfung | Bedeutung | Typischer Einsatz |
|---|---|---|
| Antwort ok | Bot-Antwort ist technisch vorhanden und enthält keine Fehlerzeichen. | Grundprüfung für jeden Erwartungsschritt. |
| Textanker | wichtige erwartete oder verbotene Begriffe im Antworttext. | Kurze fachliche Kernaussagen prüfen, ohne ganze Antwort festzunageln. |
| State | erwarteter Workflow-Zustand. | Dialogsteuerung stabil prüfen, wenn Text variieren darf. |
| Service | vorgeschlagener oder ausgewählter Service. | Matching und Serviceauswahl absichern. |
| AFS-Felder | im Chat abgefragte Formularfelder. | Split-Screen-Markierung und Formularbefüllung prüfen. |
Häufige Probleme
- Test schlägt nach Fachänderung fehl: prüfen, ob Erwartung oder Fachlogik angepasst werden muss.
- AFS-Prüfung ist rot: sichtbares Formular, Markierung und Fehlerartefakt prüfen.
- LLM-Formulierung schwankt: stabile Prüfungen wie State, Service und Textanker bevorzugen.
- Testfall bleibt offen: Ergebnis im Tab Testlauf lesen, Ursache beheben und danach AUTT-Freigabe bewusst setzen.