Evaluierungsfragen
Evaluierungsfragen definieren, welche Fragen ein Agent zuverlässig beantworten können muss. Sie sind die Grundlage für automatisierte Evaluierungsläufe, mit denen die Antwortqualität regelmäßig überprüft werden kann.
Typische Anwendungsfälle:
- Sicherstellen, dass der Agent häufig gestellte Kundenfragen korrekt beantwortet
- Prüfen, ob der Agent nach einer Prompt-Änderung noch die gewünschten Antworten liefert
- Verifizieren, dass neu hinzugefügtes Wissen korrekt abgerufen wird
Kategorien
Evaluierungsfragen werden in Kategorien organisiert (z. B. „Produktfragen", „Richtlinien", „Smalltalk"). Kategorien helfen, Fragen thematisch zu gruppieren und bei Evaluierungsläufen gezielt bestimmte Themenbereiche zu testen.
Für jede Kategorie wird konfiguriert:
- Titel: Eindeutiger Name der Kategorie
Kategorien können kopiert werden — dabei werden alle zugehörigen Fragen mit kopiert.
Fragen
Für jede Evaluierungsfrage wird konfiguriert:
- Evaluierungsfrage: Die Frage, die dem Agent gestellt wird (z. B. „Wie sind die Öffnungszeiten am Samstag?").
- Akzeptanzkriterium (optional): Definiert, was eine korrekte Antwort ausmacht. Dieses Kriterium wird bei einem Evaluierungslauf automatisch geprüft.
Beispiele für gute Akzeptanzkriterien:
- „Die Antwort muss die Öffnungszeit Samstag 9:00–14:00 enthalten"
- „Die Antwort darf keine Preise nennen"
- „Die Antwort muss auf die interne Richtlinie XY verweisen"
Je präziser das Akzeptanzkriterium formuliert ist, desto aussagekräftiger sind die Ergebnisse. Vage Kriterien wie „gute Antwort" lassen sich nicht automatisiert überprüfen.
CSV-Import
Evaluierungsfragen können per CSV-Datei importiert werden. Eine Beispieldatei kann direkt aus der Oberfläche heruntergeladen werden.
- Trennzeichen: Semikolon (
;) - Erforderliche Spalten:
Frage,Akzeptanzkriterium
Frage;Akzeptanzkriterium
Wie sind die Öffnungszeiten am Samstag?;Die Antwort muss Samstag 9:00–14:00 enthalten
Welche Zahlungsmethoden werden akzeptiert?;Die Antwort muss Kreditkarte und Überweisung nennen