Chat-Protokolle
Die Chat-Protokolle geben Einblick in die tatsächliche Nutzung eines Agents. Sie helfen dabei, häufige Benutzerfragen zu identifizieren, die Qualität der Antworten zu überprüfen und auf negatives Feedback gezielt zu reagieren.
Es werden nur Konversationen von Agents angezeigt, bei denen der Admin-Chat-Zugriff im Tab Datenschutz aktiviert ist.
Konversationsliste
Die Übersicht zeigt alle protokollierten Konversationen mit folgenden Informationen:
- Titel: Automatisch generierter Titel der Konversation
- Erste Benutzernachricht: Die erste Nachricht des Benutzers
- Nachrichten: Anzahl der Nachrichtenpaare (Frage und Antwort)
- Benutzer: Name des Benutzers (sofern nicht verborgen)
- Agent: Der verwendete Agent
- Dauer: Gesamtdauer der Konversation
- Token: Verbrauchte Token (Prompt, Completion, Gesamt)
- Feedback: Zusammenfassung des Benutzerfeedbacks (Positiv, Negativ, Gemischt)
- Datum/Uhrzeit: Erstellungszeitpunkt
Konversationsdetails
Beim Öffnen einer Konversation werden alle Nachrichtenpaare angezeigt. Für jedes Nachrichtenpaar sind folgende Details einsehbar:
Basisinformationen
- Frage und Antwort im Volltext
- Ob die Nachricht anonymisiert wurde
- Dauer, Token-Verbrauch, Datum
- Verwendeter Agent und Version
Feedback
Wenn Benutzer eine Antwort mit Daumen hoch oder runter bewerten, wird das Feedback hier sichtbar:
- Art des Feedbacks (Positiv, Negativ)
- Feedback-Nachricht des Benutzers
- Status: Gelöst / Ungelöst — Administratoren können Feedback als „gelöst" markieren, um den Bearbeitungsstand nachzuverfolgen. So lässt sich sicherstellen, dass auf jedes negative Feedback reagiert wird.
Flow Actions
Übersicht aller Aktionen, die während der Verarbeitung ausgeführt wurden (Tool-Aufrufe, Checks, Generierung etc.). Hilfreich, um nachzuvollziehen, warum der Agent eine bestimmte Antwort gegeben hat.
Jede Zeile zeigt Schritt, Aktion, Eingabe, Ausgabe, Dauer, Token und Status. Ein Klick auf eine Zeile öffnet die Detailansicht mit der vollständigen Ein- und Ausgabe sowie — bei Schritten, die ein Modell aufrufen — dem verwendeten Modell und dem Prompt.
Die Reihenfolge der Schritte entspricht dem Flow der verwendeten Agent-Version. Wer die Nodes des Flows kennt, liest hier ab, welchen Weg eine konkrete Anfrage genommen hat.
Beispiel: eine Konversation lesen
Angenommen, ein Agent der fiktiven Musterwerk GmbH beantwortet Fragen zum Serviceangebot. Ein Benutzer fragt: „Wann kann ich mein Gerät zur Wartung bringen?" Die Flow Actions könnten so aussehen:
| Schritt | Aktion | Was dort passiert ist |
|---|---|---|
| 1 | Generic | Die Sprache der Anfrage wird erkannt — hier Deutsch. Sie bestimmt, in welcher Sprache die weiteren Schritte und die Antwort erfolgen. |
| 2 | Input Guard | Die Eingabe wird auf unerwünschte Inhalte geprüft. Ergebnis: unauffällig, die Verarbeitung läuft weiter. |
| 3 | QuestionCheck | Die Frage wird gegen den Zuständigkeitsbereich des Agents geprüft. Ergebnis: relevant — es geht um das Serviceangebot. |
| 4 | Branch | Aus mehreren Pfaden wird „Service & Termine" gewählt, weil die Beschreibung dieses Pfads am besten zur Frage passt. |
| 5 | Tool | Der Pfad ruft die Wissensquelle mit den Serviceinformationen auf. |
| 6 | Tool Call | Der konkrete Abruf: gefunden werden die Öffnungszeiten der Servicestelle und der Hinweis auf die Terminvereinbarung. |
| 7 | Context Check | Die gefundenen Daten werden geprüft: Beantworten sie die Frage tatsächlich? Ergebnis: ja — die Generierung darf starten. |
| 8 | Generate | Aus Frage und abgerufenem Kontext entsteht die Antwort. Hier sind Prompt, Modell und Token-Verbrauch einsehbar. |
| 9 | Output | Die fertige Antwort wird ausgegeben. |
Der Wert der Ansicht liegt in den Abweichungen von diesem Verlauf:
- Endet die Kette schon bei QuestionCheck oder Input Guard, hat der Agent die Frage abgelehnt. Ist die Frage aus Ihrer Sicht legitim, ist die Prüfung zu streng konfiguriert.
- Wählt Branch einen unpassenden Pfad, liegt es meist an den Beschreibungen der Pfade — sie steuern die Auswahl.
- Liefert Tool Call nichts oder etwas Unpassendes, fehlt der Inhalt in der Wissensquelle oder er wird nicht gefunden. Ein Blick in die Ausgabe des Schritts zeigt, was tatsächlich abgerufen wurde.
- Bricht die Verarbeitung nach Context Check ab, wurden Daten gefunden, aber als nicht ausreichend bewertet.
- Ist die Antwort trotz korrekt abgerufenem Kontext unpassend, liegt die Ursache in Generate — also bei den Systemnachrichten oder der Modellwahl.
Gehen Sie bei negativem Feedback immer diesen Weg: erst die Flow Actions von oben nach unten lesen, dann den Schritt ändern, an dem die Kette zum ersten Mal vom erwarteten Verlauf abweicht. Ohne diesen Schritt korrigiert man häufig die Systemnachricht, obwohl der Inhalt in der Wissensquelle gefehlt hat.
Token-Aufschlüsselung
Detaillierter Token-Verbrauch aufgeschlüsselt nach Modell (Prompt-Token, Completion-Token, Gesamtkosten). Nützlich, um kostenintensive Konversationen oder Modelle zu identifizieren.