Was Ihre Sprachagentenprotokolle tatsächlich verfolgen sollten
Bei den meisten Sprachagentenprotokollen wird das Gesprächsprotokoll erfasst. Das ist das absolute Minimum. Hier finden Sie, was Sie tatsächlich zum Debuggen, Optimieren und Compliance benötigen.
In einer Niederschrift erfahren Sie, was gesagt wurde. Es sagt Ihnen nicht, warum der Agent es gesagt hat, wie lange es gedauert hat, wie die Stimmung war, welche Aktionen erfolgreich waren oder fehlgeschlagen sind oder wo das Gespräch aus der Bahn geraten ist. Sprachagenten in der Produktion benötigen eine strukturierte Protokollierung, die Debugging, Optimierung und Compliance unterstützt – nicht nur eine Aufzeichnung und ein Transkript.
Was protokolliert werden soll
- Aufschlüsselung der Latenz pro Runde – ASR-Zeit, LLM-Inferenzzeit, TTS-Generierungszeit, Aktionsausführungszeit. Identifiziert, welche Phase Verzögerungen verursacht.
- Absichtsklassifizierung auf Schritt und Tritt – was glaubte der Agent, was der Anrufer wollte? War es richtig? Verfolgt die Genauigkeit des Verständnisses im Laufe der Zeit.
- Ergebnisse der Aktionsausführung – welche Tools wurden aufgerufen, welche Parameter wurden übergeben, was wurde zurückgegeben, war die Aktion erfolgreich oder fehlgeschlagen? Unverzichtbar für die Fehlerbehebung bei Integrationsproblemen.
- Leitplankenaktivierungen – wann hat eine Leitplanke ausgelöst? Was hat es ausgelöst? Wurde die Route korrekt ausgeführt? Zeigt, dass Compliance-Kontrollen funktionieren.
- Stimmungsverlauf – Wie hat sich die Stimmung des Anrufers im Verlauf des Gesprächs verändert? Korreliert mit spezifischen Agentenreaktionen.
- Knotenpfad – welche Knoten im Agent Canvas wurden von der Konversation durchlaufen? Zeigt an, ob der beabsichtigte Ablauf befolgt wurde.
- Eskalationsmetadaten – wenn der Anruf eskaliert wurde, warum? Was war das letzte Thema? In welchem Zustand befand sich der Anrufer? Entscheidend für die Verbesserung des Agenten und die Ausbildung von Menschen.
Protokollierung für die Iteration, nicht nur für die Prüfung
Der Hauptnutzer von Protokollen ist nicht die Compliance (obwohl sie diese auch benötigen). Es ist das Team, das den Agenten iteriert. Wenn die Lösungsraten am Donnerstag sinken, sollten Protokolle zeigen, welcher Anruftyp fehlschlägt und an welchem Canvas-Knoten. Wenn eine neue Aktionsintegration live geht, sollten Protokolle bestätigen, dass sie korrekt ausgeführt wird, bevor Sie den Datenverkehr skalieren. Bauen Sie Ihre Protokollierung auf die Fragen auf, die Ihr Team am häufigsten stellt: „Warum ist dieser Anruf fehlgeschlagen?“ und „Was sollen wir als nächstes reparieren?“
Bereit loszulegen?
Erleben Sie, wie Mazeds multimodale KI-Agenten für Ihren Use Case arbeiten.