Як виміряти продуктивність голосового агента AI: важливі показники
Швидкість відхилення - марнославство. Частота вирішення, CSAT і ціна за вирішення – це показники, які визначають, чи справді ваш голосовий агент працює.
Більшість постачальників голосових агентів виділяють коефіцієнт відхилення — відсоток викликів, які ШІ обробляє без участі людини. Це число, яке легко завищити, і поганий показник фактичної продуктивності. Важливі показники вимірюють, чи вирішено проблеми, чи задоволені клієнти, чи працює економіка.
Первинні показники
- Рівень вирішення — відсоток викликів, оброблених ШІ, у яких проблему було повністю вирішено. Вимірюється відсутністю повторного контакту протягом 48 годин та/або підтвердженням після дзвінка.
- Задоволеність клієнтів (CSAT) — результати опитування після взаємодії для дзвінків, оброблених штучним інтелектом, порівняно з викликами, обробленими людиною. З часом щілина повинна зменшитися.
- Вартість вирішення — загальна вартість платформи, поділена на успішно вирішені взаємодії. Порівняйте безпосередньо з вашою вартістю роздільної здатності, створеної людиною.
- Вирішення першого контакту (FCR) — відсоток проблем, вирішених під час однієї взаємодії без зворотного виклику чи ескалації.
- Середній час обробки (AHT) — скільки часу займають розмови штучного інтелекту порівняно з людським еквівалентом. Коротше не завжди краще, якщо це означає неповну роздільну здатність.
Діагностичні показники
- Рівень ескалації та причини — який відсоток дзвінків потребує передачі з боку людини та чому? Це виявляє прогалини в знаннях і проблеми з дизайном потоку.
- Точки видачі — де в розмові абоненти кладуть трубку? Ранні висадки свідчать про вітання або розбіжності в ідентифікації.
- Точність наміру — чи правильно агент визначає, що хочуть абоненти з першої спроби?
- Частота прогалин у знаннях — як часто агент стикається з питаннями, на які не може відповісти? Це можливості контенту.
Побудова основи вимірювання
Базовий рівень перед розгортанням. Виміряйте поточні людські показники (AHT, FCR, CSAT, вартість дзвінка) для точних типів дзвінків, які ви автоматизуєте. Після розгортання порівняйте продуктивність ШІ з цією базовою лінією, а не з теоретичною досконалістю. Ставте реалістичні цілі: 80% рівня вирішення за перший місяць, підвищення до 90%+ у міру вдосконалення баз знань і потоків на основі аналітичних даних. Платформа з аналітикою на рівні розмови, яка дозволяє детально вивчати окремі помилки, є важливою для цього циклу постійного вдосконалення.
Готові створювати?
Подивіться, як мультимодальні ШІ-агенти Mazed працюють для вашого випадку використання.