Качество ответов в чате: как оценивать содержание диалога

Оценивать качество ответов операторов чата нужно по содержанию: на каких фактах построен ответ, решён ли вопрос и понятен ли следующий шаг. Скорость реакции и оценку клиента учитывайте отдельно. Для ручной проверки заведите карту критериев с доказательствами из диалога, а не общий балл «понравилось руководителю».

Три проверки одного разговора

Первый ответ мог прийти быстро, но содержать неверную причину ошибки. Клиент мог поставить высокую оценку за вежливость, хотя задача осталась незавершённой. Или, наоборот, остаться недовольным ограничением продукта, которое сотрудник объяснил точно. Поэтому один показатель не заменяет остальные.

В инструкции Carrot quest по оценке операторов описан запрос оценки пользователю после закрытия диалога и заданного таймаута. Это обратная связь клиента. Из неё нельзя автоматически получить заключение проверяющего о достоверности каждой реплики сотрудника.

Для внутреннего разбора нужна другая запись: критерий, доступное оператору основание, вывод проверяющего и требуемое исправление. В документации Zendesk QA предусмотрены в том числе пользовательские категории с ручной оценкой. Ниже — наша рабочая карта, а не воспроизведение шкалы конкретной системы.

Разберём вымышленный ответ о пустом отчёте

Учебная ситуация: пользователь сообщает, что отчёт пуст. Оператор видит выбранный период, но без дополнительной проверки объясняет результат удалением данных. Затем предлагает изменить фильтр и закрывает разговор, не выяснив, появился ли результат. Это составленный пример, а не переписка клиента студии.

Такой ответ нельзя целиком записать в удачные только потому, что совет про фильтр мог помочь. В нём соседствуют полезное действие, недоказанное объяснение и неподтверждённое завершение. Проверка по отдельным критериям показывает, что именно нужно исправить.

У каждого вывода должна оставаться привязка к сообщению или состоянию задачи. Если проверяющий не может показать основание, отметьте недостаток данных. Не восстанавливайте действия сотрудника по догадкам: отсутствие записи и доказанная ошибка — разные результаты разбора.

Что считать применимым критерием

Критерий про передачу специалисту не обязан получать отрицательную оценку, если вопрос решается первой линией и передача не нужна. Для таких случаев предусмотрите значение «не применимо» с коротким объяснением. Иначе простые диалоги получат искусственно высокий или низкий итог из-за конструкции самой карты.

Отдельно отметьте критические нарушения: например, заведомо неподтверждённое обещание выполнить действие от имени другого отдела. Их стоит разбирать отдельно от общей суммы. Несколько хороших приветствий не устраняют риск, созданный одним неверным обязательством перед пользователем.

Не вводите веса критериев до того, как команда одинаково понимает сами нарушения. Если один проверяющий оценивает достоверность, а другой — приветливый тон, итоговая цифра объединяет разные предметы. Сначала согласуйте границы оценки и примеры, затем решайте, нужен ли общий показатель вообще.

Как двум проверяющим прийти к одинаковому выводу

1. Выберите один завершённый диалог и подготовьте одинаковый набор доступных на тот момент сведений.
2. Попросите двух проверяющих независимо заполнить карту, указывая основания выводов.
3. Сопоставьте расхождения по каждому критерию, а не только итоговые оценки.
4. Уточните правило там, где его можно понять по-разному; не заменяйте спор средним баллом.
5. Повторите проверку на другом разговоре и сохраните версию правил, по которой его оценивали.

Например, один проверяющий считает фразу о передаче задачи достаточным следующим шагом. Другой требует ещё назвать, кто вернётся с ответом и где его ждать. Команде нужно договориться о минимальном содержании такого сообщения. Средняя оценка между ними не объяснит оператору, как отвечать завтра.

Проверяйте сотрудника по тем сведениям и инструкциям, которые у него были при ответе. Позднее найденная причина ошибки помогает улучшить базу знаний, но сама по себе не доказывает, что оператор мог знать её заранее. Разделяйте нарушение действующего правила и обнаруженный пробел процесса.

Как отбирать чаты и не получить удобную картину

Если брать только жалобы, обзор покажет проблемы, но не обычный уровень ответов. Если брать только короткие закрытые разговоры, из проверки выпадут сложные случаи. Помечайте способ отбора: случайные диалоги, повторные обращения, жалобы, передачи между сотрудниками или конкретная тема.

Результаты этих групп полезны для разных задач. По жалобам ищут повторяющиеся причины недовольства; по сопоставимой выборке наблюдают изменения качества. Нельзя объявить долю нарушений во всех чатах, если разбирали только заранее выбранные неудачные разговоры.

Для сравнения периодов сохраните одинаковые критерии и подход к выборке. Если изменили инструкцию, отмечайте дату начала новой версии. Рост среднего балла после удаления сложного критерия не показывает, что сотрудники стали отвечать лучше.

Что делать с результатами разбора

Каждая найденная проблема должна завершаться действием: поправить статью справки, изменить шаблон передачи, уточнить права или разобрать конкретный навык. Если ошибка возникает у нескольких сотрудников в одном месте, проверьте инструкцию и доступность нужной информации, прежде чем объяснять всё невнимательностью.

Для повторной проверки возьмите новые разговоры по той же задаче. Старый диалог после обсуждения уже знаком участникам и подходит для обучения, но плохо показывает, перенесли ли они правило в обычную работу. Сохраните связь между обнаруженной проблемой, изменением и последующей проверкой.

При организации текстовой поддержки клиентов такую карту можно включить в требования к обработке обращений. Для связи чата с задачами пригодится CRM под процесс компании, а исправления интерфейса и справки можно вести через доработку сайта. Конкретные отчёты и маршруты согласовывают отдельно.

Рабочий результат проверки — ответ на вопрос «что изменить в следующем диалоге». Если в отчёте есть только фамилия, балл и цвет ячейки, у оператора нет проверяемого способа улучшить ответ. Добавьте основание, нужное действие и пример границы, за которой требуется помощь специалиста.