WER для распознавания речи: как посчитать ошибки и честно сравнить расшифровки
Одна расшифровка выглядит аккуратно, другая содержит меньше неверных слов. Для измерения словесных ошибок используют WER, но сравнение имеет смысл только при одинаковом эталоне и правилах подготовки текста.
Что входит в формулу
Word Error Rate считают по формуле WER = (S + D + I) / N, где S — замены, D — удаления, I — вставки, N — число слов эталонной расшифровки. Для процентов результат умножают на 100. Меньшее значение означает меньше таких ошибок при выбранных правилах сравнения.
Из-за вставок WER может превышать 100%. Это не доля неверных слов, ограниченная сотней процентов. Метрика также не оценивает автоматически правильность авторства реплик, качество пунктуации или удобство структуры документа.
Учебный расчёт на короткой фразе
Эталон: «мы отправим новый отчёт завтра утром». Вариант системы: «мы отправим отчёт сегодня утром». В эталоне шесть слов. Пропущено «новый», а «завтра» заменено на «сегодня»: одна D и одна S. WER = 2 / 6, то есть примерно 33,3%.
В примере замена срока особенно важна для смысла, хотя считается одной словесной ошибкой. После получения автоматического текста проверяйте подобные фрагменты отдельно. Короткая фраза иллюстрирует расчёт, но не служит оценкой качества системы на реальных разнообразных записях.
Подготовьте одинаковые условия сравнения
Создайте проверенный по звуку эталон и заранее определите правила для регистра, пунктуации, чисел, сокращений и слов-паразитов. Применяйте одинаковую нормализацию ко всем сравниваемым результатам. Иначе различие может отражать оформление, а не распознавание.
Сохраните стиль-гайд расшифровки и исходные версии. Не правьте эталон только потому, что одна система предложила более красивую фразу. При сравнении нескольких записей считайте суммарные ошибки относительно суммарного числа эталонных слов, явно описав выбранную агрегацию.
Что добавить к итоговому числу
Покажите состав тестовых записей: язык, шум, число говорящих и тематику. Не переносите результат чистой диктовки на спор с перебиваниями. Отдельно разберите ошибки отрицаний, дат, сумм и терминов, значимых для задачи.
Ведите журнал исправлений: он поможет понять, где потребуется ручная проверка. Итоговый выбор зависит также от времени редактирования и нужного формата. Не называйте 100% минус WER процентом сохранённого смысла: смысл так не измеряется.
Рабочая таблица: учебный пример
Используйте структуру для своих материалов, заменяя пример подтверждёнными данными.
| Элемент | Учебный пример | Что проверить |
|---|---|---|
| Эталон | Шесть слов | Проверен по аудио |
| Ошибки | Один пропуск и одна замена | D = 1, S = 1, I = 0 |
| Расчёт | 2 / 6 ≈ 33,3% | Отдельно проверен изменённый срок |
Частые вопросы
Может ли WER быть больше 100%?
Да. Большое число вставок может превысить количество слов эталона.
Показывает ли WER качество пунктуации?
Это зависит от подготовки текста, но сама метрика предназначена для словесных ошибок; оформление лучше оценивать отдельно.
Что делать с неразборчивым эталоном?
Заранее определите правила исключения или маркировки таких участков и одинаково применяйте их ко всем вариантам.