SUS и запись обсуждения: как связать анкету с пояснениями участника

Почему неприятный эпизод не отменяет заполненную анкету

После юзабилити-теста участник заполнил SUS, а затем подробно рассказал о трудном первом импорте. Исследователю кажется, что ответы должны быть более отрицательными. Исправлять их по этому впечатлению нельзя: разговор может относиться к одному эпизоду, а анкета — к опыту использования системы в целом. Нужно сохранить оба источника и разобраться в контексте.

System Usability Scale — опросник субъективной оценки удобства системы. Составной результат рассчитывается по ответам на десять пунктов; отдельный пункт не является самостоятельным итоговым показателем. Балл находится в диапазоне 0–100, но не равен проценту успешно выполненных задач. Для расчёта нужны ответы формы и выбранные правила обработки, а не эмоциональная окраска речи.

Если вы проверяете ещё создаваемые формулировки анкеты, используйте когнитивное интервью. Здесь речь о другом: как связать уже полученные ответы стандартной шкалы с последующим обсуждением, сохранив их происхождение.

Порядок работы с записью

1. Сохраните версию и условия заполнения

   Запишите язык, конкретный текст используемой версии, подписи шкалы и момент заполнения. Существуют русскоязычные адаптации: не считайте свой свободный перевод автоматически той же версией. Рядом сохраните продукт, сборку и задачи, с которыми работал участник.

2. Получите исходную форму до разбора

   В исходном описании SUS ответы собирают после возможности поработать с системой и до обсуждения. Зафиксируйте завершённую форму с ID F03 и общий код сессии U03. Не подсказывайте, какие оценки согласуются с наблюдаемыми ошибками.

3. Задавайте уточнения отдельным этапом

   После заполнения можно обсудить конкретные эпизоды использования по протоколу исследования. Сохраните вопрос модератора и ответ, а не только удобную цитату. Уточняйте, какую часть опыта описывает человек: первые действия, отдельную задачу или весь тест.

4. Свяжите объяснение с исходным материалом

   Для фрагмента разговора укажите код сессии, таймкод и ID задачи, если она названа. Если комментарий относится к определённому пункту анкеты, сохраните его номер и точную версию текста. Не сопоставляйте номера из разных редакций без проверки.

5. Храните исправления с историей

   Если участник сам сообщает об ошибочном выборе в форме, действуйте по принятому протоколу обработки. Сохраните исходное значение, уточнение, время и основание изменения. Аналитик не должен молча подгонять ответы под рассказ или ожидаемый результат.

Учебный пример: первый импорт и дальнейшая работа

Сессия, анкета и реплики вымышлены. В U03 участник выполнил задачи с новым кабинетом и завершил форму F03 в 18:10 записи. При обсуждении в 18:42 он сказал: «Сначала долго искал импорт. Но когда загрузил таблицу, дальше уже было понятно, где править строки».

Рабочий вопрос команды — где именно возникло затруднение поиска импорта и как это выглядит в записи действий. Слова участника помогают сформулировать проверку. Они не позволяют восстановить десять ответов, назначить новый SUS или заключить, что вся система показалась сложной.

Связка анкеты и обсуждения

Скопируйте заготовку в рабочий документ. Заполняйте её по конкретному фрагменту; неизвестное оставляйте неизвестным.

Сессия / участник:
Продукт, сборка, выполненные задачи:
Версия SUS, язык, подписи шкалы:
ID исходной формы и время завершения:
Источник расчёта итогового балла:
Начало обсуждения / таймкод:
Вопрос модератора:
Комментарий участника / таймкод:
К какому эпизоду относится комментарий:
Связанный пункт анкеты, если назван:
Противоречие или вопрос для проверки:
Уточнение ответа самим участником, если было:
История обработки, без молчаливых замен:

Что проверить перед включением результата в отчёт

Не называйте балл процентом удобства или успеха. Оценка SUS и доля выполненных задач имеют разное происхождение. В отчёте подписывайте показатель своим названием и сохраняйте источник расчёта. Не объясняйте разницу между числом и рассказом ошибкой участника без проверки.

Не восстанавливайте отсутствующий ответ по тону. Фразы «в целом нормально» или «было трудно» не кодируют конкретное положение на шкале. Если исходная форма неполная, отметьте пробел и применяйте предусмотренный протокол. Не заполняйте поля за человека по собственному впечатлению.

Проверьте границы цитаты. В учебном примере слова «но когда загрузил» меняют описание опыта. Для важных формулировок сохраняйте цитату с контекстом. Отдельно помечайте наблюдаемое действие, самоотчёт и вывод исследователя.