Когнитивное интервью для анкеты: как проверить понимание вопросов по записи
Человек может ответить на вопрос анкеты уверенно и при этом понять его иначе, чем исследователь. Когнитивное интервью помогает увидеть, как возник ответ, прежде чем запускать массовый опрос.
Что именно проверяет метод
В описании метода CCQDER когнитивные интервью используются для изучения того, как респонденты понимают вопросы и отвечают на них. В этом материале речь о проверке анкеты, а не о другой технике с похожим названием для восстановления воспоминаний.
Подготовьте версию анкеты и список мест, которые вызывают сомнение: неоднозначные слова, длинный период, несколько действий в одном вопросе. Если формулировки ещё только создаются, начните с материала о переходе от интервью к вопросам анкеты.
Как вести разговор
Сначала дайте человеку ответить на вопрос, не объясняя заранее «правильный» смысл. Затем уточните, как он понял ключевые слова, какой случай вспомнил и почему выбрал именно этот вариант. Нейтральное уточнение помогает увидеть ход ответа; подсказка исследователя может скрыть дефект вопроса.
В расшифровке записи сохраняйте исходный вопрос, ответ и последующее объяснение рядом. Если формулировку поменяли в ходе беседы, отметьте момент и новую версию. Ответы на разные версии нельзя незаметно складывать как ответы на один вопрос.
Учебный пример: слово «регулярно»
В анкете спрашивают: «Регулярно ли Вы используете сервис?» Один участник считает регулярным ежедневное использование, другой — один раз в месяц в день отчёта. Оба отвечают последовательно, но смысл ответов различается. Проблема не в невнимательности респондентов.
Можно заменить расплывчатое слово конкретным периодом и вариантами частоты, если это соответствует цели исследования. Затем проверьте, способен ли человек вспомнить использование за выбранный период и есть ли подходящий вариант. Исправление первого дефекта может создать другой, поэтому новая формулировка тоже требует проверки.
Как оформить результаты
Для каждого вопроса запишите наблюдаемую трудность, фрагмент объяснения, предполагаемую причину и изменение. Не превращайте небольшую целевую выборку в оценку распространённости проблемы среди всех пользователей. Метод помогает находить и понимать трудности ответа.
Сравнивайте случаи, в том числе те, где вопрос был понятен. Уточняйте, какие особенности опыта влияют на трактовку. Затем составьте план следующей проверки: что исправлено и что осталось неизвестным. Храните историю версий анкеты, чтобы результат можно было воспроизвести.
Рабочая таблица: учебный пример
Используйте структуру для своих материалов, заменяя пример подтверждёнными данными.
| Элемент | Учебный пример | Что проверить |
|---|---|---|
| Вопрос | Регулярно ли используете? | Как понят термин |
| Наблюдение | Разные периоды у участников | Объяснение каждого ответа |
| Изменение | Явный период и частота | Повторная проверка версии |
Частые вопросы
Нужно ли объяснять вопрос перед ответом?
Обычно это скроет, как человек понимает его самостоятельно. Сначала наблюдайте, затем уточняйте.
Можно ли считать процент непонимания по нескольким интервью?
Не переносите небольшую целевую выборку на всю аудиторию. Фиксируйте обнаруженные проблемы и границы данных.
Достаточно ли спросить «всё понятно»?
Нет. Попросите объяснить понимание и путь к ответу: уверенность сама по себе не показывает одинаковую трактовку.