а) ... личных интервью

Екатерина Палховская: Интервью должны записываться на диктофон, и у вас — клиента — должна быть возможность их прослушать. Настаивайте, чтобы агентство предоставило вам записи не менее 95% интервью.

Если опрос идет без аудиозаписи, проверить качество сбора информации сложно. Допустим, у нас на руках заполненная анкета и номер телефона, который оставил респондент. Даже если с ним связаться, респондент подтвердит только участие в исследовании. Мы не узнаем, какие вопросы задавали и в какой формулировке, насколько полными были ответы. Иначе контрольный звонок превратится в повторный опрос.

Если не ведется аудиозапись и интервьюер решит обмануть работодателя, он задаст респондентам 3-5 вопросов из анкеты, а на остальные ответит сам. И вероятность обнаружения обмана мала. Когда же интервью записывается, вы сможете проверить качество опроса от начала до конца и сразу выявить «Василис-работниц», которые заполняют анкеты «на коленке».

Отклоняйте предложения по проведению опросов без аудиозаписи!

Перед тем, как предоставить заказчику записи интервью, агентство обязано проверить качество проведения опроса. Если обнаружит ошибки или брак, анкеты из обработки удаляются и проводятся дополнительные интервью. Запросите файл с итогами проверки, где вы увидите номер интервью, интервьюера и результат проверки. Прослушайте не менее 15% интервью каждого интервьюера. Если находите ошибки — слушайте все записи.

Пример: Недобросовестное агентство пыталось выдать одну и ту же запись за разные интервью. Проверка выявила обман.

Сергей Бургазлиев: Аудиозапись интервью обязательна, но она не защищает от накруток числа респондентов. В середине 2000-х недобросовестные агентства часто практиковали, когда один человек менял голос и отвечал на одну анкету несколько раз. Выявить такое сложно. Даже если вы знаете, что в 50 интервью участвовало 10 человек, я не уверен, что вы распознаете, кто когда отвечал. Можно попить холодной воды и тембр голоса понизится, выпить чай с лимоном — голос станет более звонким.

Универсального рецепта борьбы с подобными накрутками нет. Что можно предпринять:

• Просите паспортные данные респондентов или номера телефонов. Но если респондент откажется, интервьюер не вправе настаивать, и вы с этим ничего не сделаете.
• Если исследование проводится на улице, в кафе или другом общественном месте, делайте видеосъемку опроса. Пусть агентство установит видеокамеру, которая, например, будет снимать улицу и одновременно захватывать процесс интервью.
• Если это возможно и не противоречит задачам исследования, предоставьте маркетинговому агентству базу для рекрутинга респондентов. Например, если Тойота хочет изучить пользователей новых Лексус, отдел маркетинга может взять список автовладельцев у официальных дилеров.

б) ... онлайн опроса

Екатерина Палховская: Для проверки качества онлайн опросов включите в анкету просьбу оставить номер сотового телефона или электронный адрес рабочей почты.

Вместе с результатами опроса запросите у агентства информацию об ip-адресе каждого респондента. Убедитесь, что нет повторов. Если в качестве респондентов вы хотели видеть жителей определенного региона, проверьте географическое расположение ip-адреса (например, с помощью сервиса xseo.in/ipinfo).

Сергей Бургазлиев: При онлайн-опросах можно столкнуться с ошибками в отборе респондентов — из-за большого количества фейковых профилей и аккаунтов неясно, кто перед нами и насколько он (она) соответствует критериям выбора. Опять же нет гарантии, что один и тот же человек не станет участвовать в опросе несколько раз, оставляя, например, разные адреса электронной почты. Поэтому желательно соотносить респондентов с некими оффлайн идентификаторами, например, предложить пополнить баланс сотового телефона или банковской карты за участие в опросе.

При опросе в интернете соотносите респондентов с оффлайн идентификаторами.

в) ... фокус-групп

Екатерина Палховская: Агентство может не справляться с поиском участников фокус-групп и попытаться закрыть дыры знакомыми: привести человека и подогнать его под критерии отбора. «Купи один раз, попробуй, потом скажешь, что покупаешь регулярно». Заказчику исследования важно присутствовать на этапе предварительного интервью, которое проводится перед фокус-группой.

Финальное утверждение участников фокус-группы — за заказчиком исследования.

Не стесняйтесь попросить у потенциального участника фокус-группы паспорт, если возникли сомнения по поводу возраста или семейного положения участника (если это стоит как критерий отбора). Если важны регулярные потребители продукта, задайте несколько вопросов по его цене, вкусу, упаковке. Респондент может не назвать точную стоимость в копейках или вес в граммах, но в разумный интервал всегда попадет (если это регулярный потребитель продукта).

Допускайте на фокус-группу людей с нормальными коммуникативными способностями. Поэтому на этапе предварительного интервью отмечайте, как человек формулирует мысли и подбирает доводы.

Сергей Бургазлиев: При проведении фокус-групп ведется аудио- и видеозапись. Несмотря на это рекомендую присутствовать на фокус-группе лично — будет возможность влиять на ход обсуждения, если что-то пойдет не в соответствии с ожиданиями или вы захотите более глубоко обсудить какой-либо момент.