Как избежать этих ошибок при планировании маркетингового исследования

“Для того, чтобы оценить вкус приготовленного супа, вовсе не обязательно вычерпывать всю кастрюлю до дна. Достаточно хорошо перемешать суп и отведать одну ложку.”

Джордж Гэллап

В данной статье мы, MagentaConsulting, описали наше видение того, что должно представлять собой хорошо проведенное количественное маркетинговое исследование, с какими проблемами можно столкнуться при его планировании, и как их избежать. Надеемся, этот материал будет интересен как специалистам в области исследований, так и практикующим маркетологам. Идеи, изложенные в статье, базируются как на известном международном опыте, так и на многолетнем опыте, накопленном нашей компании в реалиях Молдовы.

Хотя в нашей статье мы говорим в основном о маркетинговых исследованиях, практически все выводы характерны и для социологических исследований вообще, касающихся социальных вопросов, политических предпочтений и прочих опросов общественного мнения.

Ремарка: количественное исследование представляет опрос большого количества респондентов и получение статистически верных данных. Количество опрошенных респондентов называется размером выборки. Чем выше этот показатель, чем выше точность исследования и ниже статистическая погрешность. В дополнение к количественным, существуют также качественные методы исследования (фокус-группы, глубинные интервью), которые подразумеваю участие небольшого количества респондентов. Результаты таких исследований не являются статистически репрезентативными, но они позволяют получить более глубокую информацию, касающихся сложных процессов восприятия и принятия решений.

 

Когда не нужно проводить количественное маркетинговое исследование:

  • В первую очередь, такое исследование не нужно проводить, когда ответ на поставленный вопрос очевиден. Например, если в вашем магазине грязь, большое количество просроченных продуктов и завышенные цены, то не имеет смысл проводить исследование о степени и факторах неудовлетворенности покупателей. Или, к примеру – исследование о том, когда потребители более всего предрасположены покупать шампанское – здравый смысл и ваша статистика продаж и так подскажут, что чаще всего – перед крупными праздниками  - Новый Год, 8 марта и др. Прежде чем планировать исследование, спросите себя – какую конкретную пользу я могу извлечь из него, как я буду использовать полученную информацию, и могу ли я получить интересующую меня информацию, не прибегая к дорогостоящему маркетинговому исследованию.
  • Когда речь идет об исследовании редкого феномена. Допустим, компания хочет сделать количественное исследование покупателей профессиональных фотокамер для подводной съемки.  Сложность нахождения значительного (репрезентативного) количества респондентов может во много раз увеличить стоимость исследования.  В таких случаях, даже если и есть необходимость в таком исследовании, его стоимость скорее всего будет неоправданно высокой, и от исследования лучше всего будет отказаться.
  • Когда речь идет о выявлении глубинных мотивов поведения потребителей. Например, какие факторы повлияли на потребителя в процессе принятия решения о дорогой покупке? Или, какие воспринимаемые барьеры он видит при обращении к какому-либо поставщику? В данному случае, рекомендуем пренебречь статистической репрезентативностью, и отдать предпочтение качественным методам исследования на небольшой аудитории, так как информация, полученная в ходе количественных исследований не может в полной мере ответить на интересующий вопросы. Более того, она может дезинформировать заказчика, и на ее основе могут быть приняты неверные решения. 
  • Маркетинговое исследование нужно проводить в том случае, когда ценность полученной информации превосходит стоимость проведения данного исследования. Чем важнее принимаемое решение, и, чем выше возможные риски, тем ценнее информация, полученная в ходе исследования.

Планирование количественных исследований

Итак, вы решили, что ответы на поставленные вопросы вам может дать количественное исследование. Важно его спланировать корректно, чтобы на выходе получить достоверную информацию, на основе которой можно принимать взвешенные решения.

В первую очередь следует определиться с географией исследования и со спецификой выборки. Это может быть исследование национального уровня, либо исследование только городского населения, либо определенных географических областей, исходя из конкретных целей исследования.

Специфика выборки подразумевает наличие определенных требований к респондентам. Такие требования могут быть минимальными: например, ограничение по возрасту (18-65 лет) и по пропорции городского и сельского населения. Могут быть и более специфические требования: например, опрос только студентов, или только мам с детьми. Чем больше критериев выбора респондентов (называемых фильтрами), тем более глубоко вы можете исследовать специфический сегменты рынка. Однако, чем меньше фильтров, тем лучше вы сможете проанализировать изучаемый сегмент в сравнении с другими слоями населения. Таким образом, рекомендуем вам, совместно с исследовательской компанией, определить критерии выбора респондентов, исходя из конкретных целей исследования.

Например, вы хотите получить представление о потенциале рынка ипотечного кредитования. Вполне возможно, что результаты исследования покажут, что только 5% семей планирую приобрести жилье кредит в ближайшем году. Экстраполировав эту цифру на количество домохозяйств в Молдове (1,3 миллиона), мы получим примерный объем рынка ипотечного кредитования, равный 65 тысяч единиц жилья в год. Мы сможем определить социальный и демографический профиль потенциальных покупателей (пол, возраст, место проживания, размер семьи, размер доходов, профессию и д.р.) и определить, какие особенности есть у данного профиля, по сравнению с населением страны в целом.

Однако, если мы хотим более детально проанализировать особенности различных подгрупп (сегментов) потенциальных покупателей, то необходимо проводить исследование не всего населения страны, а непосредственно только этих потенциальных покупателей. Тогда, фильтром для отбора респондентов будет вопрос : «Собиратель ли вы в ближайшем году приобрести жилье в кредит»?

Размер выборки

Мы не будем вдаваться в детали того, как работают законы статистики. На эту тему написана масса специализированной литературы. Ограничимся утверждением, что при правильно составленной выборке исследования (выборка – это те представители населения, которые принимаю участие в опросе), опросив очень незначительную часть населения, можно получить информацию о всей генеральной совокупности (генеральная совокупность населения Молдовы – около 3 миллионов человек).

Сначала определим, насколько точный результат исследования мы хотим получить. Для этого установим допустимую статистическую погрешность. Для большинства репрезентативных исследований допустимым считают статистическую погрешностью в +/-3% от полученного результата. Например, если результаты опроса общественного мнения показывают, что 20% населения периодически пользуются услугами частных медицинский учреждений, то в реальности погрешность в 3% означает, что этот показатель находится в интервале 17-23%. Точность исследования (обычно 95% или 99%) показывает, с какой вероятностью данный показатель будет в пределах полученного интервала.

В Молдове большинство исследования национального уровня проводятся на выборке в 1,100 – 1,200 респондентов, что дает результаты со статистической погрешностью около +/-3%, с точностью 95%.

Отметим, что при большой генеральной совокупности (десятки тысяч и более) размер выборки практически не меняется. Если для Молдовы, с населением около 3 миллионов человек, берется выборка в 1,100 респондентов, то примерно такое же количество респондентов необходимо, как для исследования в городе с 300 тысячами населения, так и в стране с 300 миллионами населения. При этом статистическая погрешность останется такой же. Этот факт часто вызывает недоумение у людей, не знающих специфику исследований, но это так -  и для Молдовы, и для Китая достаточно опросить почти одинаковое количество респондентов (около 1,100 человек), чтобы получить результаты одинаковой точности.

Это правило, однако, работает только для больших генеральных совокупностей. Когда речь идет о малых совокупностях (например, о классе с 30 учениками), то чтобы получить результат с максимальной погрешностью 3%, нужно опросить почти весть класс, точнее 29 учеников.

Репрезентативность исследований

Каким же образом опрос 1,100 человек показывает ситуацию во всей Молдове, или, тем более, в Китае? Ответ - в правильном выборе этих самых респондентов. Основным требованием является отбор респондентов случайным образом.

В теории, идеальный случайный отбор респондентов выглядел бы следующим образом – в компьютер загружается база данный всей генеральной совокупности (к примеру, всех граждан страны), генератор случайных чисел выбирает определенных респондентов, и все из них принимают участие в опросе. Отобранные таким образом респонденты будут соответствовать характеристикам совокупности в целом.

На практике такой подход нереализуем.  Поэтому, обеспечение репрезентативности выборки происходит в два этапа. На этапе подготовки сбора данных следует так спланировать критерии выборки, чтобы они отражали основные характеристики генеральной совокупности. Например, если в стране 40% населения проживает в городах, и 60% в сельской местности, то таким же должно быть распределение респондентов. Если в стране 53% женщин и 47% мужчин, то эта же пропорция должна быть сохранена в выборке.

Второй этап – это обеспечения случайности выбора респондентов. При квартирных личных опросах случайным образом выбираются населенные пункты и улицы, на которых будут опрошены респонденты. Конкретный дом выбирается как отправная точка, от которой интервьюеры начинаю свой обход. Интервьюеры идут с установленным заранее «шагом», то есть интервалом выбора домохозяйств. Например, если шаг равен 5-ти, то они заходят в каждый 5-й дом или квартиру. Если хозяева отсутствуют, что интервьюер седлает еще 3-4 попытки прийти в другое время или в другой день недели.

В самом домохозяйстве респондент отбирается также случайным образом, обычно согласно критерию последнего дня рожденья (кто из членов семьи последним отпраздновал день рожденья).  Это требуется для того, чтобы обеспечить случайность выборки - исключить доминирование тех категорий респондентов, кто чаще других находится дома.  Например, если не делать случайный отбор, и если опрашивать первого встретившегося члена семьи, то в выборке будут превалировать неработающие, пенсионеры, мамы с детьми и др. Если на момент визита, отсутствует тот член семьи, кто последним отпраздновал свой день рожденья, то интервьюер сделает еще несколько попыток встретиться с ним в другое время или в другой день недели.

Таким образом, полученная выборка из 1,100 респондентов отражает все слои населения страны из всех регионов страны.

Разработка анкеты

Приведем несколько рекомендаций по разработке анкеты для количественного исследования.

Первое правило – за один раз задавайте один вопрос. Пример неправильной формулировки: «Вам нравиться дизайн и функциональность данного компьютера»? Очевидно, что респонденту может нравиться дизайн, но может не нравиться функциональность.

Формулировка вопросов должна быть точной, и исключающей двоякое толкование.

Поскольку учесть все возможные варианты ответов в большинстве случаев затруднительно, всегда оставляйте вариант ответа «другое». Можно оставить этот вариант «открытым», чтобы респондент своими словами описал, что он имеет в виду.

Всегда включайте в варианты ответа вариант «не знаю/ нет ответа»,однако, проинструктируйте интервьюера не зачитывать этот вариант ответа респонденту. Некоторые исследователи сознательно исключают данный вариант, считая, что этот подход позволит «вытянуть» правильный ответ из респондента. Мы не рекомендуем использовать этот прием – если оказывать давление на респондента, то он может выдать любой ответ, не соответствующий действительности, только чтобы его оставили в покое.

Нам часто задают вопрос: «можно ли верить в честность ответа респондентов?». Исследования психологов показывают, что подавляющее большинство людей испытывают определенный дискомфорт, когда говорят неправду. Поэтому, по умолчанию, основная масса населения будет правдиво отвечать на вопросы, но только если они не касаются каких—либо деликатных, либо запретных тем.

Каким же образом получить ответы, если нас интересуют именно деликатные вопросы? Наша рекомендация в этом случае проста: не тратьте свои деньги и время на проведения количественных исследований – с их помощью вы не получите достоверные ответы на деликатные вопросы.

К деликатным вопросам мы также относим и вопрос о доходах респондентов. Если заказчик исследования настаивает на получении конкретных цифр, мы составляем анкету так, как он желает. Однако, мы в этом случае всегда предварительно рекомендуем несколько изменит суть вопроса. Например, вместо вопроса: «Какой ежемесячный совокупной доход всех членов вашей семьи?», мы предлагаем респонденту выбрать, какой вариант лучше всего характеризует покупательскую способность семьи из следующих вариантов:

- Можем позволить себе купить виллу или квартиру;

- Можем позволить себе купить автомобиль, но не квартиру;

- Может приобрести бытовую технику, но не автомобиль;

- Можем купить одежду, но не можем себе позволить большую бытовую технику;

- Можем купить продовольственные товары, но не одежду;

- Нашей семье трудно покупать достаточное количество продовольственных товаров. 

Такой подход позволяет более честно получить представление о примерно благосостоянии респондентов, чем спрашивая «в лоб» о конкретных цифрах их доходов.

Следующее важное правило – цените время респондента и спрашивайте только то, что вас действительно интересует. Нам доводилось видеть анкеты, рассчитанные и на 1 и на 1,5 часа интервью.  Помните, что респонденты не роботы, и они способны вдумываться в вопросы и честно давать ответы в течение только очень ограниченного отрезка времени.

Мы рекомендуем чтобы продолжительность личных интервью не превышала 30 минут. Для телефонных интервью – не рекомендуем превышать 15 минут.

Часто заказчику исследования кажется, что если он уж оплачивает это исследование, то нужно «выжать из него по максимуму», что ведет к непомерному раздуванию анкеты. Советуем понять, что даже если интерьеру удастся уговорить респондента отвечать на вопросы в течение 1-1,5 часов, то:

Во-первых, такое интервью дадут люди, у которых на это есть время. Таком образом, мы можем не получить мнение занятых людей, бизнесменом и др.

Во-вторых – чем ближе к концу анкеты, тем более необдуманные ответы будет давать усталый респондент, который будет стремиться быстрее закончить интервью.

Таким образом, увеличение анкеты часто ведет к получению искаженных данных, на основе которых можно сделать неправильные выводы.

Следующий важный момент – обеспечения понятности анкеты для всех сторон, вовлеченных в исследование. Следует убедиться, что как интервьюеры, так и респонденты абсолютно четко понимают все вопросы анкеты и варианты ответов.

Для этого, после разработки черновой версии анкеты, проводят ее пилотное тестирование, проводимое до основного исследования, и удостоверяющее, что в анкете используется корректная терминология и респонденты правильно понимают вопросы. В MagentaConsulting тестирование анкеты проводят четыре интервьюера, под наблюдением старшего консультанта.  Двое из этих интервьюеров -  с большим опытом проведения опросов, и двое – с небольшим опытом (чтобы понять, зависит ли интерпретация анкеты от профессионализма интервьюеров. Если такая зависимость есть, то анкету следует доработать). В ходе пилотного интервью опрашиваются также в равной пропорции мужчины и женщины, городские и сельские жители, чтобы понять, как понимают вопросы разные слои населения. В среднем, при пилотном тестировании анкеты опрашиваются от 10 до 30 респондентов.

После тестирования, анкета дорабатывается, и ее финальная версия утверждается заказчиком.

Следующим важным этапом является тренинг команды интервьюеров, задействованных в проекте. Задача менеджера проекта – убедиться, что абсолютно все интервьюеры точно понимают все вопросы и могут объяснить их респондентам при необходимости.

Контроль качества входных данных

Контроль качества заполняемых анкет является одним из основных условий качества исследования в целом.

В MagentaConsulting заполненные анкеты прежде всего проверяются визуально. Опытный супервайзер зачастую может на глаз определить, имеются ли подозрения в фальсификации или других формах недобросовестного заполнения анкет интервьюерами. Также, супервайзер проверяет логические соответствия ответов на специальные проверочные вопросы.

Затем, около 30% случайно отобранных анкет проверяются путем обзвона респондентов и подтверждения факта проведения интервью, а также задавания нескольких случайно выбранных вопросов.

Если хоть одна анкета интервьюера вызывает сомнение в подлинности, мы проверяем все анкеты, заполненные данным интервьюером. При обнаружении подтверждения фальсификации хоть одной анкеты, все анкеты данного интервьюера аннулируются, интервью переделываются, и мы прекращаем сотрудничество с данным интервьюером.

Следует отметить, что из-за таких строгих мер контроля качества интервью, случаи фальсификации данных у нас -  это редкие исключения. Однако, такие исключения все же иногда происходят, поэтому мы не ослабляем данные меры контроля.

Отметим, что качество работы интервьюеров – это общий риск всех исследовательских компаний, так как соблазн сфальсифицировать анкету велик. Те исследовательские компании, которые не признают данной проблемы – просто дезинформируют своих заказчиков. Только осознание того, что заполненные анкеты проходят строжайшую проверку качества, удерживает интервьюеров от фальсификаций.

Отдельно хотим упомянуть, что при проведении личных интервью клиенты МagentaConsulting все чаще заказывают опросы, проводимые при помощи планшетов(CAPI: ComputerAssistedPersonalInterview). В данном случае у наших супервайзеров есть возможность отследить при помощи GSP координаты перемещения интервьюеров, сколько времени провел интервьюер в конкретном доме или квартире, и даже сколько времени заняли ответы на каждый из вопросов анкеты. Применение данного инструмента делает король качества первичной информации еще более строгим.

Если опрос был проведен при помощи отпечатанных бумажный анкет, MagentaConsulting использует метод двойного ввода информациив базу данных, исключающий механические ошибки при вводе, вызванные человеческим фактором. Также, для проверки валидности данных, мы применяем статистические тесты корреляции и важности.

Такой комплексный подход к планированию и проведению количественных исследований позволяет достичь практически идеального качества полученной информации, и, проанализировав ее, сделать корректные выводы.

Не пеняйте на зеркало

В заключении хотим дать вам дополнительный совет. Будьте морально готовы, что полученная объективная информация будет отличаться от ваших оптимистических ожиданий. Чаще всего заказчики маркетинговых исследований переоценивают роль своей компании и своих продуктов в умах потребителей. Реальность показывает, что зачастую гораздо меньше потребителей знает бренд заказчика, любит и рекомендует этот бренд, с радостью смотрит и запоминает его рекламу. Однако, считаем, что больше шансов добиться успеха есть у тех компаний, кто планирует свои действия исходя из объективной ситуации, по сравнению с теми, кто смотрит на мир через «розовые очки».

Надеюсь, что изложенная информация была для вас полезна, и поможет в дальнейшем избежать ошибок в планировании маркетинговых исследований, постановке целей исследования и координации сотрудничества с исследовательской компанией.

 

Просмотров172 Share Tweet Plus