Количественные исследования

Количественные исследования в связке с глубинными интервью помогают валидировать идеи и гипотезы на выборках достаточного размера. По данным из опроса можно узнать о том, что у аудитории «нет тяги», еще до того, как вы потратили инвестиции, чтобы проверить это на практике. Опросы могут подсветить сегменты, которые проявляют наибольший интерес к продукту и функции, которые важны пользователям. Но если провести опрос некачественно, то вы получите ложные выводы. В этом разделе приведены рекомендации и к проведению количественных исследований.

По выборке можно судить о всей генеральной совокупности, если выборка репрезентативная. Репрезентативность достигается за счет достаточного размера выборки и случайного отбора. Например, чтобы узнать средний рост всех россиян не нужно измерять рост у всего населения. Достаточно измерить рост небольшой репрезентативной части и аппроксимировать выводы на всех. Показатель по выборке всегда немного будет отличаться от показателя по генеральной совокупности на ошибку выборки. Чем больше вариация и чем меньше размер вашей выборки, тем больше ошибка. Размер ошибки выборки можно оценить при помощи формул.

Если коротко, то вам нужно по 100 респондентов на каждый сегмент. Если вы хотите сравнить два сегмента: например, мужчин и женщин, значит вам потребуется 200 респондентов.

Почему 100 на сегмент? Потому что это хороший баланс между стоимостью и точностью. Дальнейшее повышение размера выборки будет линейно увеличивать стоимость исследования, ошибка выборки при этом сократится непропорционально.

Учитывая, что средняя цена респондента порядка 15$ аналитики должны всегда взвешивать ценность от прироста точности и цену этого прироста. Например, ошибка на выборке 100 респондентов будет +-9%, а на выборке в 200 +-7%.

Случайный отбор — это важнейший элемент репрезентативности. Случайный отбор — это когда у каждого элемента генеральной совокупности одинаковая вероятность попадания в выборку. Возвращаясь к нашему примеру с ростом россиян — это значит, что нам так нужно отбирать 100 участников в выборку, чтобы в нее с одинаковой вероятностью могли попасть и высокие карелы и низкие пигмеи.

Самая распространенная ошибка — это формировать выборку «по удобству». Например, выйти во двор и измерить рост всех, кто попадется. Если в вашем дворе баскетбольная площадка, то результат измерений предрешен c ошибкой в большую сторону.

На практике идеально случайных выборок не бывает, но к ним нужно стремиться. Для этого социологи разработали различные способы отбора: перемешивать телефонные номера случайным образом (кстати, даже в таком случае в выборке не будет представлены те, у кого нет телефона) или случайно перемешивать номера квартир. По-квартирный обход тоже сулит ошибки. Если интервьюеры будут проводить опрос в рабочие часы, то выборка будет смещена в пользу пенсионеров, домохозяек и домохозяинов, которых легче застать в дневные часы. В исследованиях с самыми высокими стандартами случайный список квартир обозначается заранее и респонденты посещают их в разные часы, пока не застанут дома всех из запланированных объектов.

Дополнительный материал:

Поквартирный опрос
Наиболее репрезентативный метод социологических опросов из имеющихся. Применяется для переписи населения и в научных исследованиях с высокими стандартами. Для бизнес целей не распространен из-за дороговизны.

Телефонный опрос
Основной метод опросов до распространения интернета. Средний уровень стоимости и качества. От 300 руб. за анкету.

Интернет опросы
Самый доступный вид опросов. Точность не сильно ниже, чем у телефонных опросов, зато цена кратно ниже. На «Яндекс Взгляде» цена анкеты достигает 30 руб. Самый распространенный метод сбора данных для бизнеса.

Квоты — это еще один инструмент для обеспечения репрезентативности. Суть квот в том, чтобы обеспечить выборку, которая по структуре совпадает с генеральной совокупностью.

Например, люди старшего возраста менее склонны участвовать в опросах, поэтому в какой то момент вам потребуется остановить приём ответов от молодых респондентов и продолжать «набирать» взрослую аудиторию. Если вы этого не сделаете, то мнение молодой аудитории будет представлено сильнее, чем мнение старшей.

Если соблюдение квот невозможно, то применяется «взвешивание». Голоса мало представленных групп умножаются на величину непредставленности этой группы. Например, если доля пенсионеров в выборке в два раза меньше, чем в генеральной совокупности, то ответ каждого пенсионера при подсчете ответов умножается на два, чтобы это компенсировать.

Те ответы, которые мы получаем во многом зависят от того, КАК мы спрашиваем:

Придерживайтесь следующих правил при составлении анкеты, чтобы получить объективные ответы:

1. Чем проще, тем лучше. Проверяйте анкеты на людях, которые не участвовали в их составлении. Вероятно многие вопросы и ответы будут им непонятны. Упрощайте до тех пор, пока ваша бабушка не сможет пройти анкету. Когда придумываете вопросы представляйте человека, который отвечает на них ведя в машину в пробке с радио играющим на фоне и сигаретой в руке.
   
   
2. Не закладывайте нужный ответ в вопрос. Вопрос «Вы купите этот прекрасный, качественный товар Х» даст вам гораздо более позитивные результаты, чем вопрос «Насколько вероятно, что вы купите или НЕ купите товар Х»?
   
   
3. Будьте внимательны к тому, что спрашиваете. Другими словами будьте буквальны. Например вопрос «Вы хотите купить Х?» не несет никакой пользы. Большинство согласятся с тем, что хотят купить мерседес или вертолет, но это не означает, что у них есть реальная возможность и намеренье это сделать.
   
   
4. Перемешивайте варианты ответов. Верхние варианты ответов в списке всегда набирают чуть больше голосов. Не спекулируйте на этом — перемешивайте варианты ответов для каждого респондента в случайном порядке. У большинства сервисов для опросов есть функция «ротации ответов».
   
   
5. Добавляйте вариант «Затрудняюсь ответить». Если его не будет, то респонденты будут вынуждены тыкать куда попало, если не знают, что сказать.
   
   
6. Варианты ответа должны быть одинаковыми по сущности. «Куда вы ходили в последнее время?» В макдональдс, КФЦ, теремок, церковь, аквапарк, аэропорт — это очевидно плохая идея, но к ней часто прибегают.

Хорошая идея — придерживаться стандартных формулировок, которые прошли обточку многими поколениями социологов:

✅ Скачать шаблон анкеты для количественных исследований