Сколько человек должны ответить на этот вопрос?

Один из этапов проведения опроса – определение того, сколько человек должны ответить на все вопросы анкеты. Но можно посмотреть на этот этап с иной стороны - посчитать, сколько человек должны ответить на каждый из вопросов анкеты. Оптимизируя таким образом выборку, можно добиться значительного сокращения общей продолжительности опроса.

Стандартная выборка для обычного опроса составляет около 400 респондентов. Количество же респондентов, которые должны ответить на каждый из вопросов для получения статистически значимых результатов может варьироваться от нескольких человек до нескольких тысяч.
Выборка для каждого вопроса, определяется на основе дисперсии в ответах. Например, при тестировании двух рекламных роликов (для определение лучшего) первые пять респондентов предпочли ролик А ролику Б. Таким образом, существует 95%-ная вероятность того, что ролик А предпочтут все потребители, и потому работа завершена. С другой стороны, при просьбе оценить привлекательность бренда по каждой из 15 характеристик, используя 5-ти бальную шкалу, получим оценки, варьирующиеся от 3,0 до 3,5 (довольно часто встречающийся уровень дифференциации). Для наиболее точного определения различий между этими 15 характеристиками потребуется опросить около 5000 человек.
При проведении исследования можно столкнуться с любым вариантом между этими крайностями. В связи с этим представляется целесообразным отказаться от определения выборки для всего опроса в целом и сосредоточиться на определении выборки для отдельных вопросов.
Проблема в том, что довольно сложно заранее определить, какая выборка понадобится для каждого из вопросов. Решением является применение итеративного подхода к проведению опроса - не устанавливать окончательные квоты до тех пор, пока не будет опрошено достаточное количество респондентов для определения размера выборки. Сделать это довольно легко. Необходимо лишь разослать свой опрос не в один заход, а в два. Первую партию разослать, например, сотне респондентов. Затем приостановить опрос. Первый этап позволит получить приблизительные требования к выборке для каждого из вопросов. После этого будет возможно установить квоты по каждому из вопросов для второй партии рассылки.
Остается еще несколько вопросов, которые необходимо обдумать. Например, что делать, если необходимо проанализировать тенденции ответов на вопрос на уровне отдельных демографических подгрупп. К примеру, сравнить мнения мужчин и женщин или рассмотреть различия в ответах респондентов разных возрастов. В таком случае для каждой из подгрупп понадобится отдельная минимальная выборка. Вполне возможно, что в итоге для некоторых вопросов потребуется увеличить базовую выборку в два или даже четыре раза.
Если проделать эту работу для всего опроса, то получится подобная диаграмма:

В этом примере можно увидеть, что для некоторых вопросов необходима гораздо более объемная выборка, чем для остальных.
Если опросить всего, скажем, 400 респондентов, то по некоторым вопросам соберется достаточно данных уже после первой рассылки, а по некоторым потребуется получить ответ только от 1 из n-го количества респондентов.

Так как же на практике определить размер выборки для отдельного вопроса?

Существует довольно простая формула, которую можно использовать при вычислении минимального размера выборки для отдельных вопросов:
Минимальный размер выборки = [(Среднеквадратическое отклонение x Z) / Допустимая погрешность]2
Z – это фактор, определяющий уровень статистической достоверности, который вы хотите получить. Для 90 % я бы порекомендовал Z = 1,64, а для 95 % Z = 1,96.
Как вы можете видеть, в этой формуле всё связано со среднеквадратичным отклонением и степенью вариативности ответов, на основе которой определяется допустимая погрешность. В приведенном выше примере оценки характеристик бренда, при общей дисперсии в ответах 0,5 и при наличии 15 характеристик для оценки, «допустимая погрешность» составит около 0,03 (0,5/15).