Влияние шкал на ответы респондентов

Опросы - популярный источник маркетинговых данных. Сегодня существует большое количество готовых исследований. Иногда данные, полученные разными компаниями, могут сильно отличаться. Иногда различия в данных обусловлены выбором различных шкал ответов. Из-за многообразия таких шкал, провести сравнение результатов разных опросов практически невозможно.

Как сравнить результаты разных опросов?

Данная статья предлагает специалистам в области исследования рынка руководство по практическому «переводу» ответов с наиболее часто используемыми шкалами, которое может упростить сравнение полученных результатов.

Это стало возможным благодаря исследованию, проведенному Сарой Долникар (Sara Dolnicar) и Беттина Грюн (Bettina Grün) в 2011 году.

Данные и метод

В эксперименте были использованы данные двух онлайн опросов. Респондентов (n = 2609) просили заполнить две анкеты для оценки имиджа бренда с промежутком приблизительно в две недели. Обе версии анкеты были идентичны, за исключением шкал ответов. Это позволило получить сведения о переводе ответов с одной шкалой в другую на индивидуальном уровне. Собранные данные позволили установить связи между ответами одного и того же респондента в разных шкалах. Вариации ответов не были обусловлены индивидуальными различиями участников или изменением в их восприятии бренда, так как перерыв между двумя оценками был слишком коротким, и за это время не произошло никаких изменений в рекламе или рыночных позициях бренда, которые могли бы повлиять на оценку.

Респонденты оценивали два бренда: McDonald's и Red Rooster. В опросе оценивались пять характеристик: вкусно, быстро, дешево, полезно и удобно.

Тестировались 9 шкал ответов:

1. Полностью бинарная шкала (выбор варианта ответа или отказ от выбора)

McDonald’s – это вкусно    

2. Полностью бинарный:

McDonald’s – это вкусно

Да	Нет

3. 5-балльная шкала Лайкерта с полным описанием

McDonald’s – это

	Полностью согласен	Согласен	Отчасти согласен, отчасти нет	Не согласен	Полностью не согласен
Вкусно

4. 5-балльная шкала Лайкерта с описанием крайних точек

McDonald’s – это

	Полностью согласен (+2)	+1	0	-1	Полностью не согласен (-2)
Вкусно

5. 4-балльная шкала Лайкерта с полным описанием

McDonald’s – это

	Полностью согласен	Согласен	Не согласен	Полностью не согласен
Вкусно

6. Монополярная 4-балльная шкала с полным описанием

McDonald’s – это

	Совсем нет	Немного	Довольно	Очень
Вкусно

7. Биполярная 7-балльная шкала с полным описанием

McDonald’s – это

	Очень	Довольно	Немного	Ни то, ни то	Немного	Довольно	Очень
Вкусно								Невкусно

8. Биполярная 7-балльная шкала с описанием крайних точек

McDonald’s – это

	Очень (+3)	+2	+1	0	-1	-2	Очень (-3)
Вкусно								Невкусно

9. Биполярная 6-балльная шкала с полным описанием

McDonald’s – это

	Очень	Довольно	Немного	Немного	Довольно	Очень
Вкусно							Невкусно

Результаты

Перевод ответов из полностью бинарной шкалы

В рамках первого анализа были получены соответствия между ответами полностью бинарной шкалы и всех прочих шкал с полным описанием, включенных в эксперимент. При этом в контрольной группе также был проведен перевод ответов внутри самой полностью бинарной шкалы (строка 1 в табл. 1) с целью определить базовый уровень нестабильности. На рис. 2 представлены итоги: в верхнем ряду показано, как респонденты, ответившие «да» в первый раз (в полностью бинарном шкале), отвечали во второй раз; при этом во второй раз были использованы следующие шкалы: полностью бинарный (столбец 1), утвердительный бинарный (столбец 2), 4-балльная шкала Лайкерта с полным описанием (столбец 3), 5-балльная шкала Лайкерта с полным описанием (столбец 4), монополярная 4-балльная шкала с полным описанием (столбец 5), биполярная 6-балльная шкала с полным описанием (столбец 6) и биполярная 7-балльная шкала с полным описанием (столбец 7). В нижней строке показано, как респонденты перевели свои ответы «нет» в вопросе с полностью бинарной шкалой в первом опросе в другие ответы в вопросах с разными шкалами во втором опросе. Высота планки соответствует доле ответов по каждому варианту.

Например, как указано в столбце 3 на рис. 2, только 22 % респондентов, выбравших «да» в первом опросе, отметили «полностью согласен» во втором при использовании 4-балльной шкалы Лайкерта с полным описанием; при этом другие 68 % отметили «согласен». Из тех, кто выбрал «нет» в первый раз, 16 % отметили «полностью не согласен», и 59 % – «не согласен». 

 Базовый уровень нестабильности 

 Базовый уровень нестабильности для полностью бинарной шкалы составляет около 15%. Этот показатель отражает долю респондентов, изменивших свои ответы в ходе повторной оценки в тех случаях, когда шкала ответов оставалась идентичной (см. столбец 1). 

Асимметричное использование утвердительной бинарной шкалы 

 В утвердительной бинарной шкале респонденты отвечали на вопросы ассиметрично. Они реже отмечали вариант «да» в сравнении со шкалой, в которой необходимо было сделать выбор из предложенных вариантов (как в полностью бинарной шкале). Как показано на схеме в столбце 2, только 63% ответов «да» в полностью бинарной шкале сохранились и в утвердительной бинарной шкале – расхождение гораздо выше, чем базовый уровень нестабильности в 14 %. 

С другой стороны, 92% ответов «нет» остались неизменными. Для специалиста это означает, что ответ «да» несет в себе более сильный смысл в утвердительной бинарной шкале, а ответ «нет» не всегда должен интерпретироваться как отрицательный, вместо этого он может лишь отражать стремление респондента уйти от ответа. 

 Ответы «да» по 4-балльной шкале Лайкерта с полным описанием 

4-балльная шкала Лайкерта отлично подошла для фиксации ответов «да» в полностью бинарной шкале. Общее число полученных ответов «полностью согласен» (22 %) и «согласен» (68 %) оказалось практически идентичным количеству ответов «да» в полностью бинарной шкале. Отклонение показателей остается в пределах базового уровня нестабильности (сумма 2 % и 8 % лишь чуть ниже 14 %). Те же результаты были получены для ответов «нет». Перевод из полностью бинарной шкалы в 4-балльную шкалу Лайкерта с полным описанием непротиворечив, благодаря чему практическое сравнение результатов в обоих случаях проходит относительно легко. При этом интересно отметить, что большинство ответов «да» переходят в более консервативный вариант «согласен», а не «полностью согласен». 

Наличие центральной точки на шкале осложняет перевод 

 Введение центральной точки на 5-балльной шкале Лайкерта с полным описанием несколько усложняет перевод результатов из полностью бинарной шкалы. Как можно увидеть в столбце 4, 21 % ответов «да» и 36 % ответов «нет» смещаются в зону «отчасти согласен, отчасти не согласен». Следовательно, лишь 73 % исходных ответов «да» остаются положительными на 5-балльной шкале Лайкерта с полным описанием (сумма 55 % и 18 %), и лишь 52 % исходных ответов «нет» остаются отрицательными (сумма 14 % и 38 %). Это означает, что эмпирические результаты, полученные с использованием 5-балльной шкалы Лайкерта с полным описанием, представляют заниженные данные по утвердительным ответам респондентов в сравнении с полностью бинарной шкалой и 4-балльной шкалой Лайкерта. 

 Перевод ответов из полностью бинарной шкалы в монополярную 4-балльную шкалу с полным описанием (столбец 5) показывает, что респонденты способны вполне эффективно передавать положительные ответы (три положительных варианта ответа по монополярной 4-балльной шкале, а именно: «немного», «довольно» и «очень» – охватывают 96 % исходных ответов «да»). Однако этого не происходит с отрицательными ответами: 53 % из них сместились в зону «немного», и лишь 38 % респондентов выбрали вариант «совсем нет». Это означает, что – по меньшей мере в контексте оценки имиджа бренда – использование монополярной 4-балльной шкалы вызывает существенное смещение в сторону положительных ответов. 

При переводе из полностью бинарной шкалы в биполярную 6-балльную шкалу с полным описанием уровень соответствия положительных ответов остается довольно высоким. Из тех, кто выбрал вариант «да» в первом случае, 91 % также выбрали один из трех положительных ответов во втором. Соответствие отрицательных ответов менее высоко: лишь 62 % респондентов, отметивших «нет» в полностью бинарной шкале, выбрали один из трех негативных вариантов по биполярной 6-балльной шкале с полным описанием. На практике это означает, что результаты такой шкалы характеризуются некоторым смещением в сторону положительных ответов, если сравнивать с простыми шкалами выбора между «да» и «нет». 

И наконец, перевод из полностью бинарной шкалы в биполярную 7-балльную шкалу с полным описанием, в которой есть центральная точка, привел к тем же результатам, что и в случае с 5-балльной шкалой Лайкерта с полным описанием. Ответ «ни то, ни другое» набрал значительное количество ответов, снизив долю положительных до 76 % (17 % тех, кто выбрал «немного», плюс 32 % тех, кто выбрал «довольно», и 27 % тех, кто выбрал «очень») и долю отрицательных до 48 %. 

В табл. 2 приведены данные по доле положительных, отрицательных и общих соответствий между разными шкалами первого опроса. 

В целом эти результаты указывают на довольно существенные отклонения в ответах в зависимости от шкалы вопросов. При изучении перевода ответов в рамках данного исследования также были выявлены некоторые системные отклонения. Утвердительная бинарная шкала вызывает тенденцию к уклонению от ответа, и потому при ее использовании всегда следует ожидать более низких показателей положительных ответов, чем в случае с бинарной шкалой с вынужденным выбором. Для всех прочих шкал склонность к выбору положительных ответов оказывается выше, чем склонность к выбору отрицательных, а шкалы с центральной точкой на шкале оценки смещают положительные и отрицательные ответы респондентов к нейтральной средней позиции. Практические результаты перевода, представленные в таблице 1, могут служить руководством по сравнению результатов, полученных при использовании разных шкал в реальных условиях. 

Перевод ответов из шкалы без центральной точки в шкалу с центральной точкой 

Так же сравнивалась 4-балльную шкала Лайкерта с полным описанием без центральной точки и 5-балльную шкала Лайкерта с полным описанием и центральной точкой (на рис. 3 слева показаны результаты перевода), а также биполярная 6-балльная шкала с полным описанием без центральной точки и биполярная 7-балльная шкала с полным описанием и центральной точкой (справа). При сравнении полученных результатов были сделаны следующие ключевые выводы.

Таблица 2

Доля повторений положительных и отрицательных ответов и сводные результаты

	Положительные ответы (в %)	Отрицательные ответы (%)	Все ( в %)
Полностью бинарная шкала	86	83	85
Утвердительная бинарная шкала	63	92	75
4-балльная шкала Лайкерта с полным описанием	89	76	84
5-балльная шкала Лайкерта с полным описанием	73	53	65
Монополярная 4-балльная шкала с полным описанием	96	38	72
Биполярная 6-балльная шкала с полным описанием	91	62	79
Биполярная 7-балльная шкала с полным описанием	76	48	65

При переводе из 4-балльной шкалы Лайкерта в 5-балльную было отмечено, что варианты «полностью согласен» редко переходят в зону «отчасти согласен, отчасти нет»; хотя лишь 52 % респондентов повторно выбирали вариант «полностью согласен». Для всех прочих вариантов исходных ответов показатель смещения к центральной зоне довольно значимый: 27 % перешли к ней от варианта «согласен», 42 % – от «не согласен», и – что самое удивительное – 18 % сместились в центр от варианта «полностью не согласен». Практический вывод, который можно сделать на основе этих данных, состоит в том, что нейтральная зона становится удобным вариантом ответа для респондентов, которые не полностью согласны с представленным утверждением. А достаточно высокий показатель перехода от варианта «полностью не согласен» к центральной точке наглядно демонстрирует невозможность предположить, что респонденты, неуверенные в своем ответе, при отсутствии нейтрального варианта выбирают ответ случайным образом. Если судить по этим результатам, предпочтительнее отказываться от центральной точки на шкале оценки, по крайней мере в ситуации оценки имиджа бренда, если выбор стоит между 4-балльной и 5-балльной шкалой.

При анализе перевода ответов из биполярной 6-балльной шкалы с полным описанием без центральной точки в 7-балльную складывается иная картина: лишь некоторые респонденты переходят от крайних точек в центральную зону (6 % для «очень» и 2 % для «очень (невкусно)»). Переход от «довольно (невкусно)» и «довольно (вкусно)» симметричен – около одной трети респондентов переключаются на нейтральный вариант. Асимметрия наблюдается лишь для исходных вариантов «довольно (невкусно)» – лишь 10 % респондентов сместились в центр – и «довольно (невкусно)» – 18 %. Из-за общего существенного смещения в сторону нейтральной позиции (20 %) шкалу с центральной точкой, по всей видимости, нельзя признать предпочтительным вариантом в контексте оценки имиджа бренда, в особенности для длинных шкал. 

Перевод ответов из шкалы Лайкерта в биполярные шкалы 

На рис. 3 представлен перевод ответов из 4-балльной шкалы Лайкерта с полным описанием в 5-балльную шкалу Лайкерта с полным описанием (слева) и из биполярной 6-балльной шкалы с полным описанием в биполярную 7-балльную шкалу с полным описанием (справа). Чтобы правильно интерпретировать представленные здесь данные, мы рассчитали базовый уровень нестабильности для каждой из шкал. Что касается полностью бинарной шкалы, показатель базового уровня нестабильности соответствует доле респондентов, которые не выбрали один и тот же вариант ответа. 

Базовый уровень нестабильности составляет 29 % для 4-балльной шкалы Лайкерта с полным описанием, 35 % для 5-балльной шкалы Лайкерта с полным описанием, 52 % для биполярной 6-балльной шкалы с полным описанием и 53 % для биполярной 7-балльной шкалы с полным описанием. Даже если принять во внимание мнимую стабильность ответов, возникающую при случайном выборе ответа (как описано у Шмиттлейна, 1984), базовый уровень нестабильности возрастает с увеличением количества предлагаемых вариантов ответа, поэтому исключительно бинарные шкалы сохраняют наиболее высокий уровень стабильности по сравнению с остальными. Эти отличия сами по себе имеют высокую практическую значимость. И хотя многие сторонники многовариантных шкал утверждают, что необходимо более двух вариантов ответа для фиксации различных оттенков смысла, ценой такой точности становится снижение надежности, что приводит к фундаментальному вопросу о валидности результатов подобных оценок. 

При переходе от 4-балльной шкалы Лайкерта с полным описанием к биполярной 6-балльной шкале с полным описанием ответы респондентов в целом совпадают с ожидаемыми: ответы, которые в первом случае попадали в крайние точки на шкале, во втором распределились уже по четырем зонам (двум положительным и двум отрицательным). В случае отрицательных ответов два крайних варианта содержат 74 % всех исходных ответов «полностью не согласен», а в случае положительных – 84 % всех исходных ответов «полностью согласен». Тот же принцип сохраняется и в случае двух центральных вариантов 4-балльной шкалы. Единственным неожиданным результатом стал показатель в 29 % от числа тех, кто выбрал вариант «не согласен» по 4-балльной шкале и «немного» по 6-балльной, сменив, таким образом, отрицательную оценку на положительную.

При переходе от 5-балльной шкалы Лайкерта к биполярной 7-балльной шкале были получены схожие результаты: крайние варианты ответов по 7-балльной шкале охватывают 92 % исходных ответов «полностью не согласен» и 79 % исходных ответов «не согласен». Здесь также отмечается переключение на положительную оценку: 16 % ответов «не согласен» перешли в зону «немного» во втором случае. Кроме того, существенный сдвиг был замечен в отношении исходного ответа «отчасти согласен, отчасти нет».

Перевод ответов из шкал с описанием крайних точек в шкал с полным описанием

Изучив ответы по 5-балльной шкале Лайкерта и биполярной 7-балльной шкале с полными описаниями в сравнении с ответами по 5-балльной шкале Лайкерта и биполярной 7-балльной шкале с описаниями крайних точек соответственно и были рассчитаны показатели базового уровня нестабильности: 35 % для 5-балльной шкалы Лайкерта с полным описанием, 53 % – для биполярной 7-балльной шкалы с полным описанием, 46 % для 5-балльной шкалы Лайкерта с описанием крайних точек и 52 % для биполярной 7-балльной шкалы с описанием крайних точек.

Данная работа включает в себя анализ целого ряда крайних вариантов ответа. Если описаны только крайние точки шкалы и это описание служит указателем для респондентов, то можно ожидать, что большее количество опрошенных выберет эти варианты ответа.

Данное предположение подтверждается на практике: в рамках этого исследования только 20 % опрошенных выбрали крайние варианты ответа в 5-балльной шкале Лайкерта с полным описанием по сравнению с показателем в 27 % для 5-балльной шкалы Лайкерта с описанием крайних точек (χ² = 69, df = 1, p-значение < 0,001); и всего 19 % – по биполярной 7-балльной шкале с полным описанием по сравнению с показателем в 21% для биполярной 7-балльной шкалы с описанием крайних точек (χ² = 7,5, df = 1, p-значение = 0,006). Эти отличия являются значимыми для обеих шкал.

На рис. 4 представлены результаты перевода ответов. В целом показатель переключения при переходе от шкалы с полным описанием к шкале с описанием крайних точек составляет 42 % для 5-балльной шкалы и 54 % для 7-балльной. Эти результаты показывают, что уровень переключения при переходе от 7-балльной шкалы практически идентичен уровню переключения в тех случаях, когда респонденты дважды отвечают на вопросы в одной и той же шкале (тест для пропорций по двум базовым уровням нестабильности и параметру переключения указывает на то, что они не являются статистически значимыми: χ² = 1,5, df = 2, p = 0,477).

На основе анализа представленных переходов были сделаны следующие выводы:

Приблизительно треть респондентов, которые сначала отвечали по 5-балльной шкале Лайкерта с описанием крайних точек, а затем по 5-балльной шкале Лайкерта с полным описанием, перешли от ответов «полностью согласен» и «полностью не согласен» к «согласен» и «не согласен» соответственно (рис. 4 слева).

Однако из тех респондентов, которые сначала выбрали варианты «согласен» или «не согласен», лишь немногие перешли к ответам «полностью согласен» (8 %) или «полностью не согласен» (13 %). Эти результаты могут служить практическим подтверждением ранее озвученного предположения о том, что шкалы с описанием крайних точек мотивируют респондентов выбирать крайние варианты ответа.

На рис. 4 справа показан переход от биполярной 7-балльной шкалы с описанием крайних точек к биполярной 7-балльной шкале с полным описанием. Здесь наблюдается та же тенденция в ответах, что и в случае с 5-балльной шкалой Лайкерта, единственное отличие состоит в том, что уровень переключений в целом оказывается выше – это соответствует более высокому показателю базовой нестабильности данной шкалы. 

Выводы

Главным результатом вышеизложенной работы стало представление о последствиях выбора той или иной шкалы при составлении опросной анкеты. Сделанные выводы позволили разработать стратегии сравнения ответов респондентов с разными шкалами. Вторым значимым результатом стало более полное понимание того, какие модели поведения респондентов, характерные для разных шкал, влияют на итоги исследования и должны быть учтены при разработке опросных анкет. 

Исключительно бинарная шкала характеризуется очень низким уровнем базовой нестабильности (14 %) по сравнению с другими форматами с большим количеством вариантов ответа. Это важное наблюдение, которое ставит под вопрос валидность многовариантных шкал при проведении оценки имиджа бренда.

Уровень положительных ответов снижается в двух случаях: если респонденту предоставить "свободу ответа" и если в шкале присутствует средняя центральная точка. 

Напротив, монополярная шкала повышает количество положительных ответов. 

Многовариантные 7-балльные шкалы (Кокс, 1980) отличаются высоким уровнем нестабильности, и их использование может привести к генерации бесполезных данных вместо получения детальной информации, в результате чего снижается общая валидность оценки по сравнению с простым исключительно бинарным форматом.

Скачать оригинальную статью можно тут: Translating between survey answer formats (2013), Journal of Business Researc (pdf, 937 Kb)

Оставить свои комментарии по затронутой теме Вы можете на наших страницах в Facebook и Вконтакте.

Оригинал статьи www.sciencedirect.com
Перевод статьи Агентство маркетинговых исследований FDFgroup