Телефонные и онлайн опросы: влияние метода на результаты исследования

Маркетинговые исследования все больше уходят в онлайн. Такие опросы, как правило, дешевле и в них проще задавать вопросы, которые сложно или невозможно задать в традиционном опросе с участием интервьюера.
Но результаты опроса, проведенного в интернете, зачастую отличаются от результатов уличного или телефонного опросов. Это обусловлено влиянием метода на ответы респондентов. В связи с этим могут возникнуть вопросы: как отслеживать тренды в ответах после изменения метода и как обрабатывать результаты опросов, проведенных различными методами.
Чтобы выяснить, как различные методы влияют на ответы респондентов, компания Pew Research Center в прошлом году провела масштабное исследование. В данной статье описаны полученные результаты.

Об исследовании

Исследование проводилось с применением репрезентативной панели American Trends. Панелисты, обычно проходящие опросы по интернету, были случайным образом распределены на две группы: для прохождения телефонного опроса (N=1 494 завершенных анкет) и онлайн опроса (N= 1509 заполненных анкет). Для уверенности, что все различия обусловлены именно влиянием метода, каждая группа респондентов была тщательно взвешена для обеспечения репрезентативности.
Всего в исследовании приняли участие 3 003 респондента. Опросы проводились с 7 июля по 4 августа 2014 года.

Выявленные различия

Анкета состояла из 60-ти вопросов. Различия были обнаружены в 56-ти из них, но были выражены слабо. Различие среднего составило 5,5 процентных пунктов (п.п.), медианы — 5 п.п. . Диапазон различий не превысил 18 п.п.. В восьми вопросах разница составила более 10 п.п. Большинство из 24 ненулевых различий, не превышающих 5 п.п., не имеют статистический значимости и могут быть объяснены погрешностью выборки. Наибольшее расхождение наблюдалось в ответах на три группы вопросов: о качестве семейной жизни, о качестве общественной жизни и о дискриминации некоторых социальных групп. Причём интервьюируемые по телефону сообщали о более высокой удовлетворенности по сравнению с анкетируемыми через Интернет.
Интервьюируемые по телефону были более склонны к мнению, что представители сексуальных меньшинств, латиноамериканцы и негры часто подвергаются дискриминации, чем анкетируемые через Интернет. Значимых различий в ответах на вопрос и дискриминации женщин выявлено не было.
Анкетируемые через Интернет значительно чаще оценивали своё отношение к политикам как «крайне неодобрительное», особенно по отношению к партии с противоположными респонденту взглядами.
Интервьюируемые по телефону чаще сообщали о том, что регулярно общаются с соседями, считают свой район «превосходным» местом для жизни, и оценивают своё состояние здоровья как «превосходное». Анкетируемые через интернет чаще сообщали, что не могли позволить себе приобрести продукты питания или оплатить необходимую медицинскую помощь за последние 12 месяцев.
Интересно, что не все респонденты подвержены влиянию метода в равной степени. Иногда это связано с когнитивными факторами. Например, хорошо образованные респонденты лучше воспринимают письменные вопросы, чем малообразованные. В других случаях, одни респонденты эмоциональнее реагируют на некоторые вопросы, чем другие. Например, влияние метода при ответах на вопросы о финансовых затруднениях может быть выражено сильнее у людей с небольшими доходами, которые с большей вероятностью встречались с подобными трудностями.
Многие распространенные вопросы не подвержены влиянию метода. В ответах на вопросы о действиях, совершенных «вчера», например, об узнанных новостях из газет/телевидения/радио, звонках родственникам или друзьям, полученных/отправленных письмах, о занятиях спортом не было выявлено статистически значимых различий.
Одинаковые результаты так же были получены в группе вопросов на религиозные темы, хотя анкетируемые через интернет чаще отвечали, что посещают религиозные службы «редко» или «иногда».

Почему метод имеет значение?

Человек ощущает себя по-разному при заполнении анкеты в интернете и отвечая на вопросы другого незнакомого человека.
Например, интервьюер может помочь респондентам лучше сконцентрироваться на исследовании, уточнить неясные формулировки или приободрить при прохождении сложных вопросов.
В то же время социальное взаимодействие в ходе телефонного или уличного опроса влияют на респондента и его ответы.
Возможно, респонденту захочется показать себя перед интервьюером более позитивным человеком, чем он есть на самом деле, или преувеличить свою социальную значимость, или приуменьшить черты, которые, по его мнению, могут привести к неодобрению или осуждению. В предыдущем исследовании компании Pew Research Center было выявлено, что люди преуменьшают свою приверженность к наркотикам или алкоголю и преувеличивают своё участие в благотворительных программах и помощи другим людям. Это явление часто называют «социально приемлемое смещение». Разным людям это свойственно в большей или меньшей степени, что приводит к дополнительному смещению результатов.
Большинство наиболее выраженных различий, выявленных в данном исследовании, наблюдалось в вопросах, где как раз социально приемлемое смещение и могло повлиять на ответы.
Из 21 вопроса, разница в которых составила не менее 7 процентных пунктов, в 7-ми необходимо было оценить политических деятелей, в 4-х затрагивалась личная жизнь, включая общую удовлетворенность жизнью, состояние здоровья и финансовые затруднения, и в 3-х задавались вопросы о дискриминации различных меньшинств. Различия так же были обнаружены в ответах на вопросы о разговорах с соседями и посещении религиозных служб.
Разница в ответах о взаимодействии с соседями составила 11 п.п.. Разница в оценке частоты посещения религиозных служб составила 7 процентных пунктов.
Не все вопросы, затрагивающие деликатные темы или темы, относящиеся к социально приемлемому или неприемлемому поведению, подвержены влиянию метода. Например, не было выявлено значимых различий в оценках респондентов своего личного счастья. Не различались и доли респондентов, сообщивших о своей работе в качестве волонтера в прошлом году, или о том, общались ли они вчера с друзьями/родственниками, были ли вчера в гостях у друзей/ родственников.
Также не было выявлено различий в вопросах о приверженности респондента к той или иной религии, о том, считает ли респондент веру в бога необходимой для воспитания морали в человеке или о том, можно ли считать религию важной частью жизни.
Кроме всего прочего, социальная приемлемость – не единственная причина различий, связанных с использованием разных методов. Опрос подразумевает осознание слов и предложений для понимания вопроса и выбор подходящего варианта ответа. В связи с этим, канал, по которому задаётся вопрос и получается ответ, также очень важен. Сложный вопрос с большим количеством ответов может быть трудным для восприятия по телефону, его легче читать на бумаге или с экрана. Последний вариант ответа, произнесенный интервьюером, запоминается лучше и поэтому его выбирают чаще. Это явление известно как «эффект новизны». Данный эффект менее выражен при заполнении анкет, в которых респонденты могут видеть сразу все варианты ответа и перечитать вопрос в случае необходимости.
При опросе по телефону, на человека может подсознательно давить чувство необходимости оперативно давать ответы. В связи с этим респондент может быть менее сосредоточен, вспоминать события прошлого «на скорую руку» и давать ответы, отличные от тех, которые он мог бы дать, заполняя анкету в интернете без участия интервьюера. В то же время, отсутствие интервьюера увеличивает вероятность прохождения опроса без должного вовлечения, что приводит к некачественным данным.
В целом, было найдено немного доказательств, что когнитивные процессы подобного характера вызывают различия в ответах, связанных с использованием метода.

Различия в ответах на политические темы

Наиболее значимые различия наблюдались при оценке политических деятелей . Мнения респондентов были более отрицательными при опросе через Интернет.
Хиллари Клинтон является хорошим примером этого явления. При опросе по телефону 19% респондентов сообщили, что они крайне отрицательно оценивают Клинтон. При анкетировании через Интернет доля таких ответов увеличивается до 27%.
Также была выявлена тенденция респондентов, отвечавших на вопросы по телефону, чаще давать крайне положительные оценки: Мишель Обаме (68%/59%), Джорджу Бушу-младшему (50%/43%), Митчу Макконнеллу (25%/17%) и Гарри Рейду (29%/18%). В отличие от оценки «крайне отрицательно», положительные оценки не зависели от партийной принадлежности респондентов.

Влияние метода опроса на оценку политических деятелей также проявился и в ином формате — «Индикаторе одобрения», оценке по шкале от 0 до 100. В Интернете доля респондентов, оценившая политических деятелей «крайне неодобрительно», была больше, чем по телефону. При оценке лидеров партий в Конгрессе по шкале от 0 до 100, 44% респондентов в онлайн-опросе оценили лидеров республиканской партии в диапазоне от 0 до 33, что расценивается как «холодная» или «отрицательная» зона шкалы. При опросе по телефону такой ответ дали 31% респондентов. Разница в 7 процентных пунктов существовала и с лидерами демократической партии (32% по телефону, 39% в Интернете). Как и с оценками конкретных деятелей, в большей степени методологическое различие проявлялось у приверженцев противоположных партий.
Применение числовой шкалы выявило ещё одно различие между опросами по телефону и через Интернет. Интервьюируемые по телефону чаще выбирали ответ в средней зоне шкалы (между 34 и 66), чем анкетируемые в Интернете. При оценке лидеров демократической партии в Конгрессе 36% участников онлайн-опроса выбрали ответ в средней зоне, тогда как среди интервьюируемых по телефону эта доля составила 45%.
Влияние метода опроса было выявлено и при ответах на политические вопросы. Например, при онлайн-опросе 45% респондентов ответили, что США должны меньше вмешиваться в Израильско-Палестинский конфликт, в то время как по телефону доля таких ответов составила 37%.
В более глобальных политических вопросах анкетируемые через Интернет с большей неохотой поддерживали вовлечение США в глобальную экономическую систему. 34% опрошенных по телефону сказали, что дальнейшее вовлечение США в глобальную экономическую систему было бы плохим развитием событий. Среди анкетируемых через Интернет эта доля составила 39%.
Наблюдалось крайне слабо выраженное методологическое различие в ответах на вопросы о государственной антитеррористической политике. Примерно равные доли (50% по телефону и 51% через Интернет) респондентов ответили, что власти слишком сильно ограничивают гражданские свободы.

Различия в вопросах о дискриминации

Было выявлено значительное различие в ответах на вопросы о дискриминации различных социальных групп, в том числе сексуальных меньшинств, латиноамериканцев и негров. Интервьюируемые по телефону чаще отвечали, что представители этих групп подвергаются «выраженной» дискриминации, чем анкетируемые через Интернет. Степень влияния метода зависела от расово-этнической принадлежности респондентов.

На вопрос о дискриминации представителей сексуальных меньшинств 62% опрошенных по телефону сказали, что геи и лисбиянки подвергаются дискриминации. В онлайн-опросе эта доля составила лишь 48%. Интервьюируемые по телефону также чаще отвечали, что латиноамериканцы подвергаются дискриминации (54% в телефонном опросе, 42% в онлайн-опросе). На вопрос о дискриминации негров, опрошенные по телефону (54%) чаще, заполнивших анкету в Интернете (44%), говорили о том, что эта группа населения так же подвергается дискриминации.
Вопрос о дискриминации женщин разногласий не вызвал.

Респонденты, опрошенные по телефону, более счастливы и удовлетворены жизнью

Заметные различия в ответах наблюдались в вопросах об удовлетворенности семейной и социальной жизнью. Среди опрошенных по телефону 62% сообщили, что «полностью удовлетворены» свой семейной жизнью. Среди анкетируемых через Интернет такового мнения придерживались лишь 44%. На вопрос об удовлетворенности социальной жизнью 43% опрошенных по телефону сказали, что полностью ей удовлетворены. Среди проходивших анкетирование онлайн такового мнения придерживалось лишь 29%. Наименьшие различия в вопросе об удовлетворенности социальной жизнью наблюдались среди респондентов, ответивших, что они «очень счастливы», а наибольшие — среди ответивших, что они «довольно счастливы» или «не очень счастливы».
Также задавался вопрос об удовлетворенности дорожным движением в районе, где проживает респондент. В ответах было выявлено методологическое различие в 6 п.п.: чуть больше опрошенных по телефону (28%), чем заполнивших анкеты в Интернете (22%) сказали, что полностью удовлетворены состоянием дорожного движения.
Респондентов спрашивали об удовлетворенностью своим местом жительства. Опрошенные по телефону снова показали себя более оптимистично настроенными: 37% сказали, что полностью удовлетворены своим районом, тогда как из заполнивших анкеты в Интернете только 30% придерживались такого же мнения. Не было выявлено методологического различия между теми, кто оценивал свой район негативно («едва пригодный для жилья» или «плохой»).
В схожем вопросе опрошенные по телефону чаще называли свои районы «полностью безопасными» в ночное время (55% при телефонном опросе, 43% при онлай-опросе). Крайне небольшое число респондентов в обоих группах описывали свои районы как «не очень безопасные» или «полностью небезопасные».

Волонтёрская работа и вовлеченность в общественную жизнь

Поскольку общение с соседями и вовлеченность в общественную жизнь многими людьми считается «хорошим поведением», неудивительно, что при опросе по телефону о такой деятельности сообщило большее количество людей, чем при онлайн-опросе. В некоторых, но не во всех случаях, отмечалось методологическое различие. Опрошенные по телефону чаще сообщали о том, что часто общаются с соседями, чем опрошенные по Интернету. Точно так же опрошенные по телефону чаще говорили о том, что работали вместе с соседями, чтобы решить какую-либо проблему или улучшить обстановку. Методологическое различие сильнее проявилось в группе лиц с высокими доходами.
На вопрос респондентов о том, как часто они разговаривают с соседями, 58% опрошенных по телефону сказали, что разговаривают «каждый день» или «несколько раз в неделю», так же ответили 47% заполнивших анкету в Интернете. Методологическое различие в группе респондентов с высоким доходом (более 75 000 USD в год) составила 15 п.п.
В вопросе об участии в волонтёрских движениях, в том числе молодёжных, ответы разнились незначительно у заполнивших анкеты в Интернете и опрошенных по телефону (58% и 61% соответственно). Тем не менее, значимое влияние метода было выявлено только среди протестантов-евангелистов. 7 из 10 евангелистов (71%), опрошенных по телефону, сообщили, что занимались волонтёрской деятельностью, по сравнению с 57% заполнившими анкету в интернете. Разница составила 14 п.п. Значимого методологического различия при ответе на данный вопрос среди протестантов, католиков или лиц, не относящих себя к какой-либо религии, выявлено не было.
Незначительное влияние метода было выявлено в ответах на вопрос о работе с другими людьми для решения проблем или улучшения обстановки в районе: об этом сообщило 38% опрошенных по телефону и 33% заполнивших анкеты в Интернете. Среди респондентов с высоким уровнем дохода методологическое различие составило 10 п.п..

Влияние метода на ответы о финансовом положении

В вопросах о личном финансовом благосостоянии также были выявлены методологические различия. Респонденты, опрашиваемые через Интернет, чаще сообщали о том, что в прошедшем году испытывали трудности при оплате питания для семьи и необходимой медицинской помощи. Наиболее сильно влияние метода проявилось в группе с невысокими доходами.
Аналогично, при онлайн-опросе респонденты чаще, чем опрошенные по телефону сообщали о том, что их уровень жизни «несколько» или «значительно хуже», чем у их родителей в том же возрасте (28% в онлайн-опросе, 20% по телефону). Особенно явно влияние метода наблюдается у темнокожего населения: 29 % заполнивших анкеты в Интернете сказали, что живут хуже родителей, при том, что при телефонном опросе так сказали лишь 9%, разница составляет 20 п.п.
Респонденты, проходившие опрос по интернету, сообщали о том, что им не хватало денег для приобретения пищевых продуктов в прошлом году чаще (28%), чем опрошенные по телефону (20%). Респонденты с низким уровнем доходов (менее 30 000 USD/год), заполнившие анкеты в Интернете, чаще сообщали о том, что им было тяжело найти деньги на еду (51% при онлайн-опросе, 39% по телефону). Разница в ответах составила 12 процентных пунктов.
В схожем вопросе респонденты, заполнившие анкеты в Интернете, несколько чаще сообщали, что в прошлом году нуждались в консультации врача, но не могли себе это позволить по финансовым причинам (22% по телефону, 28% в онлайн-опросе). Среди не белого населения методологическое различие составило 17 п.п. (40% в онлайн-опросе, 23% по телефону). Среди белых разницы выявлено не было (22% в онлайн-опросе, 21% по телефону). Этот вопрос служит иллюстрацией того, как эффект метода может привести к неверным заключениям: опрос по телефону показал бы, что доступность медицинских услуг для белого и не белого населения одинакова, тогда как анкетирование в Интернете выявило значительную разницу.
Влияние метода проявилось в отдельном вопросе для тех, кто ни разу не обращался к врачу за прошедший год. Среди опрошенных по телефону 23% сказали, что не обращались к врачу из-за стоимости, среди заполнивших анкеты в Интернете эту причину указало 46%. Влияние метода среди людей, посещавших врача хотя бы один раз за прошедший год, выявлено не было.

Не выраженное влияние метода в оценке религиозности и важности религии

США является одной из самых религиозных развитых стран. Соответственно, на высказывания людей о собственной религиозной приверженности оказывается социальное давление. Тем не менее, в исследовании было установлено, что в большинстве вопросов о религиозной приверженности и участия в религиозных службах ответы были одинаковы при заполнении анкет в Интернете и прохождении опроса по телефону.
Респонденты одинаково отвечали о своей приверженности основным религиозным течениям как при прохождении онлайн анкетирования, так и при опросе по телефону. Доля респондентов, ответивших, что не являются приверженцами какой-либо религии, была примерно одинакова я в обеих группах.
В другом вопросе спрашивалось о роли религии в жизни человека. Выраженного влияния метода выявлено не было. Точно так же не было выявлено различия при ответе на вопрос, нужно ли верить в Бога, чтобы быть высокоморальным человеком.
За некоторым исключением, заполнившие анкеты через Интернет несколько чаще, чем опрошенные по телефону говорили, что посещают религиозные службы «изредка» или «никогда» (43% при онлайн-опросе, 36% по телефону). Не было выявлено методологического различия среди сообщивших, что они посещают религиозные службы не реже одного раза в неделю (31% при онлайн-опросе, 32% по телефону).
Влияние метода больше всего проявилось среди людей, не являвшихся приверженцами какой-либо религии. 60% заполнивших анкету через Интернет сказали, что никогда не посещают церковные службы, по телефону так ответило 49% респондентов. Среди людей, придерживающихся какого-либо религиозного направления, методологические различия были сравнительно малыми.

Влияние метода при ответе на автобиографические вопросы и вопросы об уровне знаний

В ходе опроса от респондентов требовалось вспомнить определенную информацию и применить её для формулировки ответа. Способ опроса может по-разному влиять на процесс: усиливать мотивацию к более тщательному поиску в памяти или упрощать/усложнять этот процесс. Например, интервьюер может мотивировать респондента вспомнить, читал ли он вчера газету. В то же время, респондент, отвечающий по телефону, может ощущать необходимость отвечать быстро и не заставлять ждать интервьюера. В Интернете респонденты могут думать над каждым вопросом сколько сочтут нужным.
Время особенно важно при ответе на вопросы автобиографического характера или связанные с какими-либо фактами.

Вопрос, на который больше всего повлияло наличие интервьюера, заключался в просьбе оценить количество обращений за медицинской помощью за последние 12 месяцев. Хотя распределение ответов среди респондентов, заполнивших анкеты в Интернете и прошедших интервью по телефону, было одинаковым, в ответе на вопрос было выявлено интересное различие между тем, как респонденты находили ответ. Из четырёх вариантов ответа опрошенные по телефону чаще, чем анкетированные через интернет сообщали о том, что давали ответ «на основании общего впечатления» (15% и 7% соответственно). Хотя расхождение само по себе не велико, оно может значить, что некоторые респонденты, которых опрашивали по телефону, выбрали самый простой путь при ответе на вопрос для экономии времени. В то же время, это может быть связано с эффектом новизны, так как этот вариант зачитывался респондентам в последнюю очередь.

Вопросы на знание фактов также требовали от респондентов хорошо задуматься. Количество времени для обдумывания ответа, доступное анкетированным могло положительно сказаться на их результате. С другой стороны, присутствие интервьюера могло добавить мотивацию к высказыванию точного ответа. Некоторые исследователи высказали опасения, что при онлайн-опросе респонденты могли подглядеть ответы в Интернете. Фиксировалось время ответа у респондентов из обеих групп. В двух вопросах на знание фактов анкетированным через Интернет понадобилось на 7-8 секунд больше, чем опрошенным по телефону. Для сравнения, при ответах на другие вопросы методологического различия во времени не встречалось. Однако, если бы анкетированные через Интернет подглядывали ответы, то их результаты были бы лучше, но этого не случилось.

Выводы

В исследовании изучалось влияние метода опроса на ответы по широкому диапазону тем. Вопросы были взяты из опросников, применяемых Pew Research Center и аналогичными организациями. Большинство выявленных различий довольно невелико, но некоторые оказались существенными. Многие выявленные отличия подтверждают теорию о том, что при общении с интервьюером респонденты чаще дают ответы, которые выставляют их и их окружение в лучшем свете или создают менее негативный образ. Это, вероятно, объясняет наиболее выраженные расхождения в вопросах об удовлетворенности семейной и общественной жизнью и возможности оплачивать продукты питания и медицинскую помощь. Тот факт, что опрошенные по телефону более склонны давать общественно приемлемые ответы, соответствует многочисленным научным трудам по данной теме. Для большинства описанных различий невозможно определить, какой из методов дал более точные результаты, хотя предыдущие общепризнанные исследования показали, что онлайн-опросы дают более точные результаты, чем опросы с участием интервьюера.
Другой набор вопросов с наиболее выраженными различиями касался отношения к политическим деятелям. У четырёх из шести политиков, включенных в опрос, средняя оценка по группе среди опрошенных по телефону была значительно выше, чем среди заполнивших анкеты в интернете. В то же время, участники онлайн-опроса значительно чаще выбирали вариант «крайне отрицательно» для всех шести политиков. Хотя отношение к политическим фигурам не настолько деликатная тема, как семейная жизнь или финансовые затруднения, некоторые недавние исследования показывают, что при общении с интервьюером респонденты чаще выбирают ответы, которые с меньшей вероятностью вызовут эмоциональный дискомфорт в общении с интервьюером. Это, вероятно, также влияло на чернокожих респондентов, опрошенных по телефону, которые, в отличие от тех, кто проходил опрос в Интернете, реже говорили, что в современном обществе выражена дискриминация чернокожих. В целях сохранения контакта с интервьюером респонденты могут смягчать свои высказывания и подвергать их внутренней цензуре, чего не происходит при онлайн-опросе.
Хотя расхождения были выявлены во многих вопросах, не меньшее количество вопросов расхождений не дали или они были невелики. Например, это касалось вопроса о наличии загранпаспорта или водительского удостоверения, расово-этнической и религиозной принадлежности, каких-либо конкретных действий, совершенных «вчера».
Какой же метод является предпочтительным? Результаты исследования позволяют предположить, что более предпочтительным является самостоятельное заполнение анкет в Интернете, особенно, когда в опросе есть темы, подверженные влиянию «общественной приемлемости» или затрагиваются «деликатные темы». Общая тенденция анкетируемых через Интернет к более негативному описанию своей жизни и низкой оценке политических деятелей может отражать большую искренность. Хотя неизвестно, какие ответы в большой степени соответствуют реальному поведению респондента вне контекста исследования. Кроме того, необходимо отметить, что в данном исследовании речь шла только о возможном влиянии метода опроса на ошибку измерения. Возможны и другие источники ошибки. Тяжелым трудом была достигнута эквивалентность экспериментальных групп. Выборка была взята из респондентов, уже прошедших панельное исследование с вероятностной выборкой. Даже при этих мерах предосторожности было обнаружено, что респонденты, отклонившие предыдущие приглашения на исследования соглашались, если с ними связывались по телефону.
С помощью телефонных опросов гораздо проще добиться выборки, репрезентирующую генеральную совокупность. До сих пор не у всех представителей населения США есть постоянный доступ к Интернету, что осложняет полноценный охват. Было установлено, что телефонные опросы с набором случайных номеров с большей вероятностью охватывали респондентов с финансовыми затруднениями, низким уровнем образования и представителей языковых меньшинств, чем опросы в Интернете с вероятностной выборкой. Исследователям следует помнить, что на одной чаше весов лежит ошибка измерения, а на другой — охват и ошибка не включения. Исследования, включающие в себя опрос по телефону и анкетирование через Интернет — так называемые смешанные исследования — могут стать более распространенными и многие считают, что самостоятельное анкетирование через Интернет со временем станет стандартным методом опроса.

Оставить свои комментарии по затронутой теме Вы можете на наших страницах в Facebook и Вконтакте.

Оригинал статьи pewresearch.org
Перевод статьи Агентство маркетинговых исследований FDFgroup