Краткое введение в прогнозирование

Точность любого прогноза можно приблизительно описать следующей формулой:
Точность (P) = Качество истинных (верифицированных) исходных данных (Q) × приложенные усилия (E) × (1 – сложность обработки информации (D)) × объективность автора (О) × вероятность события (R)
P = Q×E×(1-D)×O×R

Почему так:
точный прогноз невозможно получить при отсутствии достоверной информации. Если к составлению прогноза не было приложено достаточных усилий, то его достоверность так же под вопросом. Чем сложнее анализ, тем меньше вероятность верного прогноза. Если вы не сможете объективно и отстранённо анализировать информацию, это приведет к искажению конечного результата под действием субъективных факторов. Абсолютная точность прогноза ограничена вероятностью наступления события. Например, предсказать результат, подбросив монету 1 раз, гораздо проще, чем подбросив ее 10 000 раз.

Точность прогноза не зависит напрямую от размера выборки

Маркетолог может заметить, что данная формула не зависит напрямую от размера выборки. Иными словами, человек, обладающий доступом к информации, готовый приложить достаточно усилий, обладающий соответствующими навыками и способный сохранять объективность, может делать прогнозы не хуже, чем самые большие маркетинговые компании, опрашивающие миллионы людей по всему миру! В качестве примера можно привести опыт Нейта Сильвера (Nate Silver), который в одиночку предсказал результаты выборов в администрацию всех штатов США в 2012 году. Разумеется, не все мы столь же умны, как Нейт Силвер. Не у всех есть доступ к такому объёму информации. Немногие смогут проделать тот же объём работ и сохранить при этом объективность. И лучше, если прогноз будет составлять не один человек, чтобы суметь вовремя скорректировать возможные ошибки, например, неосведомлённость одного или субъективность другого.

Сколько же необходимо людей для составления прогноза?

Это очень хороший вопрос, но ответ на него неоднозначен. В первую очередь это зависит от опыта людей составляющих прогноз и количества усилий, которое они готовы приложить. Если все они профессионалы своего дела, готовы потрудиться и поразмыслить, то их потребуется меньше, чем может показаться.

16 человек — идеальное количество участников для составления прогноза

В 2007 году Джед Кристиансен (Jed Christiansen) из Букингемского университета (University of Buckingham) провёл следующее исследование. Он взял будущее событие с очень малой известностью и значимостью — соревнование по гребле — и попросил участников предсказать победителей. Сложная задача, особенно при отсутствии ученых мужей, непрерывно вещающих своё мнение в СМИ, как в футбольном мире. Кристиансен опросил гребцов и их фанатов на сайте клуба по гребле, другими словами, нашел экспертов. Он установил, что для составления прогноза необходимо всего 16 человек. К слову, рынки с 16 или более игроками достаточно уравновешенны. При снижении количества игроков, влияние на уровень цен оказывается недостаточным. Iowa Electronic Markets успешно предсказала результаты более чем 600 выборов. В среднем, в каждый прогноз было вовлечено менее 20ти участников.

Принимаем во внимание неосведомленность

Тем не менее, следует учитывать, что каждый неосведомленный член выборки, дающий абсолютно случайное предсказание, значительно снижает точность прогноза. Так как далеко не все участники являются экспертами, как правило, приходится опрашивать более 16 человек. Предположим, мы хотим узнать погоду на завтра. Допустим, что 10% опрошенных видели прогноз на завтра и знают, что дождя не будет. В данной ситуации они являются экспертами. Остальные же угадывают, будет дождь или ясная погода, с вероятностью 50%. Несложно подсчитать, что если более 10% случайной выборки скажет, что будет дождь, то, вполне вероятно, итоговый прогноз будет неверным. Для достижения 95% точности прогноза, доверительная погрешность должна составлять менее 10%. Это означает, что необходимо опросить 86 человек. Задача усложняется, когда эксперты сами расходятся в оценках. К примеру, вы пытаетесь предсказать исход теннисного матча. 10% выборки составляют подкованные фанаты большого тенниса (эксперты), которые считают, что вероятность победы игрока А составляет 2:1, а остальные просто называют игрока А или B с вероятностью 50%. Расхождение в оценках экспертов приводит к тому, что погрешность должна составлять 7% или меньше для достижения 95% точности. Это значит, что придётся опросить около 200 людей.

Принимаем во внимание когнитивные искажения

Все становится гораздо сложнее, если начать учитывать когнитивные искажения при опросе случайной выборки. Например, если сформулировать вопрос как «Считаете ли вы, что завтра будет дождь?», большинство людей, скорее всего, ответит «да» из-за подсознательного искажения ответа в сторону согласия. Среднее значение результатов, полученных в ходе эксперимента, где у респондентов спрашивали, какое количество людей, по их мнению, предпочитают красное вино, составило 54%. Если респондентов просили оценить, какое количество людей предпочитает белое вино, то оценка популярности красного вина снижалась до 46%. Эксперимент наглядно показывает влияние когнитивных искажений на ответы, что усложняет составление верного прогноза. В приведенном выше примере с погодой искажение в сторону согласия нивелирует мнение эксперта. Верный прогноз не получится составить при размере выборки, если не сделать поправку на такое искажение. Это лишь один из множества процессов, влияющих на человеческую способность к прогнозированию. Эмоции влияют ещё значительнее. Фаната Manchester United практически бессмысленно спрашивать о вероятном исходе чемпионата: эмоциональная привязанность заставит его преувеличивать вероятность победы и преуменьшать вероятность поражения любимой команды.

Формулировка вопроса влияет на смещение ответов

Предположим, что оценивается способность людей предсказывать результат броска монеты. Им задается вопрос: «Сейчас я подброшу монету. Что выпадет: орёл или решка?» По указанным выше причинам 68% скажут, что выпадет орёл. Если спросить иначе, а именно: «Какова вероятность выпадения орла, если подбросить монету 10 000 раз?», то точный прогноз сможет дать выборка из одного человека. Всё это может показаться очевидным, но многие неточные маркетинговые прогнозы были обусловлены именно этими причинами. Допустим, 15 человек попросили предсказать процентную вероятность того, что завтра пойдет дождь. Пятеро из них видели прогноз погоды и знают, что вероятность дождя на завтра составляет 20%. Остальные называют случайные числа от 0% до 100%. Если в среднем случайный ответ будет 50%, это поднимет вероятный прогноз дождя до 40%. При таком соотношении осведомленных и неосведомлённых людей в выборке прогноз всегда будет смещён на 20% независимо от количества людей в выборке. В маркетинговых исследования часто делают ставку на большой размер выборки и ее сбалансированность. В прогнозировании ключевым является выявление экспертных суждений и правильная поправка на когнитивные, эмоциональные и другие смещения. Неправильная формулировка вопросов может усугубить положение. Например, «Вам нравится эта реклама?» и «Как вы думаете, это будет успешная реклама?» — два очень разных вопроса, на которые будут даны разные ответы. Успешная реклама не обязательно должна нравиться кому-то лично — она должна нравиться многим. Согласно исследованиям, правильная формулировка вопросов и мотивация участников к более детальному продумыванию ответов позволяет снизить выборку, необходимую для достоверного прогноза со 150 до 40 участников.

Выбор верного способа агрегации

Допустим, вы попросили группу людей предсказать рыночную стоимость некоего продукта и получили следующие ответы:
$1; $1,2; $0,9; $0,89; $1,1; $0,99; $0,01; $1,13; $0,7; $10 000.
Среднее арифметическое составляет 1 000 долларов. Ой, кажется, кто-то пошутил про десять тысяч и испортил весь прогноз. Именно по этой причине нельзя использовать среднее арифметическое для усреднения результатов прогнозов. Для этого больше подойдет метод медиан. Среднее медианное значение в этом случае составляет 1 доллар, что похоже на правду. Альтернативный подход: вручную удалить из данных выбросы перед усреднением. В нашем примере такими будут 0,01 и 10 000,00. Среднее арифметическое оставшихся значений составляет 1,03.

Оценка отдельных прогнозов. Важность определения компетентности

Самое главное в прогнозировании — отличить плохих предсказателей от хороших. Один из самых простых способов это сделать – спросить респондентов, уверены ли они в своем прогнозе. К примеру, если человек посмотрел прогноз погоды, он будет гораздо увереннее в своем ответе, чем если бы он просто угадывал. Таким образом, было бы разумно, спрашивая людей о погоде на завтра уточнять, смотрели ли они прогноз и насколько они уверенны в своём ответе. Эти дополнительные сведения позволят лучше отличить «сигнал» от «шума». Хитростью составления любого прогноза является определение компетентности и объективности экспертов, но это не всегда так же просто, как спросить о том, смотрели они прогноз погоды или нет. При более сложных прогнозах, например, предсказание результатов спортивного матча, компетентность эксперта и точность прогноза не всегда находятся в прямой зависимости. Компетентность, безусловно, влияет на точность, но это влияние должно быть тщательно измерено.

Дополнительные сведения о составлении прогнозов представлены в докладе в рамках конгресса ESOMAR «Предсказание будущего/ Predicting the future».

Оставить свои комментарии по затронутой теме Вы можете на наших страницах в Facebook и Вконтакте.

Оригинал статьи question-science.blogspot.ru
Перевод статьи Агентство маркетинговых исследований FDFgroup