?

Log in

Записи Френдолента Календарь Инфо Назад Назад Вперёд Вперёд
К причинам ошибочных прогнозов победы Трампа - ДНЕВНИК ЭКОНОМИСТА
ksonin
ksonin
К причинам ошибочных прогнозов победы Трампа
Как я уже писал, неожиданность победы Трампа была вызвана комбинацией трёх вещей, в порядке возрастания важности. Во-первых, ошибочными предсказаниями тех, кто проводил соцопросы - хотя эти ошибки были небольшими и, в исторической перспективе, обычными. Во-вторых, тех, кто комментировал и интерпретировал результаты опросов - даже если они упоминали (как я), что шанс в 85-90% это далеко не то же самое, что 100%, найти правильный и убедительный тон, как показал результат, не удалось. Mea culpa. В-третьих, читающая публика пропускает все оговорки (что вероятность 90% - это вероятность победы "Урала" над ЦСКА на его поле) и сосредотачивается только на бинарном ("или-или") предсказании. Но Бог, с ними, с ошибками. Даже сейчас довольно трудно понять, что на самом деле произошло - и с опросами, и с "общей картиной".

Про опросы - вот только сейчас, почти через месяц после выборов и огромного множества комментариев, я увидел первый полноценно информативный мини-анализ. Нейт Сильвер приводит данные о том, почему в соцопросах было то смещение, которые давало слишком большой, в вероятностном смысле, перевес Клинтон в прогнозах. Это, грубо говоря, недооценка разница в готовности необразованных людей отвечать на опросы по сравнению с готовностью образованных.

Конечно, социологи прекрасно знают, что желание человека отвечать на вопросы определяется множеством факторов. (И вовсе не факт, a priori, что необразованные отвечают менее охотно - у образованных время дороже.) Поэтому результаты любого опроса, чтобы превратить его в прогноз, "взвешиваются" с учётом желания отвечать. То есть когда какой-то человек что-то ответил социологам о своих предпочтениях, то они получают довольно хорошую (как показывает многолетняя практика) информацию о том, как голосуют люди такого типа. Но потом надо учесть, насколько люди такого типа представлены в (будущей) выборке из всех избирателей, а это трудно. Очень грубо - социологи хорошо знают, как проголосует избиратель - 40+ малообразованная испаноязычная женщина, но трудно оценить сколько таких избирателей придёт голосовать. Даже разбиение на категории (возраст, образование, язык) - сложная процедура, требующая множества мелких решений со стороны исследователя. Но если бы это и было просто, то как правильно выбрать "веса" - те самые пропорции, в которых опрошенные представлены среди избирателей? Чаще всего веса выбираются с помощью данных о соотношении результатов прошедших выборов с результатами опросов перед теми выборами. И это, конечно, приводит к проблемам каждый раз, когда происходит какое-то изменение в том, с какой вероятностью люди конкретного типа приходят на выборы или отвечают на опрос. (То, что в середине дня выборов в 2004 году казалось, что Керри побеждает с убедительным перевесом - классический результат такой ситуации. Довольно чётко очерченная группа избирателей была представлена на тех выборах больше, чем на предыдущих.)

В этот раз Сильвер с помощью элементарных статистических процедур показывает, что была систематическая ошибка, связанная с тем, что в 2016 году уровень образования, как оказалось, играл большую роль и, одновременно, по всей видимости, была серьёзная разница между готовностью людей с разным уровнем образования отвечать на опросы. Социологи знают про такую разницу, например, между людьми с английским и испанским языком в качестве основного и лучшие опросы учитывают не только эту разницу, но и то, что испаноязычные избиратели отвечают по-разному в зависимости от того, на каком языке проводится опрос. Но с уровнем образования это не было так понятно в предыдущие циклы. (Это трудно - например, многие чёрные избиратели - "малообразованные", так что даже на основе больших опросов трудно понять - они не отвечают, потому что "чёрные" или потому что "малообразованные", а ведь во всей выборке соотношение этих групп разное.) А похоже, как раз этот параметр играл важную роль.

В анализе Сильвера особенно убедительно то, что результаты опросов, правильно скорректированные с учётом разной доли граждан без высшего образования, показывают не смещенность исходных опросов в сторону Клинтон, а смещенность в пользу Клинтон в штатах с высокой долей малообразованных граждан и в пользу Трампа в штатах с низкой долей. Все обсуждают то, что в Пенсильвании, Мичигане и Висконсине Трамп показал результаты намного лучше тех, чем предсказывали опросы, потому что эти штаты сыграли в итоге решающую роль, но в Массачусеттсе, Иллинойсе и Калифорнии опросы ошибались, и довольно сильно, в пользу Трампа. То есть сами опросы не были особенно «смещены в пользу Клинтон». Они были «смещены в сторону интересов граждан с высшим образованием», причём это смещение суммарно по всем штатам усреднилось практически до нуля (поэтому национальные прогнозы оказались очень точными – в среднем они предсказывали победу Клинтон в 3,5%, а оказалось – почти в 2,1%). Но, поскольку самые большие «смещения в сторону высокообразованных» на уровне штатов были в тех штатах, в которых при прочих равных был более ровный расклад между республиканцами и демократами, они привели к довольно убедительной победе Трампа в коллегии выборщиков.

Метки:

118 мнений // Ваше мнение?
Comments
From: mokhoviki Date: Декабрь, 3, 2016 15:11 (UTC) (Ссылка)
Деньжат надо больше социологам для увеличения базы опрашиваемых до пары миллионов+суперкомпьютеры, или разрешить задавать вопросы третьей степени.
buddha239 From: buddha239 Date: Декабрь, 3, 2016 15:18 (UTC) (Ссылка)
Или, наоборот, меньше - чтобы переставали гадать на кофейной гуще.:)

Не думаю, что проблема в размере выборки; самое трудное, как следует из поста, восстановить общую картину по ответам тех терпил, кто не послал социологов куда подальше.
buddha239 From: buddha239 Date: Декабрь, 3, 2016 15:15 (UTC) (Ссылка)
Это все интересно и, вероятно, правильно. Но не дает ответа на вопрос: почему все "эксперты" так рвутся предсказать результат выборов, если все так сложно (во что мне легко поверить)?

Почему в ситуации минимального перевеса нужно говорить, что шансы Клинтон 90%? Только потому, что такие шансы дает модель, которую успешно подогнали под предыдущие выборы?
homo_forsaken From: homo_forsaken Date: Декабрь, 3, 2016 15:45 (UTC) (Ссылка)
Вот удивляют ваши претензии.

А почему на основании имеющихся моделей нужно предсказывать погоду за окном? Ведь прогноз не всегда оказывается точен.
public_anarchy From: public_anarchy Date: Декабрь, 3, 2016 15:25 (UTC) (Ссылка)
Вы нас даже не представляете. Вот и весь сказ. И нечего тут усложнять)
leokand From: leokand Date: Декабрь, 3, 2016 15:32 (UTC) (Ссылка)
А до Трампа был Брекзит. А после Трампа — Фийон. Тенденция, однако!
ksonin From: ksonin Date: Декабрь, 3, 2016 16:15 (UTC) (Ссылка)
Не, Фийон это ровно такой же сюрприз, как любой другой французский политик. Тут никто и не претендовал на точность предсказания.
zomaho From: zomaho Date: Декабрь, 3, 2016 15:58 (UTC) (Ссылка)
Видел этот анализ, первый сколько-нибудь годный, а не "что же с нами стало", пожалуй.
ksonin From: ksonin Date: Декабрь, 3, 2016 16:18 (UTC) (Ссылка)
Да, что-то много белого шума после этих выборов. Они, как бы это сказать, дают простор для интерпретаций...
From: bystander90 Date: Декабрь, 3, 2016 16:27 (UTC) (Ссылка)
А как вы относитесь к гипотезе, что избирательные системы были взломаны хакерами?

Подробнее:
theguardian. com/technology/2016/oct/07/us-russia-dnc-hack-interfering-presidential-election
docs. google.com/a/guardian.co.uk/forms/d/e/1FAIpQLSdwQa-5YTdMJP4U1mqRLihr1wG4Kz8Nw58lTGFabrcZprUkYw/viewform?c=0&w=1
theguardian. com/us-news/2016/nov/23/jill-stein-election-recount-fund-michigan-wisconsin-pennsylvania
From: nahernah Date: Декабрь, 3, 2016 19:07 (UTC) (Ссылка)
Голосовальные машины в Мичигане, Висконсине и Пенсильвании к Интернету не подключены
xaxam From: xaxam Date: Декабрь, 3, 2016 17:22 (UTC) (Ссылка)
"Эх, дурак! песню испортил" (с).
ksonin From: ksonin Date: Декабрь, 3, 2016 23:03 (UTC) (Ссылка)
Не понял. Дно я помню смутно, но, кажется, если бы я и хорошо помнил, то не понимал бы.
zlata_gl From: zlata_gl Date: Декабрь, 3, 2016 17:39 (UTC) (Ссылка)
Вы уверены, что социологам врали именно "необразованные" ?
Мне кажется более правдоподобным, что именно образованные не говорили правду, боясь, что это станет известно начальству и коллегам...
gena_t From: gena_t Date: Декабрь, 3, 2016 17:53 (UTC) (Ссылка)
Как я понял, никто особенно не врал. Необразованные белые американцы честно сказали, что пойдут голосовать за Трампа. Просто социологи думали, что они как обычно на выборы не очень пойдут, а они взяли и пошли. На прошлых выборах у негров был свой кандидат, а теперь вот у них.
alersandra From: alersandra Date: Декабрь, 3, 2016 18:42 (UTC) (Ссылка)
А причина по-моему одна единственная - те, кто строит модели плохо понимает реальность... т.е. модели стоить научились, а понимать реальность -нет. Высокомерие строителей моделей плохой помощник в понимании жизни вокруг. Да и значение образования несколько преувеличено... в конце концов А.Чехов давно написал, что университетское образование развивает все способности, в том числе и глупость. Образование не прибавляет ума человеку...
talgaton From: talgaton Date: Декабрь, 4, 2016 02:42 (UTC) (Ссылка)
основа модели: "все кто голосует за Трапа - необразованное быдло."
все остальное - вторично.
From: onanimzade100 Date: Декабрь, 3, 2016 19:28 (UTC) (Ссылка)
Да расслабься уже. Эпик фейл и эпик фейл.
Видишь, научился же пысать прально коллегия выборщиков, а не колледж какой-то. Прогрессируешь на глазах.
ksonin From: ksonin Date: Декабрь, 3, 2016 23:02 (UTC) (Ссылка)
Ты немножко протрезвел?
yozhig From: yozhig Date: Декабрь, 3, 2016 21:00 (UTC) (Ссылка)

Хорошая новость в том, что причина отрицательной корреляции прогнозов не поименована - стало быть, можно по-прежнему рассчитывать на них.

talgaton From: talgaton Date: Декабрь, 4, 2016 02:41 (UTC) (Ссылка)
"Политик должен уметь предсказать, что произойдет завтра, через неделю, через месяц и через год. А потом объяснить, почему этого не произошло."

то что написано - изящный реверанс - все кто голосует за Трапа - необразованное быдло.
три страницы формул прилагаются.
но мы то поняли.

ksonin From: ksonin Date: Декабрь, 4, 2016 14:49 (UTC) (Ссылка)
Скорее, Вы не "поняли", а "продемонстрировали, что не умеете читать" :)
(Удалённый комментарий)
zlata_gl From: zlata_gl Date: Декабрь, 4, 2016 11:12 (UTC) (Ссылка)

чтобы понять феномен Трампа надо жить долго в Америке,

Можно подумать, ВСЕ американские социологи только что приехали из России.
Хозяина журнала можно оправдать за простодушную доверчивость к американским социологам, скупленным на корню понятно кем.
Человек, который только что приехал из другой страны (с не очень-то честными выборами и социологами), очень хотел надеяться, что на новом месте - все иначе.
Выборы там - может и получше, но социологи - уж точно, что нет.
(Удалённый комментарий)
From: Тестов Тестов Date: Декабрь, 4, 2016 06:13 (UTC) (Ссылка)
Неохотность белых необразованных отвечать на опросы не объясняет результат в DC.

Более вероятен эффект, тщательно исследованный Timur Kuran - о существовании индивидуальной публичной и приватной правды. Избиратели могли неохотно высказывать свои приватные предпочтения кандидата, систематически демонизировавшегося леволиберальной прессой.

Последний абзац у Силвера замечателен и ставит жирный крест на почти всей социологической науке: предсказания, сделанные на основе социологических опросов - такое же "pretence of knowledge", как и предсказания и теории экономистов. И те, и другие страдают от того, что было лет тридцать назад так хорошо описано Edward Leamer в Specification searches.
ksonin From: ksonin Date: Декабрь, 4, 2016 14:47 (UTC) (Ссылка)
Как раз свидетельств "частной правды" Курана на выборах 2016 не обнаружено. Никто, судя по всему, не "обманывал" социологов.
k_150 From: k_150 Date: Декабрь, 4, 2016 06:26 (UTC) (Ссылка)
Проблема не в том, что социологи уделались, проблема в том, что они уделались в критический момент. Подняли ставки в десять раз, сдали себе четыре дамы, и попали под четырёх тузов из другой колоды.
ksonin From: ksonin Date: Декабрь, 4, 2016 14:47 (UTC) (Ссылка)
Непонятно.
arbat From: arbat Date: Декабрь, 4, 2016 18:07 (UTC) (Ссылка)
Выглядит довольно смешно. Поискали, с чем дефект коррелирует, объявили, что проблема именно в этом. Ну, ясное дело, раз коррелирует. Ученый социолог мог бы начать с того, чтобы случайным образом разделить набор данных на два - на одном формулировать гипотезу, на втором проверять. Не бог весть что, но хоть что-то. Но нет, настоящим социологам тесты не нужны. Вопросом - почему они уже не в первый раз ошибаются, он как-то не задается.
matveeva_m From: matveeva_m Date: Декабрь, 4, 2016 18:17 (UTC) (Ссылка)
Костя, похоже, Сильвер прав в указании одной из возможных причин. Об этом уже говорили многие. Впрочем, как и о других, вполне вероятных. В число в которых входят biases аналитиков. Посмотрим, что будет написано в отчете AAPOR, ESOMAR и WAPOR, они создали комиссию, отчет будет в мае. Там, конечно, будет подробно рассказано про вклад каждого фактора.
Да, видимо, теперь выборки будут дополнительно перевзвешивать по образованию.
Другое дело, что от Сильвера мне хотелось бы услышать не столько про ошибки поллстеров (которые зачастую укладывались в стандартную ошибку выборки, особенно в ключевых для итогов штатах), сколько про ошибки в его собственных моделях. Что именно в них привело к предсказанию 80-90-процентной вероятности победы Клинтон (при постоянно очень близких цифрах кандидатов - по опросам)?
Да, Сильвер дал накануне выборов более осторожную оценку, чем прочие - 70%. И все же, строго говоря, собственно опросы не давали оснований для такой уверенности. А пока вижу, как прогнозисты аккуратно переводят внимание на ошибки поллстеров, отвлекая от собственных, которые оказались куда более весомыми.
И еще - уж извини, наболело.:) Когда "соцопросы" и "социология" пишут применительно к России, тут хотя бы понятно, почему сложилась такая традиция словоупотребления (впрочем,даже здесь понемногу начинают привыкать, что поллстеры - отдельная профессия). Но применительно к выборам в США... Где там социология?! Какие "соцопросы"?

ksonin From: ksonin Date: Декабрь, 5, 2016 10:37 (UTC) (Ссылка)
Меня слегка смущает, что ты тут высказываешься в толпе персонажей, которые пишут, не читая и не думая.

А ты считаешь, что 90-10% был неправильный прогноз? Почему? По выпадению монетки не так просто понять, она упала из 90-10 или 50-50 (а тем более из 80-20 или 70-30). Я бы сказал, что не так уж очевидно, что 90-10 было сильно неправильно (а 70-30 так выглядит просто правильным). Другое дело, что, может, малообразованный читатель прав и не нужно вообще обращать внимания на вероятностные прогнозы, когда речь идёт об отдельных, уникальных событиях.

Словом "социолог" я перевожу "pollster". А ты бы как перевела?
From: robustov Date: Декабрь, 5, 2016 07:57 (UTC) (Ссылка)

яркая демонстрация порочности методик)

Практикам хорошо известна порочность методик разного рода опросов. Есть огромная погрешность методов)

Не говоря уже про возможную ангажированность социологов, чьи прогнозы сами по себе могут влиять на будущий результат. Не срослось у Клинтонши. Можно и сказать, что чудо!) Не уверен, правда, что это России как то поможет. Только если в краткосрочной перспективе, кмк.
118 мнений // Ваше мнение?