?

Log in

No account? Create an account
Записи Френдолента Календарь Инфо Назад Назад Вперёд Вперёд
К причинам ошибочных прогнозов победы Трампа - ДНЕВНИК ЭКОНОМИСТА
ksonin
ksonin
К причинам ошибочных прогнозов победы Трампа
Как я уже писал, неожиданность победы Трампа была вызвана комбинацией трёх вещей, в порядке возрастания важности. Во-первых, ошибочными предсказаниями тех, кто проводил соцопросы - хотя эти ошибки были небольшими и, в исторической перспективе, обычными. Во-вторых, тех, кто комментировал и интерпретировал результаты опросов - даже если они упоминали (как я), что шанс в 85-90% это далеко не то же самое, что 100%, найти правильный и убедительный тон, как показал результат, не удалось. Mea culpa. В-третьих, читающая публика пропускает все оговорки (что вероятность 90% - это вероятность победы "Урала" над ЦСКА на его поле) и сосредотачивается только на бинарном ("или-или") предсказании. Но Бог, с ними, с ошибками. Даже сейчас довольно трудно понять, что на самом деле произошло - и с опросами, и с "общей картиной".

Про опросы - вот только сейчас, почти через месяц после выборов и огромного множества комментариев, я увидел первый полноценно информативный мини-анализ. Нейт Сильвер приводит данные о том, почему в соцопросах было то смещение, которые давало слишком большой, в вероятностном смысле, перевес Клинтон в прогнозах. Это, грубо говоря, недооценка разница в готовности необразованных людей отвечать на опросы по сравнению с готовностью образованных.

Конечно, социологи прекрасно знают, что желание человека отвечать на вопросы определяется множеством факторов. (И вовсе не факт, a priori, что необразованные отвечают менее охотно - у образованных время дороже.) Поэтому результаты любого опроса, чтобы превратить его в прогноз, "взвешиваются" с учётом желания отвечать. То есть когда какой-то человек что-то ответил социологам о своих предпочтениях, то они получают довольно хорошую (как показывает многолетняя практика) информацию о том, как голосуют люди такого типа. Но потом надо учесть, насколько люди такого типа представлены в (будущей) выборке из всех избирателей, а это трудно. Очень грубо - социологи хорошо знают, как проголосует избиратель - 40+ малообразованная испаноязычная женщина, но трудно оценить сколько таких избирателей придёт голосовать. Даже разбиение на категории (возраст, образование, язык) - сложная процедура, требующая множества мелких решений со стороны исследователя. Но если бы это и было просто, то как правильно выбрать "веса" - те самые пропорции, в которых опрошенные представлены среди избирателей? Чаще всего веса выбираются с помощью данных о соотношении результатов прошедших выборов с результатами опросов перед теми выборами. И это, конечно, приводит к проблемам каждый раз, когда происходит какое-то изменение в том, с какой вероятностью люди конкретного типа приходят на выборы или отвечают на опрос. (То, что в середине дня выборов в 2004 году казалось, что Керри побеждает с убедительным перевесом - классический результат такой ситуации. Довольно чётко очерченная группа избирателей была представлена на тех выборах больше, чем на предыдущих.)

В этот раз Сильвер с помощью элементарных статистических процедур показывает, что была систематическая ошибка, связанная с тем, что в 2016 году уровень образования, как оказалось, играл большую роль и, одновременно, по всей видимости, была серьёзная разница между готовностью людей с разным уровнем образования отвечать на опросы. Социологи знают про такую разницу, например, между людьми с английским и испанским языком в качестве основного и лучшие опросы учитывают не только эту разницу, но и то, что испаноязычные избиратели отвечают по-разному в зависимости от того, на каком языке проводится опрос. Но с уровнем образования это не было так понятно в предыдущие циклы. (Это трудно - например, многие чёрные избиратели - "малообразованные", так что даже на основе больших опросов трудно понять - они не отвечают, потому что "чёрные" или потому что "малообразованные", а ведь во всей выборке соотношение этих групп разное.) А похоже, как раз этот параметр играл важную роль.

В анализе Сильвера особенно убедительно то, что результаты опросов, правильно скорректированные с учётом разной доли граждан без высшего образования, показывают не смещенность исходных опросов в сторону Клинтон, а смещенность в пользу Клинтон в штатах с высокой долей малообразованных граждан и в пользу Трампа в штатах с низкой долей. Все обсуждают то, что в Пенсильвании, Мичигане и Висконсине Трамп показал результаты намного лучше тех, чем предсказывали опросы, потому что эти штаты сыграли в итоге решающую роль, но в Массачусеттсе, Иллинойсе и Калифорнии опросы ошибались, и довольно сильно, в пользу Трампа. То есть сами опросы не были особенно «смещены в пользу Клинтон». Они были «смещены в сторону интересов граждан с высшим образованием», причём это смещение суммарно по всем штатам усреднилось практически до нуля (поэтому национальные прогнозы оказались очень точными – в среднем они предсказывали победу Клинтон в 3,5%, а оказалось – почти в 2,1%). Но, поскольку самые большие «смещения в сторону высокообразованных» на уровне штатов были в тех штатах, в которых при прочих равных был более ровный расклад между республиканцами и демократами, они привели к довольно убедительной победе Трампа в коллегии выборщиков.

Метки:

118 мнений // Ваше мнение?
Comments
Страница 1 из 2
[1] [2]
From: mokhoviki Date: Декабрь, 3, 2016 15:11 (UTC) (Ссылка)
Деньжат надо больше социологам для увеличения базы опрашиваемых до пары миллионов+суперкомпьютеры, или разрешить задавать вопросы третьей степени.
buddha239 From: buddha239 Date: Декабрь, 3, 2016 15:18 (UTC) (Ссылка)
Или, наоборот, меньше - чтобы переставали гадать на кофейной гуще.:)

Не думаю, что проблема в размере выборки; самое трудное, как следует из поста, восстановить общую картину по ответам тех терпил, кто не послал социологов куда подальше.
buddha239 From: buddha239 Date: Декабрь, 3, 2016 15:15 (UTC) (Ссылка)
Это все интересно и, вероятно, правильно. Но не дает ответа на вопрос: почему все "эксперты" так рвутся предсказать результат выборов, если все так сложно (во что мне легко поверить)?

Почему в ситуации минимального перевеса нужно говорить, что шансы Клинтон 90%? Только потому, что такие шансы дает модель, которую успешно подогнали под предыдущие выборы?
homo_forsaken From: homo_forsaken Date: Декабрь, 3, 2016 15:45 (UTC) (Ссылка)
Вот удивляют ваши претензии.

А почему на основании имеющихся моделей нужно предсказывать погоду за окном? Ведь прогноз не всегда оказывается точен.
public_anarchy From: public_anarchy Date: Декабрь, 3, 2016 15:25 (UTC) (Ссылка)
Вы нас даже не представляете. Вот и весь сказ. И нечего тут усложнять)
leokand From: leokand Date: Декабрь, 3, 2016 15:32 (UTC) (Ссылка)
А до Трампа был Брекзит. А после Трампа — Фийон. Тенденция, однако!
ksonin From: ksonin Date: Декабрь, 3, 2016 16:15 (UTC) (Ссылка)
Не, Фийон это ровно такой же сюрприз, как любой другой французский политик. Тут никто и не претендовал на точность предсказания.
zomaho From: zomaho Date: Декабрь, 3, 2016 15:58 (UTC) (Ссылка)
Видел этот анализ, первый сколько-нибудь годный, а не "что же с нами стало", пожалуй.
ksonin From: ksonin Date: Декабрь, 3, 2016 16:18 (UTC) (Ссылка)
Да, что-то много белого шума после этих выборов. Они, как бы это сказать, дают простор для интерпретаций...
From: bystander90 Date: Декабрь, 3, 2016 16:27 (UTC) (Ссылка)
А как вы относитесь к гипотезе, что избирательные системы были взломаны хакерами?

Подробнее:
theguardian. com/technology/2016/oct/07/us-russia-dnc-hack-interfering-presidential-election
docs. google.com/a/guardian.co.uk/forms/d/e/1FAIpQLSdwQa-5YTdMJP4U1mqRLihr1wG4Kz8Nw58lTGFabrcZprUkYw/viewform?c=0&w=1
theguardian. com/us-news/2016/nov/23/jill-stein-election-recount-fund-michigan-wisconsin-pennsylvania
From: nahernah Date: Декабрь, 3, 2016 19:07 (UTC) (Ссылка)
Голосовальные машины в Мичигане, Висконсине и Пенсильвании к Интернету не подключены
xaxam From: xaxam Date: Декабрь, 3, 2016 17:22 (UTC) (Ссылка)
"Эх, дурак! песню испортил" (с).
ksonin From: ksonin Date: Декабрь, 3, 2016 23:03 (UTC) (Ссылка)
Не понял. Дно я помню смутно, но, кажется, если бы я и хорошо помнил, то не понимал бы.
zlata_gl From: zlata_gl Date: Декабрь, 3, 2016 17:39 (UTC) (Ссылка)
Вы уверены, что социологам врали именно "необразованные" ?
Мне кажется более правдоподобным, что именно образованные не говорили правду, боясь, что это станет известно начальству и коллегам...
gena_t From: gena_t Date: Декабрь, 3, 2016 17:53 (UTC) (Ссылка)
Как я понял, никто особенно не врал. Необразованные белые американцы честно сказали, что пойдут голосовать за Трампа. Просто социологи думали, что они как обычно на выборы не очень пойдут, а они взяли и пошли. На прошлых выборах у негров был свой кандидат, а теперь вот у них.
alersandra From: alersandra Date: Декабрь, 3, 2016 18:42 (UTC) (Ссылка)
А причина по-моему одна единственная - те, кто строит модели плохо понимает реальность... т.е. модели стоить научились, а понимать реальность -нет. Высокомерие строителей моделей плохой помощник в понимании жизни вокруг. Да и значение образования несколько преувеличено... в конце концов А.Чехов давно написал, что университетское образование развивает все способности, в том числе и глупость. Образование не прибавляет ума человеку...
talgaton From: talgaton Date: Декабрь, 4, 2016 02:42 (UTC) (Ссылка)
основа модели: "все кто голосует за Трапа - необразованное быдло."
все остальное - вторично.
From: onanimzade100 Date: Декабрь, 3, 2016 19:28 (UTC) (Ссылка)
Да расслабься уже. Эпик фейл и эпик фейл.
Видишь, научился же пысать прально коллегия выборщиков, а не колледж какой-то. Прогрессируешь на глазах.
ksonin From: ksonin Date: Декабрь, 3, 2016 23:02 (UTC) (Ссылка)
Ты немножко протрезвел?
yozhig From: yozhig Date: Декабрь, 3, 2016 21:00 (UTC) (Ссылка)

Хорошая новость в том, что причина отрицательной корреляции прогнозов не поименована - стало быть, можно по-прежнему рассчитывать на них.

talgaton From: talgaton Date: Декабрь, 4, 2016 02:41 (UTC) (Ссылка)
"Политик должен уметь предсказать, что произойдет завтра, через неделю, через месяц и через год. А потом объяснить, почему этого не произошло."

то что написано - изящный реверанс - все кто голосует за Трапа - необразованное быдло.
три страницы формул прилагаются.
но мы то поняли.

ksonin From: ksonin Date: Декабрь, 4, 2016 14:49 (UTC) (Ссылка)
Скорее, Вы не "поняли", а "продемонстрировали, что не умеете читать" :)
(Удалённый комментарий)
zlata_gl From: zlata_gl Date: Декабрь, 4, 2016 11:12 (UTC) (Ссылка)

чтобы понять феномен Трампа надо жить долго в Америке,

Можно подумать, ВСЕ американские социологи только что приехали из России.
Хозяина журнала можно оправдать за простодушную доверчивость к американским социологам, скупленным на корню понятно кем.
Человек, который только что приехал из другой страны (с не очень-то честными выборами и социологами), очень хотел надеяться, что на новом месте - все иначе.
Выборы там - может и получше, но социологи - уж точно, что нет.
(Удалённый комментарий)
From: Тестов Тестов Date: Декабрь, 4, 2016 06:13 (UTC) (Ссылка)
Неохотность белых необразованных отвечать на опросы не объясняет результат в DC.

Более вероятен эффект, тщательно исследованный Timur Kuran - о существовании индивидуальной публичной и приватной правды. Избиратели могли неохотно высказывать свои приватные предпочтения кандидата, систематически демонизировавшегося леволиберальной прессой.

Последний абзац у Силвера замечателен и ставит жирный крест на почти всей социологической науке: предсказания, сделанные на основе социологических опросов - такое же "pretence of knowledge", как и предсказания и теории экономистов. И те, и другие страдают от того, что было лет тридцать назад так хорошо описано Edward Leamer в Specification searches.
ksonin From: ksonin Date: Декабрь, 4, 2016 14:47 (UTC) (Ссылка)
Как раз свидетельств "частной правды" Курана на выборах 2016 не обнаружено. Никто, судя по всему, не "обманывал" социологов.
k_150 From: k_150 Date: Декабрь, 4, 2016 06:26 (UTC) (Ссылка)
Проблема не в том, что социологи уделались, проблема в том, что они уделались в критический момент. Подняли ставки в десять раз, сдали себе четыре дамы, и попали под четырёх тузов из другой колоды.
ksonin From: ksonin Date: Декабрь, 4, 2016 14:47 (UTC) (Ссылка)
Непонятно.
118 мнений // Ваше мнение?
Страница 1 из 2
[1] [2]