?

Log in

No account? Create an account
Записи Френдолента Календарь Инфо Назад Назад Вперёд Вперёд
С опросами-то было всё в порядке - ДНЕВНИК ЭКОНОМИСТА
ksonin
ksonin
С опросами-то было всё в порядке
Прекрасно понятно, насколько сложно человеку, требующему от политика вежливости, отсутствию в его подходах любых форм дискриминации, честности и т.п. принять президентство Трампа. Но смешно, когда понятные гнев и разочарование находят такой выход - смеяться над социологами, предсказывавшими результат выборов 2016.

Предсказания "общего количества голосов" на основе опросов были хорошими - результат (+0.5-1% голосов в пользу Клинтон при средней отрыве в последние дни в 2-3%) не хуже, чем в 2000 или 2012 годах. Более того, непонятно, можно ли в принципе ожидать большей точности. Именно поэтому Нейт Сильвер постоянно, в каждой записи говорил о том, как велика дисперсия прогноза - и что видно неопределённость, которую невозможно устранить с помощью опросов. Даже сейчас непонятно, ошибалась ли команда Клинтон, отправляя своего кандидата и тех, кто за неё агитировал, в Северную Каролину и Флориду вместо Мичигана, Висконсина и Пенсильвании - непонятно, как можно было увидеть намечающийся провал (такой он маленький).

Откуда взялось ощущение "ошибки опросов"? Главное - это то, что результат бинарный (либо Трамп, либо Клинтон становятся президентом), а о прогнозах мы все - и те, кто их сам считал, и те, кто как я, не считал сам, но комментировал для широкой публики - говорили о вероятностях. Вероятностная интерпретация прогноза позволяет лучше передавать сомнения, чем бинарная, но оттенков ещё множество. Из-за особенностей американской политической системы (электорального колледжа) и специфики выборов 2016 (фактически, демократ в качестве кандидата от Республиканской партии) разница в 1-2% должна была играть решающую роль. И сыграла - вот, смотрите, как поменялась бы карта выборов, если бы Клинтон набрала на 1,5% больше (то есть выиграла бы не 1%, а 2-3%).

Более серьёзные претензии можно предъявлять не к тем, кто проводил и интепретировал опросы, а к тем, кто мог что-то видеть "в целом". Клинтон не просто проиграла важные штаты, в частности три штата из её "брандмауэра" (штаты, которые демократы не проигрывали с 1988 года). В целом страна сдвинулась "в целом" - это хорошо видно на впечатляющих графиках New York Times. (При этом я бы не сказал, как NYT, что это "сдвиг вправо", это, скорее "сдвиг в пользу республиканцев, подвинувшихся влево".) Тот факт, что демократы получили дополнительные места в парламенте (+2 в Сенате, +6 в Палате представителей) не должен обманывать - это просто результат того, что у них до этого было большое преимущество (и, значит, приходилось защищать и места, где шансы равны). Сложность в том, что "систематическую ошибку" с помощью опросов не увидишь, это была задача кого-то другого.

Я не снимаю с себя ответственности за неспособность правильно сообщить читателю моего блога, что шансы Клинтон намного (во много раз) выше, чем у Трампа, но вероятность победы Трампа - это не вероятность того, что монетка встанет на ребро. Несколько раз написал про победу "Зенита" над "Томью" или "Барселоны" над "Логроньесом". Писал, что победа Трампа вероятнее, чем были победа "Лестера" (есть такой клуб вообще?) в чемпионате Англии по футболу или победу сборной Португалии на чемпионате Европы. И, очевидно, передать эту тонкость - шансы маленькие, дисперсия большая - не удалось. Может быть потому, что читатель ждёт бинарного предсказания и, прочитав запись "шансы Клинтон 90%", думает "автор уверен в победе Клинтон"? Уверен, уверен, как уверен в победе "Зенита" и "Барселоны". А, может быть, потому что у меня не хватает способности писать так, чтобы было интересно и информативно читать, а ложного ощущения не создавалось? (Для тех читателей, которым может показаться, что я убедительно пишу, я раскрыл свою запись от 17-18 8 ноября о том, почему Клинтон победила на президентских выборах).

По факту, можно говорить о том, что комментаторы (как я) не смогли точно передать всей неопределённости результата и создали ложное ощущение у читателей. Обидно, потому что умные люди об этом писали - и я как минимум трижды ссылался на июльскую запись Шона Тренда об опасности groupthink комментаторов, сделанную по итогам Brexit, в котором опросы предсказывали результат правильно (с точностью до ошибки), но желание комментаторов и читателей видеть конкретный результат привело к совершенно смещенному (и не соответствующему опросам) впечатлению и шоку от результата. Ситуация повторилась - результат выборов хорошо бьётся с результатами опросов, но плохо - с впечатлениями, которые на основе этих опросов создавались.

UPD: Чтобы проиллюстрировать свою мысль, вот задачка. Опишите на один абзац прогноз о результатах матча "Зенит" - "Крылья Советов", который состоит 20 ноября. Вот таблица чемпионата России, вот предыстория встреч.

Метки: ,

99 мнений // Ваше мнение?
Comments
Страница 1 из 3
[1] [2] [3]
evgeniybruskov From: evgeniybruskov Date: Ноябрь, 10, 2016 17:33 (UTC) (Ссылка)
Некоторым комментаторам главное ляпнуть: Ха, ты был неправ! Я умнее был!
(Удалённый комментарий)
vovap From: vovap Date: Ноябрь, 10, 2016 17:37 (UTC) (Ссылка)
Одной дисперсией опросов трудно обьяснить однонаправленость ошибки. Иначе говоря, Клинтон могла проиграть некоторые из штатов, где было малие преимущество, но не все. Дисперсия на то и дисперсия, чтобы давать разные выбросы. Случившееся намекает на системную ошибку а не случайность.
Уважаемый mi_b разумно пишет, что, возможно, штаб Клинтон имел лучшие данные.
ksonin From: ksonin Date: Ноябрь, 10, 2016 17:56 (UTC) (Ссылка)
Ну, а то. Именно системную ошибку не устранишь, меняя размер выборки или проводя лишние опросы.

Как раз похоже, что штаб ХК не имел лучших данных, судя по тому, где они концентрировали ресурсы. Они чуть не проиграли Вирджинию, где перестали рекламироваться летом! Байден бы не вылезал из Скрэнтона, если бы они видели, что происходит за две, скажем, недели.
xaxam From: xaxam Date: Ноябрь, 10, 2016 17:38 (UTC) (Ссылка)
Ещё два-три поста, и читатель сего блога будет уверен, что ему предъявили всю многозначность картины со всей заложенной в ней неопределённостью. А читатели сами виноваты, что сделали выводы, не предусмотренные методикой и не обратили внимание на сноски мелким шрифтом.
ksonin From: ksonin Date: Ноябрь, 10, 2016 17:54 (UTC) (Ссылка)
Если в результате каких-то моих постов какой-то читатель, хотя бы один, заподозрит, хотя бы на мгновение, что недооценил в какой-то момент многозначность какой-то картины, я буду считать свою миссию публициста выполненной, а вклад в развитие человечества существенным...

Edited at 2016-11-10 17:57 (UTC)
Alexey Makar'in From: Alexey Makar'in Date: Ноябрь, 10, 2016 17:46 (UTC) (Ссылка)
Опросы ошиблись в Висконсине на 7%. Ни один опрос не показывал Клинтон ниже 4%.
http://www.realclearpolitics.com/epolls/2016/president/wi/wisconsin_trump_vs_clinton_vs_johnson_vs_stein-5976.html

Это называется хорошие опросы? :)
По-моему, это называется непрофессионализм.
ksonin From: ksonin Date: Ноябрь, 10, 2016 17:57 (UTC) (Ссылка)
Это называется "систематическая ошибка". Как могли её устранить те, кто проводили опросы?
mikhai1_t From: mikhai1_t Date: Ноябрь, 10, 2016 18:23 (UTC) (Ссылка)
Не надо ответственность перекладывать. Опросы не ошиблись, а вот лично вы писали о победе Клинтон как о практически пред решёном а не как о средне вероятном событие, в этом может убедиться любой ваш читатель. Ни каких полутонов у вас не было, а была масса самодовольной поучительности.
Eugraf Beobachter From: Eugraf Beobachter Date: Ноябрь, 11, 2016 15:15 (UTC) (Ссылка)
Вот именно!
From: tomat56 Date: Ноябрь, 10, 2016 18:33 (UTC) (Ссылка)
Я думаю, что автор несколько лукавит. Ведь социологический опрос только тогда имеет какую-то ценность, если он отображает реальность. И интерпретация результатов любого исследования не менее важная часть исследования, чем проведение измерений. Вот тут, как мне кажется, и была зарыта собака. При проведении измерений все было, скорее всего, нормально, а вот когда нужно было их интерпретировать, то предпочли выкинуть те из результатов, которые не отвечали гипотезе о победе Клинтон. Ведь речь же не шла о вопросе, сколько процентов получит Хиллари в общенациональном масштабе. Это никого не интересовало. Опросы проводились по штатам, по графствам, по городам. И если результаты оказались совершенно противоположными тем, о которых вполне определенно говорили социологи, то это ставит под сомнение научную чистоту проведенной работы. как это ни оправдывай, налицо брак...
buddha239 From: buddha239 Date: Ноябрь, 10, 2016 18:35 (UTC) (Ссылка)
Что значит "шансы Клинтон 90%"? То, что она выиграла бы у Трампа выборы 9 раз из 10? Или всего лишь то, что 90% - результат некоторого гадания на кофейной гуще?

Если все принципиально зависело от поведения 1% избирателей, то почему шансы 90%, а не 50?
cass1an From: cass1an Date: Ноябрь, 10, 2016 19:33 (UTC) (Ссылка)
" То, что она выиграла бы у Трампа выборы 9 раз из 10? "
Это фреквентистский подход. А такого рода прогнозы делаются на байесовских идеях (точнее уже не скажу, не интересовался деталями прогнозирования). Нэйт Сильвер про свою методологию много рассказывал и на гитхабе к ней код лежит.
stkurmanov From: stkurmanov Date: Ноябрь, 10, 2016 18:40 (UTC) (Ссылка)
Здравствуйте. Кажется, у Вас, в однлм из заголовков, было что-то вроде "..., который ни разу не ошибался, предсказал победу Трампа". Тогда это казалось не очень серьезным заявлением, а теперь интересно: как ему это удалось в очередной раз?
Виталий Никольский From: Виталий Никольский Date: Ноябрь, 10, 2016 18:53 (UTC) (Ссылка)
"Я не снимаю с себя ответственности за неспособность правильно сообщить читателю моего блога, что шансы Клинтон намного (во много раз) выше, чем у Трампа, но вероятность победы Трампа - это не вероятность того, что монетка встанет на ребро."

"Всё уже, по существу, закончилось. Чтобы Трамп выиграл, нужны сюрпризы каких-то неслыханных размеров. Так можно любой прогноз сопровождать оговоркой "если не произойдёт каких-то совершенно экстраординарных событий". Такие события на уровне штатов случались - кандидаты в сенаторы и губернаторы, например, гибли в авиакатастрофах перед выборами."
Eugraf Beobachter From: Eugraf Beobachter Date: Ноябрь, 11, 2016 15:25 (UTC) (Ссылка)
Да всем уже понятно, что ЧСВ у г-на Сонина раздуто не по ранжиру. Признаться, что облажался- для него просто немыслимо. Вместо этого честного признания следует словесная эквилибристика.
From: bystander90 Date: Ноябрь, 10, 2016 18:56 (UTC) (Ссылка)
Вот про дисперсию очень верно. К самим опросам претензий быть не должно, но те, кто на их основе рисовал вероятность победы Клинтон 90%, глубоко заблуждались. Я очень внимательно следил за опросами и видел, что разрыв мог меняться на 3% за один день.

Что еще не учли - это запаздывание опросов. Последние опросы на RealClearPolitics - за 4-7 число. По Пенсильвании их скользящее среднее вообще 10/29 - 11/5, в Висконсине примерно также. Достаточно взглянуть на графики - уже понятно, что к 8-му числу эти расклады могли поменяться десять раз.
none_smilodon From: none_smilodon Date: Ноябрь, 10, 2016 19:06 (UTC) (Ссылка)
Еще один забавный способ сказать "я облажался".

Все опросы учитывали фактор выборщиков, отсюда и рисовались "вероятности избрания".


Мое предсказание матча: он будет явно не 8:0. И не 0:8.
yozhig From: yozhig Date: Ноябрь, 10, 2016 19:07 (UTC) (Ссылка)

Все по Гауссу - значит, опросы правильные, а в результатах виноват Гаусс.
Ну так и что же с мошенничеством - за кого мертвецы больше голосовали?

viru From: viru Date: Ноябрь, 10, 2016 19:13 (UTC) (Ссылка)


Edited at 2016-11-10 19:14 (UTC)
vit_r From: vit_r Date: Ноябрь, 10, 2016 19:27 (UTC) (Ссылка)
Угу. И этот удивительный феномен никто не мог предсказать и заложить в расчёты.
vit_r From: vit_r Date: Ноябрь, 10, 2016 19:24 (UTC) (Ссылка)
Если мы говорим о вероятностях и системная ошибка не зависит от прогнозистов, хотелось бы всё-таки видеть от разных социологов кроме "Клинтон победит, но у Трампа есть вероятность", ещё и "Трамп вырвался вперёд, но Клинтон может его догнать".
ksonin From: ksonin Date: Ноябрь, 10, 2016 19:34 (UTC) (Ссылка)
На 538 это было каждый день. Трамп не вырывался вперёд, но тренд в его сторону так же фиксировался.
From: dima_pr Date: Ноябрь, 10, 2016 19:28 (UTC) (Ссылка)
Слишком много людей с Вами не согласны.
-------------
“Just about every public poll we saw was wrong,” said White House press secretary Josh Earnest. “It is clear that nobody got the outcome that they expected last night. It’s just hard to tell exactly what the message from voters is.”
------------
WIRED: Trump’s Big Data Mind Explains How He Knew Trump Could Win
------------
Константин Сонин 11 октября 2016:
"Так о чём тут говорить в гонке-2016? Всё уже, по существу, закончилось. Чтобы Трамп выиграл, нужны сюрпризы каких-то неслыханных размеров."
------------
Сюрпризы неслыханных размеров это именно монетка на ребро. Или у нас с Вами разный русский язык? С учетом того, что сюрпризов как раз и не было. Никакого смеха нет, а есть удивление. Как так можно? Именно неправильное понимание ситуации и привело к поражению. Не понимали, что происходит, делали глупости. Как она вообще там оказалась с таким сочетанием антирейтинга, возраста, компромата и посредственными ораторскими способностями. Надо будет как-то разобраться...
99 мнений // Ваше мнение?
Страница 1 из 3
[1] [2] [3]