?

Log in

No account? Create an account
Записи Френдолента Календарь Инфо Назад Назад Вперёд Вперёд
С опросами-то было всё в порядке - ДНЕВНИК ЭКОНОМИСТА
ksonin
ksonin
С опросами-то было всё в порядке
Прекрасно понятно, насколько сложно человеку, требующему от политика вежливости, отсутствию в его подходах любых форм дискриминации, честности и т.п. принять президентство Трампа. Но смешно, когда понятные гнев и разочарование находят такой выход - смеяться над социологами, предсказывавшими результат выборов 2016.

Предсказания "общего количества голосов" на основе опросов были хорошими - результат (+0.5-1% голосов в пользу Клинтон при средней отрыве в последние дни в 2-3%) не хуже, чем в 2000 или 2012 годах. Более того, непонятно, можно ли в принципе ожидать большей точности. Именно поэтому Нейт Сильвер постоянно, в каждой записи говорил о том, как велика дисперсия прогноза - и что видно неопределённость, которую невозможно устранить с помощью опросов. Даже сейчас непонятно, ошибалась ли команда Клинтон, отправляя своего кандидата и тех, кто за неё агитировал, в Северную Каролину и Флориду вместо Мичигана, Висконсина и Пенсильвании - непонятно, как можно было увидеть намечающийся провал (такой он маленький).

Откуда взялось ощущение "ошибки опросов"? Главное - это то, что результат бинарный (либо Трамп, либо Клинтон становятся президентом), а о прогнозах мы все - и те, кто их сам считал, и те, кто как я, не считал сам, но комментировал для широкой публики - говорили о вероятностях. Вероятностная интерпретация прогноза позволяет лучше передавать сомнения, чем бинарная, но оттенков ещё множество. Из-за особенностей американской политической системы (электорального колледжа) и специфики выборов 2016 (фактически, демократ в качестве кандидата от Республиканской партии) разница в 1-2% должна была играть решающую роль. И сыграла - вот, смотрите, как поменялась бы карта выборов, если бы Клинтон набрала на 1,5% больше (то есть выиграла бы не 1%, а 2-3%).

Более серьёзные претензии можно предъявлять не к тем, кто проводил и интепретировал опросы, а к тем, кто мог что-то видеть "в целом". Клинтон не просто проиграла важные штаты, в частности три штата из её "брандмауэра" (штаты, которые демократы не проигрывали с 1988 года). В целом страна сдвинулась "в целом" - это хорошо видно на впечатляющих графиках New York Times. (При этом я бы не сказал, как NYT, что это "сдвиг вправо", это, скорее "сдвиг в пользу республиканцев, подвинувшихся влево".) Тот факт, что демократы получили дополнительные места в парламенте (+2 в Сенате, +6 в Палате представителей) не должен обманывать - это просто результат того, что у них до этого было большое преимущество (и, значит, приходилось защищать и места, где шансы равны). Сложность в том, что "систематическую ошибку" с помощью опросов не увидишь, это была задача кого-то другого.

Я не снимаю с себя ответственности за неспособность правильно сообщить читателю моего блога, что шансы Клинтон намного (во много раз) выше, чем у Трампа, но вероятность победы Трампа - это не вероятность того, что монетка встанет на ребро. Несколько раз написал про победу "Зенита" над "Томью" или "Барселоны" над "Логроньесом". Писал, что победа Трампа вероятнее, чем были победа "Лестера" (есть такой клуб вообще?) в чемпионате Англии по футболу или победу сборной Португалии на чемпионате Европы. И, очевидно, передать эту тонкость - шансы маленькие, дисперсия большая - не удалось. Может быть потому, что читатель ждёт бинарного предсказания и, прочитав запись "шансы Клинтон 90%", думает "автор уверен в победе Клинтон"? Уверен, уверен, как уверен в победе "Зенита" и "Барселоны". А, может быть, потому что у меня не хватает способности писать так, чтобы было интересно и информативно читать, а ложного ощущения не создавалось? (Для тех читателей, которым может показаться, что я убедительно пишу, я раскрыл свою запись от 17-18 8 ноября о том, почему Клинтон победила на президентских выборах).

По факту, можно говорить о том, что комментаторы (как я) не смогли точно передать всей неопределённости результата и создали ложное ощущение у читателей. Обидно, потому что умные люди об этом писали - и я как минимум трижды ссылался на июльскую запись Шона Тренда об опасности groupthink комментаторов, сделанную по итогам Brexit, в котором опросы предсказывали результат правильно (с точностью до ошибки), но желание комментаторов и читателей видеть конкретный результат привело к совершенно смещенному (и не соответствующему опросам) впечатлению и шоку от результата. Ситуация повторилась - результат выборов хорошо бьётся с результатами опросов, но плохо - с впечатлениями, которые на основе этих опросов создавались.

UPD: Чтобы проиллюстрировать свою мысль, вот задачка. Опишите на один абзац прогноз о результатах матча "Зенит" - "Крылья Советов", который состоит 20 ноября. Вот таблица чемпионата России, вот предыстория встреч.

Метки: ,

100 мнений // Ваше мнение?
Comments
Страница 1 из 2
[1] [2]
evgeniybruskov From: evgeniybruskov Date: Ноябрь, 10, 2016 17:33 (UTC) (Ссылка)
Некоторым комментаторам главное ляпнуть: Ха, ты был неправ! Я умнее был!
(Удалённый комментарий)
vovap From: vovap Date: Ноябрь, 10, 2016 17:37 (UTC) (Ссылка)
Одной дисперсией опросов трудно обьяснить однонаправленость ошибки. Иначе говоря, Клинтон могла проиграть некоторые из штатов, где было малие преимущество, но не все. Дисперсия на то и дисперсия, чтобы давать разные выбросы. Случившееся намекает на системную ошибку а не случайность.
Уважаемый mi_b разумно пишет, что, возможно, штаб Клинтон имел лучшие данные.
ksonin From: ksonin Date: Ноябрь, 10, 2016 17:56 (UTC) (Ссылка)
Ну, а то. Именно системную ошибку не устранишь, меняя размер выборки или проводя лишние опросы.

Как раз похоже, что штаб ХК не имел лучших данных, судя по тому, где они концентрировали ресурсы. Они чуть не проиграли Вирджинию, где перестали рекламироваться летом! Байден бы не вылезал из Скрэнтона, если бы они видели, что происходит за две, скажем, недели.
xaxam From: xaxam Date: Ноябрь, 10, 2016 17:38 (UTC) (Ссылка)
Ещё два-три поста, и читатель сего блога будет уверен, что ему предъявили всю многозначность картины со всей заложенной в ней неопределённостью. А читатели сами виноваты, что сделали выводы, не предусмотренные методикой и не обратили внимание на сноски мелким шрифтом.
ksonin From: ksonin Date: Ноябрь, 10, 2016 17:54 (UTC) (Ссылка)
Если в результате каких-то моих постов какой-то читатель, хотя бы один, заподозрит, хотя бы на мгновение, что недооценил в какой-то момент многозначность какой-то картины, я буду считать свою миссию публициста выполненной, а вклад в развитие человечества существенным...

Edited at 2016-11-10 17:57 (UTC)
Alexey Makar'in From: Alexey Makar'in Date: Ноябрь, 10, 2016 17:46 (UTC) (Ссылка)
Опросы ошиблись в Висконсине на 7%. Ни один опрос не показывал Клинтон ниже 4%.
http://www.realclearpolitics.com/epolls/2016/president/wi/wisconsin_trump_vs_clinton_vs_johnson_vs_stein-5976.html

Это называется хорошие опросы? :)
По-моему, это называется непрофессионализм.
ksonin From: ksonin Date: Ноябрь, 10, 2016 17:57 (UTC) (Ссылка)
Это называется "систематическая ошибка". Как могли её устранить те, кто проводили опросы?
mikhai1_t From: mikhai1_t Date: Ноябрь, 10, 2016 18:23 (UTC) (Ссылка)
Не надо ответственность перекладывать. Опросы не ошиблись, а вот лично вы писали о победе Клинтон как о практически пред решёном а не как о средне вероятном событие, в этом может убедиться любой ваш читатель. Ни каких полутонов у вас не было, а была масса самодовольной поучительности.
Eugraf Beobachter From: Eugraf Beobachter Date: Ноябрь, 11, 2016 15:15 (UTC) (Ссылка)
Вот именно!
From: tomat56 Date: Ноябрь, 10, 2016 18:33 (UTC) (Ссылка)
Я думаю, что автор несколько лукавит. Ведь социологический опрос только тогда имеет какую-то ценность, если он отображает реальность. И интерпретация результатов любого исследования не менее важная часть исследования, чем проведение измерений. Вот тут, как мне кажется, и была зарыта собака. При проведении измерений все было, скорее всего, нормально, а вот когда нужно было их интерпретировать, то предпочли выкинуть те из результатов, которые не отвечали гипотезе о победе Клинтон. Ведь речь же не шла о вопросе, сколько процентов получит Хиллари в общенациональном масштабе. Это никого не интересовало. Опросы проводились по штатам, по графствам, по городам. И если результаты оказались совершенно противоположными тем, о которых вполне определенно говорили социологи, то это ставит под сомнение научную чистоту проведенной работы. как это ни оправдывай, налицо брак...
buddha239 From: buddha239 Date: Ноябрь, 10, 2016 18:35 (UTC) (Ссылка)
Что значит "шансы Клинтон 90%"? То, что она выиграла бы у Трампа выборы 9 раз из 10? Или всего лишь то, что 90% - результат некоторого гадания на кофейной гуще?

Если все принципиально зависело от поведения 1% избирателей, то почему шансы 90%, а не 50?
cass1an From: cass1an Date: Ноябрь, 10, 2016 19:33 (UTC) (Ссылка)
" То, что она выиграла бы у Трампа выборы 9 раз из 10? "
Это фреквентистский подход. А такого рода прогнозы делаются на байесовских идеях (точнее уже не скажу, не интересовался деталями прогнозирования). Нэйт Сильвер про свою методологию много рассказывал и на гитхабе к ней код лежит.
stkurmanov From: stkurmanov Date: Ноябрь, 10, 2016 18:40 (UTC) (Ссылка)
Здравствуйте. Кажется, у Вас, в однлм из заголовков, было что-то вроде "..., который ни разу не ошибался, предсказал победу Трампа". Тогда это казалось не очень серьезным заявлением, а теперь интересно: как ему это удалось в очередной раз?
Виталий Никольский From: Виталий Никольский Date: Ноябрь, 10, 2016 18:53 (UTC) (Ссылка)
"Я не снимаю с себя ответственности за неспособность правильно сообщить читателю моего блога, что шансы Клинтон намного (во много раз) выше, чем у Трампа, но вероятность победы Трампа - это не вероятность того, что монетка встанет на ребро."

"Всё уже, по существу, закончилось. Чтобы Трамп выиграл, нужны сюрпризы каких-то неслыханных размеров. Так можно любой прогноз сопровождать оговоркой "если не произойдёт каких-то совершенно экстраординарных событий". Такие события на уровне штатов случались - кандидаты в сенаторы и губернаторы, например, гибли в авиакатастрофах перед выборами."
Eugraf Beobachter From: Eugraf Beobachter Date: Ноябрь, 11, 2016 15:25 (UTC) (Ссылка)
Да всем уже понятно, что ЧСВ у г-на Сонина раздуто не по ранжиру. Признаться, что облажался- для него просто немыслимо. Вместо этого честного признания следует словесная эквилибристика.
From: bystander90 Date: Ноябрь, 10, 2016 18:56 (UTC) (Ссылка)
Вот про дисперсию очень верно. К самим опросам претензий быть не должно, но те, кто на их основе рисовал вероятность победы Клинтон 90%, глубоко заблуждались. Я очень внимательно следил за опросами и видел, что разрыв мог меняться на 3% за один день.

Что еще не учли - это запаздывание опросов. Последние опросы на RealClearPolitics - за 4-7 число. По Пенсильвании их скользящее среднее вообще 10/29 - 11/5, в Висконсине примерно также. Достаточно взглянуть на графики - уже понятно, что к 8-му числу эти расклады могли поменяться десять раз.
none_smilodon From: none_smilodon Date: Ноябрь, 10, 2016 19:06 (UTC) (Ссылка)
Еще один забавный способ сказать "я облажался".

Все опросы учитывали фактор выборщиков, отсюда и рисовались "вероятности избрания".


Мое предсказание матча: он будет явно не 8:0. И не 0:8.
yozhig From: yozhig Date: Ноябрь, 10, 2016 19:07 (UTC) (Ссылка)

Все по Гауссу - значит, опросы правильные, а в результатах виноват Гаусс.
Ну так и что же с мошенничеством - за кого мертвецы больше голосовали?

viru From: viru Date: Ноябрь, 10, 2016 19:13 (UTC) (Ссылка)


Edited at 2016-11-10 19:14 (UTC)
vit_r From: vit_r Date: Ноябрь, 10, 2016 19:27 (UTC) (Ссылка)
Угу. И этот удивительный феномен никто не мог предсказать и заложить в расчёты.
vit_r From: vit_r Date: Ноябрь, 10, 2016 19:24 (UTC) (Ссылка)
Если мы говорим о вероятностях и системная ошибка не зависит от прогнозистов, хотелось бы всё-таки видеть от разных социологов кроме "Клинтон победит, но у Трампа есть вероятность", ещё и "Трамп вырвался вперёд, но Клинтон может его догнать".
ksonin From: ksonin Date: Ноябрь, 10, 2016 19:34 (UTC) (Ссылка)
На 538 это было каждый день. Трамп не вырывался вперёд, но тренд в его сторону так же фиксировался.
From: dima_pr Date: Ноябрь, 10, 2016 19:28 (UTC) (Ссылка)
Слишком много людей с Вами не согласны.
-------------
“Just about every public poll we saw was wrong,” said White House press secretary Josh Earnest. “It is clear that nobody got the outcome that they expected last night. It’s just hard to tell exactly what the message from voters is.”
------------
WIRED: Trump’s Big Data Mind Explains How He Knew Trump Could Win
------------
Константин Сонин 11 октября 2016:
"Так о чём тут говорить в гонке-2016? Всё уже, по существу, закончилось. Чтобы Трамп выиграл, нужны сюрпризы каких-то неслыханных размеров."
------------
Сюрпризы неслыханных размеров это именно монетка на ребро. Или у нас с Вами разный русский язык? С учетом того, что сюрпризов как раз и не было. Никакого смеха нет, а есть удивление. Как так можно? Именно неправильное понимание ситуации и привело к поражению. Не понимали, что происходит, делали глупости. Как она вообще там оказалась с таким сочетанием антирейтинга, возраста, компромата и посредственными ораторскими способностями. Надо будет как-то разобраться...
dr_blastarr From: dr_blastarr Date: Ноябрь, 10, 2016 21:32 (UTC) (Ссылка)
Надо было говорить, как есть: перевес в количестве голосов одного из кандидатов в несколько раз меньше, чем количество неопределившихся, а также тех, чьё поведение на выборах мы не можем прогнозировать (тех, кто раньше не голосовал по принципиальным соображениям вообще). Кроме того, наши модели в принципе могут оказаться неадекватны в нынешней ситуации, когда у одного их кандидатов огромная поддержка в публичном пространстве, а от другого чуть ли не вся его партия дистанцировалась — в таких условиях можно ожидать, что сторонники Трампа начнут менее правдиво отвечать на вопросы.
Вот если бы всё это было сказано, а также даны три прогноза — два предельных варианта и один средний, то претензий к социологам не было бы.

Edited at 2016-11-10 21:49 (UTC)
buddha239 From: buddha239 Date: Ноябрь, 10, 2016 22:14 (UTC) (Ссылка)
Цитата из предыдущей записи: "Несмотря на кажущуюся необычность кандидатов – последний раз бизнесмен без опыта госуправления был кандидатом от одной из двух ведущих партий в 1940-м году, а женщина никогда не была таким кандидатом, в целом компания сошлась к стандартному «обычный республиканец» против «обычного демократа».":)
(Удалённый комментарий)
vit_r From: vit_r Date: Ноябрь, 11, 2016 05:59 (UTC) (Ссылка)
До выборов мне на это тут ответили такого в истории ещё не случалось. Но, судя по тому, что в красных штатах расхождения от опросов больше чем в синих, я ещё больше уверен, что сработали как раз эти механизмы.
yurgenfish From: yurgenfish Date: Ноябрь, 11, 2016 00:04 (UTC) (Ссылка)
Я думаю можно уже говорить об эффекте условно "брексита-трампа". Когда некое решение или кандидат отвергаются большинством истеблишмента и мейнстримных СМИ, появляется некая группа людей, которые в опросах стесняются сказать, что поддерживают это решение или кандидата, а в реальности за него голосуют.
Вот они эти 2-3 процента и пришли голосовать.
Опросами такое поймать принципиально невозможно, нужно в таких случаях вводить некую поправку.
From: abba65 Date: Ноябрь, 11, 2016 01:47 (UTC) (Ссылка)
Это давно известный "Эффект Брэдли" (см. Википедию), он же "Эффект Жириновского".
Как и любой системный сдвиг, ловится не опросами, а интерпретацией опросов. Конечно, не всегда успешно.

Парадокс в том, что на прошедших выборах этот эффект был учтен хорошо. Не удалось в полной мере учесть другой эффект: на выборы пришли люди, которые не должны были прийти (никогда не приходили и не собирались).
vatopedia From: vatopedia Date: Ноябрь, 11, 2016 01:41 (UTC) (Ссылка)

хехе

А я 5-го числа расписал, как может быть. Отрывок:

Рулетка выборов. Судьбу Белого дома решит случайность dsnews.ua Суббота, 5 Ноября 2016, 20:00

...Исходя из вышесказанного, а также того, что для победы на президентских выборах кандидат должен получить не менее 270 голосов штатов (коллегии выборщиков), RCP проецирует в последние предвыборные дни 226 очков у команды Клинтон/Кейн и 180 - у команды Трамп/Пенс. Схватка за оставшиеся 132 голоса продолжается и по понятным причинам лишь ужесточилась.

При всем - сократившемся - резерве Клинтон, в данном случае от конкретных прогнозов лучше воздержаться, поскольку джокер с Коми (которому несколько уныло противопоставили лишь вторичную поддержку Трампа Ку-Клукс-Кланом) на этом игральном столе завертелся и встал на ребро.

Оглянувшись назад (см. справку), нетрудно увидеть, что новый фактор в нынешней избирательной кампании в США - это аутсайдер, прорвавшийся в кандидаты от одной из партий, а соответственно и сравнивать такую ситуацию исторически особенно и не с чем. Могут быть только варианты.

...Первый - срабатывает партийная мобилизационная машина и недоверие к Трампу, и Клинтон побеждает с огромным отрывом.

...Второй: прохладность масс к Клинтон и свежий скандал срабатывают куммулятивно - Трамп, набирая на этом очки в последние дни выходит вперед за счет ключевых "проблемных" штатов, таких как Огайо и Флорида, если Клинтон, в свою очередь, проигрывает в Пенсильвании и паре крупных середняков.

Поэтому пружина интриги сжата очень туго. Когда она развернется в ночь со вторника на среду - скучно не будет никому.
luxs135 From: luxs135 Date: Ноябрь, 11, 2016 01:50 (UTC) (Ссылка)
А вы уверены, что опросы дают честный ответ?
т.е. опрашиваемый думает одно, а публично говорит другое.
e2pii1 From: e2pii1 Date: Ноябрь, 11, 2016 02:15 (UTC) (Ссылка)
Вы например написали в посте 31 Окт:

"
2) Убедиться, что Трамп проигрывает Северную Каролину. В этом штате голосование идёт уже неделю и все мыслимые индикаторы показывают, что у Клинтон большое преимущество.
"

Но если посмотреть ссылку, которую Вы затем дали - там нет никакого "большого преимущества Клинтон": по приведенным там цифрам достаточно 1% ошибки в их численной оценке чтоб выиграл Трамп !

Т.е. Вы неаккуратно сформулировали вывод.

ksonin From: ksonin Date: Ноябрь, 11, 2016 08:09 (UTC) (Ссылка)
Когда я давал ссылку, разница была 7%, а не 1%. Это пост с обновляющимися цифрами. Задним умом, не нужно было на него ссылку давать.
arbat From: arbat Date: Ноябрь, 11, 2016 04:02 (UTC) (Ссылка)
"Прекрасно понятно, насколько сложно человеку, требующему от политика вежливости, отсутствию в его подходах любых форм дискриминации, честности и т.п. принять президентство Трампа."

А у Вас есть какая-нибудь статья, которая бы начиналась словами:

"Прекрасно понятно, насколько сложно человеку, требующему от политика не быть воровкой, взяточницей, не уничтожать свидетельства преступления, не врать под присягой, не врать Конгрессу, и не наносить вреда национальной безопасности и т.п, принять возможность президентства Хиллари"
(Удалённый комментарий)
Michael Bychkov From: Michael Bychkov Date: Ноябрь, 11, 2016 04:43 (UTC) (Ссылка)
Как идея: провести аналогичные опросы (позитивные для Клинтон) после выборов, на тех же выборках и посмотреть кто "стал" президентом. Если теперь уже Трамп, то можно говорить об изменении позиции избирателей после последнего опроса. Ну а если та же Клинтон, то методичку пора менять.
zomaho From: zomaho Date: Ноябрь, 11, 2016 05:51 (UTC) (Ссылка)
Константин Исаакович, тут есть более важная штука. По прошлому посту видно, что слова о том, что шансы Трампа относительно велики, были обычным кокетством прогнозиста, а вот всерьез подумать заранее о том, что будет в случае победы Трампа, вы совсем не давали себе труда, потому что были внутри полностью уверены в победе Клинтон. Вот это звоночек, так нельзя.
ksonin From: ksonin Date: Ноябрь, 11, 2016 08:11 (UTC) (Ссылка)
Был уверен ещё в 18 вечера 8 ноября.
thread2 From: thread2 Date: Ноябрь, 11, 2016 07:05 (UTC) (Ссылка)
я бы еще добавил ссылку на пост со следующей цитатой:

"Так о чём тут говорить в гонке-2016? Всё уже, по существу, закончилось. Чтобы Трамп выиграл, нужны сюрпризы каких-то неслыханных размеров. "

про прогнозы -- все верно, про статистику -- все правильно сказано тоже, но со "все закончилось" после трампа и брекзита я бы в следующий раз был аккуратнее.

зы. речь не о том, что комментаторы "не передали всей неопределенности результата". речь о том, что комментатор, который, глядя на вероятность в 90%, пишет, что "все уже, по существу, закончилось", будет ошибаться примерно один раз из десяти.

ззы. соответственно, я бы воздержался от задачек. хотя бы на один пост. так гораздо красивее выглядит. поверьте.

100 мнений // Ваше мнение?
Страница 1 из 2
[1] [2]