?

Log in

Записи Френдолента Календарь Инфо Назад Назад Вперёд Вперёд
Мы познакомимся в субботу, в полвторого в торговом центре "Бирюсинка" в Бирюлёво... - ДНЕВНИК ЭКОНОМИСТА
ksonin
ksonin
Мы познакомимся в субботу, в полвторого в торговом центре "Бирюсинка" в Бирюлёво...
Это может показаться странным – писать рецензию после того, как прочёл треть книги. Тем более, рецензию восторженную. Но я боюсь, что завтра закручусь, книга будет дочитана только в один из следующих полетов и, если краткий отзыв писать тогда, от первого впечатления не останется и следа.

Нейт Сильвер, «Сигнал и шум. Искусство и наука прогноза». Интересно, что перед этим, остановившись у стойки художественной прозы, я взял в руки «Шум и ярость» Фолкнера и думал, не прочесть ли его на английском – вдруг то, что было столь тяжёлым в детстве на русском, как тот же Уайлдер, окажется прекрасным в оригинале. Тема шума, видимо, прочно окопалась в подсознании…

Так вот, Нейт Сильвер – тот самый человек, чьи записи в блоге 538 на сайте NYT я раз за разом рекламировал во время американской избирательной кампании 2012 года. Не только и не столько потому, что нужно, когда комментируешь выборы в реальном времени, ссылаться на последние опросы, а потому, что Сильвер после каждой манипуляции с данными подробно объяснял, что и как следует интерпретировать. Причём – здесь уже была заметна его уникальность – несмотря на то, что он работал на фантастически конкурентном рынке, его комментарии почти целиком состояли из объяснений, как можно ошибочно придать прогнозу слишком чёткую интерпретацию. Не скромность – правильное понимание того, что такое прогноз и как соотносятся технические методы анализа данных и общая точность предсказаний.

Впрочем, и скромность тоже – в отличие от множества знаменитостей последнего времени, Сильвер говорит о решающей роли удачи в его собственной славе. Бейсбольный фанат с шести лет, он впервые прославился моделью, прогнозировавший бейсбольные исходы (не только матчи, но и конкретные успехи отдельных игроков). А это, оказывается, один из самых предсказуемых видов спорта вообще. Кстати, Сильвер не зря скромничает: когда он говорит про данные, с которыми работал, получается отлично, но вот когда он приводит примеры из мировой истории, бывают промахи.

… Книга начинается слегка неожиданно: в эпоху Big Data (как это сказать по-русски, чтобы было и точно, и ёмко, и коротко?) нам становится труднее получать и обрабатывать информацию. Наши мозги заточены на поиск стандартных закономерностей в потоке новых данных и мы чаще промахиваемся, если наша исходная модель оказывается неадекватной. А как можно этого избежать, если без простых стереотипов невозможно осваивать новые массивы сведений? Если мы участвуем в каком-то споре, мы всё сильнее встраиваем то, что узнали нового, в свои исходные предпосылки; новая, более полная информация часто разделяет, а не сближает позиции. Тем более, что в последние десятилетия появились каналы информации, «привязанные» к индивидуальному потребителю – от газет и телепередач, рассчитанных на узкие группы однородных читателей/зрителей, то настраиваемых лент новостей, RSS- и т.п.

Сильвер, приведя совсем немного общих соображений, переходит к примерам – он сам начинал с прогнозов в бейсболе и покере и достиг немалых успехов, а известным стал – в тридцать лет – после удачных политических прогнозов 2008 и 2012 годов (в частности, правильно предсказав чуть ли не все исходы кампаний в палате представителей). C бейсболом он, конечно, полный маньяк – многие математические мальчики увлекаются статистикой (и я с интересом вчитывался в год рождения-рост-вес всех игроков высшей лиги в 1985 году), но до такой степени… Однако ещё до этого есть популярное объяснение провалов прогнозистов в преддверии мирового финансового кризиса – и экономистов, и спецов из S&P и Moody. Те, кто интересовался этими вопросами, ничего нового не узнают, но те, кто только задумывается над тем, откуда берутся прогнозы и какие ошибки являются самыми типичными, узнают много интересного. А если подумают, и полезного.

Будущим экономистам – да всем, кто работает с данными, тоже полезно. Удивительно для «прикладника», Сильвер точно понимает, что не бывает работы с данными, тем более с «большими», без теории. Если исходная теория плохая (как предположения S&P о том, что ипотечные облигации слабо коррелированы), работа с данными не поможет. А ведь раз за разом слышишь на семинарах – «у нас не было никакой теории, мы просто поставили, какие нашлись, переменные в правую часть и посмотрите, что вышло». (Совет: такие доклады можно попросту игнорировать. Если у докладчика нет, хотя бы простой, теории, работа – скорее всего мусор.)

Есть книги, которые я рекомендую всем, кто интересуется тем, что интересно мне. Например, «Фрикономику» Дубнера и Левитта, захватывающий гимн экономическим инструментам анализа данных, всесильным и безошибочным. Но мне уже не раз приходилось писать, что вклад Левитта и его последователей в наше понимание того, как устроен мир, куда меньше, чем может показаться на первый взгляд. Конкистадорский подход к данным часто приводит к слишком сильной уверенности в выводах, основанных всего лишь на статистических коэффициентах. А теперь можно рекомендовать «Фрикономику» без ограничений – если за ней сразу идёт «Сигнал и шум» Нейта Сильвера.

Метки:

18 мнений // Ваше мнение?
Comments
grapengrainmix From: grapengrainmix Date: Ноябрь, 13, 2013 02:04 (UTC) (Ссылка)
Вы об одном забыли сказать. О том, что ему, такому умному, пришлось перевести свой блог из такой интеллектуальной и продвинутой NYT (где топовые левые гуру пророчествуют), на быдлячий ESPN (да-да,на тот самый, котороый - республиканский агент и псевдосоциолог - Расмуссен). :)
ksonin From: ksonin Date: Ноябрь, 13, 2013 04:47 (UTC) (Ссылка)
Вообще республиканцы традиционно считаются более высокими интеллектуалами. Но в чём разница в данном случае, не пойму.
grapengrainmix From: grapengrainmix Date: Ноябрь, 16, 2013 02:02 (UTC) (Ссылка)
:)
alekcnova From: alekcnova Date: Ноябрь, 13, 2013 07:38 (UTC) (Ссылка)
А почему ESPN быдлячий? По вашему спортивными трансляциями увлекаетсятолько быдло? Кстати, Скотт Расмуссен уже давно никакого отношения к ESPN не имеет.
grapengrainmix From: grapengrainmix Date: Ноябрь, 16, 2013 02:14 (UTC) (Ссылка)
=А почему ESPN быдлячий? По вашему спортивными трансляциями увлекаетсятолько быдло?=

Это не по-моему. Я не интеллектуал и, поэтому с удовольствием смотрю ф1, наскар, волдсупербайк и мотогранпри под пивко.

=Кстати, Скотт Расмуссен уже давно никакого отношения к ESPN не имеет.=

Совсем никакого? Или у него остался неконтрольный пакет?
alekcnova From: alekcnova Date: Ноябрь, 16, 2013 07:42 (UTC) (Ссылка)
Многие интеллекталы с удовольствием смотрят спортивные соревнвоания. Кстати, хозяин этого блога сам является футбольным болельщиком, о чем сам упоминал несколько раз.

80% ESPN Inc. принадлежит Walt Disney, а 20% Hearst Corporation. Причём отец и сын Расмуссены вышли из капитала ESPN, ЕМНИП, ещё в 1984 году, да и из руководства их вытеснили примерно тогда же
ksonin From: ksonin Date: Ноябрь, 16, 2013 08:33 (UTC) (Ссылка)
Хозяин этого блога профессионально занимается футболом (хотя не является футболистом :)).
korol1989 From: korol1989 Date: Ноябрь, 13, 2013 02:17 (UTC) (Ссылка)
Нам мой нынешний научник рассказывал, что он заинтересовался эконометрикой, когда они с друзьями по бакалавриату пытались предсказать исход скачек :)
From: gomberg Date: Ноябрь, 13, 2013 03:34 (UTC) (Ссылка)
Полный офф. Но новость такая дивная, что не поделиться не могу :)

http://caracaschronicles.com/2013/11/12/goodbye-goodbye-lenin/#more-32855
ksonin From: ksonin Date: Ноябрь, 13, 2013 04:49 (UTC) (Ссылка)
Почему же "офф"? Судя по последней фразе в тексте по ссылке, хорошая иллюстрация к введению Сильвера...
From: gomberg Date: Ноябрь, 13, 2013 06:51 (UTC) (Ссылка)
:)

Кстати, весь этот каракаскроникл абсолютно чудесный: почитай. Там еще ссылка есть на Devil's Excrement. Блоггеры в Венесуэле хорошие :)
sergeyvi From: sergeyvi Date: Ноябрь, 13, 2013 05:23 (UTC) (Ссылка)
Верно ли я понимаю Ваш тезис (блестяще изложенный Сильвером) - что для работы с большими массивами данных нужны статистические гипотезы, которые либо могут быть опровергнуты, либо подтверждены в результате анализа данных? Т.е. вопрос в банальной верификации \ фальсификации теории, которая постулирована еще господином Поппером? Или все-таки здесь подразумевается что-то еще?
ecostudent From: ecostudent Date: Ноябрь, 13, 2013 08:12 (UTC) (Ссылка)
Мне книга очень понравилась, хотя определенные моменты все же насторожили (все нижеизложенное нужно скорее воспринимать как minor rant).

Слишком часто у Сильвера звучит фраза "надо больше Байеса". Эти методы оценки не являются панацеей для всех проблем работы с большими массивами данных, и подчас выбор грамотного prior куда сложнее,влиятельнее и непонятнее, чем вся неопределенность от мисспецификации фреквентистской модели (которую опять-таки современные методы позволяют учесть). И это не говоря о том, что грамотный расчет integrated likelihood без грубых аппроксимаций очень нестабилен, на финансовых данных куча цепей вообще никогда не сходится (особенно transdimensional mcmc на нелинейных моделях). В макроэкономике про текущий зоопарк bayesian VARs и так уже много высказалось.

Работа с данными (и предсказания в частности) - действительно очень сложная и кропотливая вещь с массой неопределенностей, и там очень часто не спасают ни номинальное присутствие доверительных интервалов (которые, кстати, было бы здорово видеть, например, в очередных прогнозах долгосрочного экономического роста), ни p-value (сразу вспоминается история Vioxx), ни формальный учет model uncertainty или внешней информации (которые также замечательно живут и у фреквентистов). Похожие аргументы звучали у многих статистиков, например, в той же книге Ziliak, McCloskey "The cult of statistical significance" (только там авторы в основном совершенно справедливо кидали камень в огород p-value, тестов и их интерпретации).

Ну, и очень странным выглядит наезд на Фишера, который, якобы, вовремя не проапдейтил свой prior и умер от рака легких, не бросив курить. Нет в этом ничего фреквентистского - такой уж был его prior, что даже статистический результат не повлиял на оценку вероятности (опять-таки к вопросу о правильном выборе prior). Про погоду Сильверу, наверно, тоже не стоило писать - это совершенно не его тема, где четкие результаты были получены десятки лет назад.

Вообще, подобная литература у меня всегда вызывают двойственные эмоции. С одной стороны, невероятно круто, когда появляется новая хорошая книга, популярным языком рассказывающая про экономику, - таких чрезвычайно мало, а эффект на подрастающее поколение - огромный. Именно с таких вещей у многих и начинается искренняя любовь к предмету и исследованиям. С другой стороны, жанр научпопа часто требует однобокости трактовки ряда методов/результатов, и если не изучать затем правильные вещи, формирует узкие (но очень персистентные и подчас аррогантные) взгляды у читателей. Так может появиться куча людей, рассуждающих об аттракторах, не зная школьного курса математики, и об экономике России, не зная бюджета, базовых макроэкономических соотношений или статистических инструментов. С другой стороны, аккуратное и объективное изложение может вызвать отторжение сразу всех современных методов анализа, раз уж это очень много/сложно и ничего не работает unconditionally. И мы получаем другую крайность - австрийцы, теории заговора, циклы Кондратьева, экономику комплексных чисел и пр.

P.S. если уж на то пошло, я вообще не понимаю войны между фреквентистами и байесовцами. Во-первых, они прекрасно сидят в рамках более общих стат.теорий. Во-вторых, нужно просто использовать тот инструмент, который наилучшим образом предназначен для решения конкретной задачи, хорошо понимать все его предпосылки/ограничения и честно делать свою работу. При всех ограничениях существующих методов, профессиональные эконометристы и статистики обоих направлений прекрасно работают с данными и могут сделать очень-очень много всего.

Edited at 2013-11-13 08:14 (UTC)
(Удалённый комментарий)
ksonin From: ksonin Date: Ноябрь, 13, 2013 15:34 (UTC) (Ссылка)
Неплохой рант, для специалистов :)
mother_irina From: mother_irina Date: Ноябрь, 14, 2013 05:27 (UTC) (Ссылка)
просто замечательный пост.
мерси!

как Ваши уважаемые связки поживают? :)
ecostudent From: ecostudent Date: Ноябрь, 14, 2013 15:27 (UTC) (Ссылка)
спасибо, и голосовые, и все остальные в полном порядке.
dvv7 From: dvv7 Date: Ноябрь, 14, 2013 14:39 (UTC) (Ссылка)
Let's have this argument over and over, and over again :-)

Все правильно по поводу использования полноценных эконометрических методов там, где они предназначены. Все разработано настолько, что даже при узком, но честном подходе будут видны ограничения и понятны корректные выводы.
18 мнений // Ваше мнение?