Суперпредсказатели

Superforecasters

На сайте http://slatestarcodex.com недавно появилась статья – обзор книги Филипа Тетлока Суперпредсказывание (http://www.ozon.ru/context/detail/id/32554976/). Саму книгу не читал, но ее ревью показалось мне занимательным. Далее я предлагаю перевод некоторых фрагментов обзора, оригинал распложен по адресу: http://slatestarcodex.com/2016/02/04/book-review-superforecasting/

…Филип Тетлок стал известен изучением предсказаний. Его первый значительный эксперимент (Экспертное Политическое Суждение, the Expert Political Judgment) часто цитируется как утверждающий, что лучшие предсказания мудрецов не более точны, чем шимпанзе кидающее дротик в лист возможных вариантов. Хотя Тетлок постоянно признается, что на самом деле  шимпанзе не были вовлечены, и используются только как яркий способ передать слово «Случайность». Хотя это высказывание в целом правдиво, но он смог выделить небольшое множество людей, которые смогли показать себя немного лучше чем «случайность». Его исследование секретов их скромного успеха привело к появлению известного противопоставления «лисы против ежа» основанного на том что «лиса знает много вещей, а еж знает одну большую вещь». Мыслители ежи/эксперты это люди, которые оперируют одиночными большими идеями, например, экономист, который говорит что вмешательство правительства всегда плохо, обрекает на провал любые интервенции государства и предсказывает успех политики невмешательства. Лисы это люди которые не вникают в идеологии, но пытаются узнать правильный подход к каждой проблеме. Тетлок утверждает, что ежи предсказывают хуже шимпанзе, а лисы немного лучше….

Тетлок участвует в проекте, который называется «Проект здравого разума» (the Good Judgment Project) в работе которого приняло участие 2800 человек. По итогам Тетлок выделил 2% суперпредсказателей. Далее Тетлок пытается выяснить, как суперпредсказатели показали такие результаты.

Первое, была ли это просто удача? В конце концов, если тысяча шимпанзе кинет дротик в лист торгующихся компаний, одна из них попадет в следующий Гугл, после чего назовем ее «Супершимпанзе». Вот в чем здесь дело? Нет. Суперпредсказатели одного года остаются суперпредсказателями и на следующий год. Корелляция года к году была 0,65; около 70% суперпредсказателей первого года остались суперпредсказателями и на второй.

Суперпредсказатели очень умные? Ну, вроде того. Суперпредсказатели, которых выделял Тетлок в своей книге, включают доктора физических наук из Гарварда, который говорит на 6 языках, помощника профессора математики в Корнелле, программиста-фанатика IBM на пенсии и так далее. Но средний суперпредсказатель входит в 80-ый дециль по показателю IQ – чуть менее 115. И есть люди очень умные, но которые не так хороши в предсказаниях. Итак, хотя IQ действительно помогает, это не определяющий фактор.

Суперпрдсказатели просто очень хорошо информированы о мире? Опять же, вроде того. Корреляция между информированностью и точностью была примерно такой же, как и с IQ.  Никто из суперпредсказателей не замечен в проведении каждой минуты за газетой и никто из них не обладал такой же информацией, которой обладают аналитики ЦРУ с их доступом к совершенно секретной информации. Даже когда суперпредсказатели делают предсказания имея ограниченную информацию, они все равно побеждают других. Еще раз, информированность помогает, но не определяющий фактор.

Суперпредсказатели хороши в математике? Снова, вроде того. Многие из них доктора и профессора в математике. Но все они говорят, что непосредственно числа не используют в своих предсказаниях. А некоторые совсем не имеют опыта  в математике. Корреляция между математическими умениями и точностью была примерно такой же, как и другие корреляции.

Так в чем же они хороши? Тетлок заключает, что определяющий фактор для того чтобы быть суперпредсказателем это хорошее знание логики и вероятностей. Суперпредсказатели вряд ли будут говорить о 100% уверенности, и вряд ли будут давать всем вещам в которых они не уверены 50/50% вероятность. Они, как правило, не верят, что вещи случаются потому что так предписано судьбой, или что хорошие парни всегда выигрывают, или что все что случается обязательно несет моральный урок. Они скорее признают, что они могут быть неправы и исправят себя после того как ошибка стала известна. Они скорее будут спорить с собой, пытаться оспорить их оригинальное восприятие спрашивая «что может быть не так с этой вещью в которую я верю» чем спрашивая «как я могу доказать что я прав».