Вот ещё

Приятная новость: Дэвид Шпигельхалтер новую книгу написал. Будем ждать
https://www.barnesandnoble.com/w/the-art-of-uncertainty-david-spiegelhalter/1145549233?ean=9781324106111

Еще, кстати, хочу поделиться случайной находкой, которая меня крайне удивила

Симпатичная заметка под названием «Why Model?»
(не только про статистические модели)
https://www.cs.unm.edu/~joel/cs4all/WhyModel.pdf

Решил поделиться ссылкой на недавнее видео Andrej Karpathy.

Вообще, если честно, мне приходится буквально заставлять себя интересоваться DL и LLM в частности, ну как-то не очень мне заходят эти темы, ассистентами и чатботами я практически не пользуюсь.

Но вот подход к изложению автора видео (это, на всякий случай, один из известных специалистов по DL, сооснователь OpenAI и т.д.) оказался не только довольно занимательным и было нисколько не скучно смотреть 3.5 часа подряд, но даже как будто появился интерес глубже погрузиться в тему (у него на канале, кстати, есть и технические туториалы, думаю, что они тоже очень полезные).

Потихоньку начинаю пользоваться LLM, иногда это и забавно, и познавательно
https://www.youtube.com/shorts/BPbAJzAL7gw

Прикольный отрывок, где Дэвид Шпигельхальтер демонстрирует разницу между фишеровским и байесовским выводом на примере с бильярдным столом.
https://www.youtube.com/watch?v=-e8wOcaascM

На всякий случай, вдруг кто не знает. Список научно-популярных книжек Шпигельхальтера:
The Art of Statistics: How to Learn from Data (есть перевод на русский язык даже)
The Art of Uncertainty: How to Navigate Chance, Ignorance, Risk and Luck (совсем свежая)
Covid By Numbers: Making Sense of the Pandemic with Data
Sex by Numbers: What Statistics Can Tell Us About Sexual Behaviour
The Norm Chronicles: Stories and Numbers About Danger and Death

Ну и серьезные книги тоже есть у него, конечно, например, Bayesian Approaches to Clinical Trials and Health-Care Evaluation

Подумал, что стоит составить список научно-популярных книг по статистике и смежным темам. В ближайшее время подготовлю подборку того, что, на мой взгляд, заслуживает внимания.

Позволю себе начать издалека. Прикладная статистика – это область, глубоко погруженная в контекст, который ее окружает. Часто трудно провести границу между самой предметной областью и статистикой, а еще сложнее – между статистикой и эпистемологией. Поэтому, на мой взгляд, прежде чем погружаться в статистику, важно хотя бы в общих чертах разобраться, что такое знание вообще и эмпирическое знание в частности, а также понять, чем руководствуются хорошие исследователи, когда формулируют задачи и ищут способы их решения.
Стефен Сенн замечательно отметил: «Statistics is a wonderful discipline. It has it all: mathematics and philosophy, analysis and empiricism, as well as applicability, relevance and the fascination of data.» В этом контексте я хочу порекомендовать две книги, которые напрямую не о статистике, но которые, на мой взгляд, очень полезны для ее понимания.

«Вы, конечно, шутите, мистер Фейнман!»
Уверен, многие читали эту книгу или хотя бы слышали о ней. Если бы у меня была возможность влиять на Минобр, я бы в первую очередь пролоббировал включение этой книги в школьную программу. Эссе «Наука формопоклонников» – это, на мой взгляд, одно из самых ярких описаний ключевых проблем современной науки как социального института. В продолжение, конечно, стоит прочитать и вторую часть автобиографии Фейнмана – «Какое тебе дело до того, что думают другие?», но это уже более личная и местами грустная книга.

«Что такое наука, и как она работает» Джеймса Цимринга
Замечательное, легкое, но при этом весьма прагматичное введение в современную эпистемологию. Если курс философии науки прошел мимо вас, а теперь хочется понять, чем индукция отличается от дедукции и как в целом работает (или должна работать) наука, эта книга обязательна к прочтению. В ней не будет подробного разбора истории эпистемологии – от досократиков через Бэкона и Конта к Попперу, Лакатошу и Фейерабенду. Для кого-то это будет минусом, а для кого-то, напротив, плюсом и поможет понять и принять прикладную важность этой области философии для современного исследователя. Автор – профессор патологии, что, наверное, может сделать книгу особенно интересной для медиков.

Теперь о статистике.
Я хочу выделить две книги, которые хорошо помогают сформировать правильный «статистический майндсет». Участвуя в многочисленных биостатистических дискуссиях, в основном с медиками, я понял, что главная сложность в освоении прикладной статистики вовсе не в формулах. Сложнее всего понять, о чем эта наука: как статистики и аналитики данных смотрят на устройство мира, как предметные вопросы переводятся в вопросы, на которые можно ответить с помощью данных, какие выводы и утверждения можно делать с использованием ее инструментов.
Мне очень понравилось замечание Энди Грива в одном из обсуждений о преподавании статистики: существует два разных вопроса – «What p-value is» и «What p-value means». Ответить на первый можно в паре предложений, но вот со вторым, куда более важным, все гораздо сложнее.

«Искусство статистики» Дэвида Шпигельхалтера
Наверное, лучшее, что можно порекомендовать людям, которые только начинают знакомство со статистикой. Здесь нет избыточных упрощений, которые искажают суть концепций (и которыми очень часто злоупотребляют). Думаю, что эта книга, если и не может заменить учебники типа «статистика для котиков нестатистиков», то точно должна им предшествовать, чтобы после их прочтения не сформировалось очень опасного ощущения полного понимания.
Я пока не успел подробно ознакомиться с новой книгой Шпигельхалтера «The Art of Uncertainty», но предполагаю, что ее место тоже здесь. Постараюсь в ближайшее время исправить это и поделиться своими впечатлениями.

«Dicing with Death: Chance, Risk and Health» Стефена Сенна
Эта книга вряд ли подойдет людям, которые совсем далеки от статистики, несмотря на то, что несомненно является научно-популярной. Она поможет раскрыть и посмотреть под другим углом на многие вещи, которые мы применяем при анализе данных. Я не являюсь поклонником составления рейтингов, но если бы мне пришлось, то эта книга совершенно точно была бы в тройке самых важных и полезных лично для меня книг. Кстати, не так давно вышло третье издание, которое было дополнено, в том числе, разделами, связанными с Covid-19.

Далее – список научно-популярных книг по отдельным темам статистики и анализа данных, которые я уверенно рекомендую к прочтению.
«The Lady Tasting Tea: How Statistics Revolutionized Science in the Twentieth Century» Дэвида Зальцбурга
Лучшее введение в историю статистики, очень увлекательное чтение. При этом Зальцбург не избегает обсуждения и самих статистических концепций, но делает это без пошлых упрощений. Стоит сказать, что автор этой книги является биостатистиком как с опытом работы в индустрии, так и в преподавании, но самое ценное – он был лично знаком и поддерживал общение со многими героями своего повествования. Эту книгу важно прочитать и тем, кто дальше хочет погружаться в историю статистики глубже, поскольку она дает хорошее представление о ландшафте, в котором происходят все действия, потом уже можно переходить к Стиглеру, Леманну и Рейд.

«The Book of Why» Джуды Перла и Дана Маккензи
(вышел перевод этой книги на русский язык под названием «Думай почему?», но я не уверен в его качестве)
Одна из тех книг, которая способна изменить представление о многом, что касается научных исследований, а ее автор Джуда Перл – один из тех людей, которые буквально на наших глазах совершают революцию в решении задач о причинах и следствиях. В отличие от других представленных здесь книг, эту книгу можно рассматривать и как дружелюбное введение в причинно-следственный вывод.

«Dark Data: Why What You Don’t Know Matters» Дэвида Хэнда
(есть качественный перевод на русский язык под названием «Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных»)
Вообще удивительно, что существует научно-популярная литература по такой концептуально и технически сложной области статистики. Но не следует обольщаться (особенно глядя на русскоязычное название): эта книга не заменит Рубина и Литтла, более того, вряд ли даже поможет подготовиться к прочтению серьезной литературы по теме. Тем не менее, она даст неплохое представление о том, когда и, самое главное, почему возникают проблемы из-за пропущенных значений. Стоит добавить несколько слов об авторе: Дэвид Хэнд, как и Шпигельхалтер, был президентом Королевского статистического общества, то есть на своем посту был преемником таких людей, как Рональд Фишер, Остин Бредфорд-Хилл и Дэвид Кокс.

И напоследок – две книги о байесовском выводе.
«The Theory That Would Not Die» Шерон МакГрейн
Увлекательная история: от Байеса, Ричарда Прайса и Лапласа до критики и забвения в первой половине XX века, и последующего возрождения байесовского вывода, в том числе, в решении военных, медицинских и лингвистических задач.

«Bernoulli’s Fallacy» Обри Клэйтона
Единственная книга в списке, которую не совсем правильно называть научно-популярной. Это скорее человечное изложение идей Джеффриса и Джейнса (у автора, кстати, есть курс лекций по книге Джейнса «Probability Theory: The Logic of Science»). Книга – радикальная критика всех, кто был связан с развитием частотной интерпретации вероятности и фриквентизма как основы статистического вывода: от Бернулли и английских логиков XIX века до, конечно, Фишера и Неймана. Но при этом она читается на одном дыхании, кроме того, в ней масса занимательных исторических деталей.

А теперь самое интересное ...

Наткнулся на отличное (понятное) объяснение, как часто говорят, самого странного результата во всей статистике – парадокса Штейна.
Это, кстати, штука, в которой все сходится в одну точку, оценивание и машинное обучение, частотнический и байесовкий вывод (по этому поводу можно почитать статьи Брэдли Эфрона, но они уже сложные).

https://www.youtube.com/watch?v=FUQwijSDzg8

Кому хочется погрузиться поглубже в эту тему, могу порекомендовать эту заметку:
https://www.econometrics.blog/post/not-quite-the-james-stein-estimator/
и это видео:
https://www.youtube.com/watch?v=cUqoHQDinCM