👄 Слишком прожорливые судьи и умственная отсталость от красного цвета

👴 В своих лекциях и книгах (например, «Всё решено») Роберт Сапольски хочет вас убедить - решение принимаете не вы! Вам только кажется, что вы сознательно и рационально взвешиваете все «за» и «против», на самом деле, ваш выбор зависит от физиологических факторов, вроде температуры тела и уровня глюкозы в крови.

👩‍⚖️ В качестве иллюстрации он приводит работу, в которой показано, что вероятность вынесения судьей оправдательного приговора зависит от того, насколько судья голодный. При чем эффект колоссальный: по мере того, как судья становится голоднее и приближается обеденный перерыв, вероятность быть оправданным падает с ~65% до почти 0%, а после перерыва снова взлетает до 65%! Сами авторы объясняют это снижением когнитивных функций от гипогликемии.

😇-🤪 Проблема слишком большого эффекта

Дело в том, что эта разница неправдоподобно сильная. Как будто падение глюкозы в крови делает нормального человека сумасшедшим, а миндальный круассан на обед снова его излечивает. Если бы такой эффект действительно существовал, то мы уже и без научных исследований про него знали и формировали бы вокруг него нашу общественную жизнь. Все суды, образовательные учреждения, министерства, короли и президенты останавливали бы свою работу на время приближения к обеденному перерыву. Как предлагает в своём блоге о статистике Лакенс (статья так и называется «Impossibly hungry judges») у нас был бы запрет на вождение автомобиля до того, как человек плотно поест. Это просто не соответствует миру, в котором мы живем.

Естественно очень скоро нашлись (тут и тут) альтернативные объяснения, связанные, например, с тем, что в начале судьи рассматривают менее однозначные дела, а ближе к перерыву ставят подсудимых без адвоката, что очевидно снижает вероятность оправдательного приговора.

🪕 Смерть от кантри-музыки

Что предлагает Лакенс? Он говорит, зачастую можно понять, что исследование bullshit (очень низкого качества) просто глядя на декларируемую силу эффекта. В качестве иллюстрации он приводит работу, авторы которой показали, что прослушивание кантри приводит к суицидам среди белых американцев с r=0,54. На что он в шутку замечает:

«Однажды я ходил с женой на концерт Долли Партон. Это было отличное двухчасовое шоу. Если бы истинная корреляция между прослушиванием кантри-музыки и уровнем самоубийств среди белого населения действительно составляла 0,54, это был бы не концерт, а массовое самоубийство.»

Другим примером является исследование влияния красного света на когнитивные способности. Авторы показали, что короткое воздействие красного света снижает IQ с эффектом более двух стандартных отклонений (не удивлюсь, если Сапольски эту работу тоже цитирует). Это значит, что пара минут красного света должна приводить к снижению IQ с 100 до 70 и вызывать умственную отсталость, что естественно не так (хотя биохакеры, наверное, напряглись).
Сюда же относятся исследования в нутрициологии, в которых находят, что каждые 100 г орехов в неделю снижают смертность на 20% (что значит, что если есть полкило орехов в неделю, то никогда не умрешь).

То же самое касается слишком маленького эффекта. Например, было исследование, показавшее, что установка имплантов груди в 400 раз повышает риск анапластической крупноклеточной лимфомы! Огромные цифры, если не считать, что заболевание невероятно редкое и абсолютный риск увеличивается лишь на 0,014% (пример взят из книги 0,05 "Доказательная медицина" Петра Талантова).

🩻 Выводы
При оценке научной работы необходимо обращать внимание не столько на статистическую значимость, которая ничего не говорит о силе воздействия, сколько на размер эффекта.