"... анализ данных для 90% исследований"

Никогда не думал, что начну наконец-то заполнять блог таким образом, но, видимо, ничто не сможет побудить меня это делать больше, чем ситуация, которая сложилась в одном из биомедицинских сообществ.

Пока просто зафиксирую, опишу, наверное, завтра.

Я понимаю контекст, реклама коммерческого образовательного проекта, «90% исследований» – это риторический прием. В целом ничего не имею против рекламы и использования гипербол. Но думаю, что такие формулировки обесценивают значение биостатистики как области, формальное статистическое образование и затраты времени людей, пытающихся самостоятельно разобраться в предмете.

Существует журнал «Statistics in Medicine», с 1982 года, 30 выпусков каждый год. Издание предельно утилитарное, теоретические статьи по статистике издаются в других журналах, например, в знаменитой «Biometrika». Возникает вопрос, как существование такого журнала соотносится с приведенным утверждением, «90%» или просто бОльшую часть статистики для биомедицинских исследований можно уложить в рамках двух семинаров или, скажем, в рамках короткого вводного курса?

Недавно Эндрю Гелман написал статью «What are the most important statistical ideas of the past 50 years?», понятно, что это мнение человека, сложно ранжировать идеи полностью объективно. Еще есть серия интервью Роберта Тибширани и Тревора Хасти под названием «14 Statistical Ideas that Changed the World». Возникает такой вопрос, какая доля этих идей хотя бы частично разбирается в такого рода образовательных проектах?

Могу предположить, что под «90%» подразумеваются методы, которые часто фигурируют в такого рода статистических флоучартах. И, думаю, да, вполне можно допустить, что эти методы крайне часто встречаются в биомедицинских публикациях, но стоит задать вопрос, в публикациях какого рода?

Проведем небольшое исследование и ограничим рассмотрение исследованиями качества «выше среднего», которые обладают потенциалом влияния на клиническую практику.

Рассмотрим 10 последних количественных исследований, опубликованных в NEJM, находящихся в свободном доступе на момент публикации данного материала [16.09.2024] и просто перечислим статистические методы, которые в них использовались (сознательно не включаю очень специфические методы, например, связанные с фармакокинетикой, которые указаны в одной из статей).

Exact binomial test, Kaplan-Meier method, regression-based multiple imputation, analysis of covariance, Cochran-Mantel-Haenszel test, negative binomial regression model, bootstrap, stratified Cox proportional-hazards model, Fisher’s exact test, longitudinal linear mixed models / mixed models for repeated measures, mixed effects Poisson regression with a robust variance estimator, Peto-Prentice generalized Wilcoxon test, log-binomial models, generalized estimating equations with log links and compound symmetry working correlation matrices / Poisson regressions with generalized estimating equations, Cox proportional hazards models

Думаю, что вряд ли возможно хотя бы поверхностно покрыть указанные методы в рамках двух семинаров или даже полноценного вводного курса по статистике. Я не понимаю, например, как можно объяснить в чем разница между GLMM и GEE, которые неоднократно встречаются в приведенных исследованиях (это две большие группы методов, которые используются в схожих ситуациях), а разница между ними не просто техническая, она напрямую связана с интерпретацией результатов и скажу честно, мне самому очень сложно дается этот материал.

Добавлю ремарку по поводу политики блокировок в биомедицинских онлайн сообществах. Конечно, это дело авторов и создателей каналов и чатов кого и за что блокировать. Но, если в научном сообществе блокируют просто за вопросы критического содержания, то это очень плохой признак. Наука и образование не могут существовать без открытости критике.

46656 varieties of Bayesians
Так озаглавил свое письмо в редакцию журнала «The American Statistician» IJ Good.
Это, возможно, и так, но представляет скорее исторический интерес. Сейчас редко можно встретить серьезные рассуждения или дискуссии на тему интерпретации вероятности, во всяком случае, я практически не встречаю их в среде профессиональных статистиков и аналитиков за которыми слежу. Хотя не так давно вышла книга «Bernoulli's Fallacy», которую я всячески рекомендую к прочтению тем, кому интересна история статистики и ее философские основания.

Но все же, поскольку тема была поднята, приведу скриншот предисловия к переводу книги «Teoria della probabilità» Бруно Де Финетти, который является одним из авторов наиболее радикального взгляда на вероятность.

Это автор хороших руководств по биостатистике и эпидемиологии

Оказывается у Дэвида Клейнбаума ютуб-канал с лекциями есть, приятная находка
https://www.youtube.com/@davidkleinbaum4118

Наткнулся на интересное фото.
Слева направо: Рональд Фишер, Махаланобис и Ежи Нейман.
Фишер ненавидел Неймана, на фото аж отвернулся от него )

Кстати, на ютуб-канале American Statistical Association есть видео-запись выступления Ежи Неймана 1979 года. Только подписано с ошибкой Meyman.

Человек утверждает, что ведет "авторский проект".

Перейдя на сайт проекта, читатель заметит много "странностей": защита от выделения и копирования текста, отсутствие адреса поста в адресной строке браузера, всплывающие оповещения при нажатии определенных комбинаций клавиш, даже правая кнопка мыши не работает (кому интересно, то для просмотра кода страницы или открытия инструментов разработчика не обязательно пользоваться клавиатурой). Ну бывает, у каждого свое представление о прекрасном и удобном.

Но посмотрев на содержание поста "Про ранговый тест Уилкоксона", у меня случилось дежавю, где-то я это все уже видел, и текст, и рисунок. Зашел в инструменты разработчика, узнал адрес картинки и попросил гугл сделать поиск по изображению. Вот результат: пост известного data science-блогера в твиттере.

Буквально "слово в слово", если учесть, конечно, что оригинальный пост написан на английском языке. И ни одной ссылки на источник.

Как, интересно, данный факт соотносится с другим постом автора телеграм-канала?

Мне не то чтобы это все сильно принципиально, но как-то эта история совсем не вяжется с "околонаучностью".

В дополнение не могу не опубликовать очень милую фотографию Фрэнка Уилкоксона из статьи в журнале Significance

Все ждал, когда же что-то подобное случится

Мне давно кажется, что отзыв статей / части результатов исследования сам по себе не должен быть дискредитирующим событием*, он дожен стать нормой, все совершают ошибки, которые могут подорвать валидность выводов.

* В основном такое представление начало складываться после просмотра замечательного выступления Ричарда МакЭлрита

https://retractionwatch.com/retractions-by-nobel-prize-winners/

Интересный тред об использовании "шапочек"-циркумфлексов для обозначения эстиматоров/выборочных оценок
https://x.com/HOS_ASA/status/1842553113586102676

Чуть не упустили. Тут Совет по делам женщин в статистике и науке о данных [1], Португальское статистическое общество (SPE) и Американская статистическая ассоциация (ASA) запустили проект «Международный день женщин в статистике и науке о данных». 8 октября состоится третья открытая бесплатная онлайн-конференция, приуроченная к этому дню. Программа насыщенная.

[1] The Caucus for Women in Statistics and Data Science - международное профессиональное статистическое сообщество, созданное в 1971 году для образования, трудоустройства и продвижения женщин в статистике.

@evidencespace