Запрыгнем в уходящий поезд хайпа о ChatGPT

Я думаю, что многие видели восторженные сообщения от коллег, что ИИ уже настолько крут, что скоро сможет заменить врача. Писали с его помощью посты, показывали статьи с результатами тестов (как он сдавал USMLE и пр.), рассуждали, кто, как и где его использует.

Но мне понравилась вот эта статья

Тут очень хорошие размышления, что при успешной доли решённых тестов, есть ещё % неудач, как они могут повлиять, следует ли ИИ принципам ДМ и т.д.

Особенно понравилось сравнение ChatGPT с "умным студентом, который не совсем разбирается в предмете, но сумел пронести ноутбук в экзаменационную комнату".

Также поднимается вопрос качества исходных данных. В общем советую уделить минуту времени и прочитать

Статья:
Wilhelm Haverkamp and others, ChatGPT fails the test of evidence-based medicine, European Heart Journal - Digital Health, 2023.

У каждого свое 3 сентября
Заявка в ЖК

Небольшое наблюдение:
Судя по соотношению лайков и подписок (не только у меня), складывается впечатление, что IG умирает... (даже 1% не набирается)

Что думаете? Это конец? Все в ТГ?

Напоминаю, что идет 2 этап 6 набора в журнальный клуб, у которого уже вот вот на подходе дедлайн 🔥
P.S. недавно обнаружилось, что форма может не всегда регистрировать ответы, поэтому вы можете уточнить в ЛС, записался ли ваш ответ (для вашего спокойствия)

Upd. Если вам пришел результат теста (в баллах), то значит он точно записался

Напоминаю, что завтра последний день приема ответов на 2 этап 6 набора в ЖК

А так же я пока в отпуске в самом лучшем городе (для меня), поэтому новые посты будут только в октябре (да, я так отмазываю свою лень 😁)

Чуть прерву свое отпускное молчание

Хочу пригласить всех на дополнительную программу для студентов-медиков и врачей, которую организует @medinvestgroup_edu и @ordinatura_org

На программе будет проводиться обучение по доказательной медицине, коммуникации, медицинскому праву и многому другому.

Участие полностью бесплатное, но нужно подать заявку и пройти отбор.
И да, дедлайн уже горит (до 25 сентября 2023г.) 🔥🔥🔥
Я там тоже буду проводить обучение, так что welcome!

СМЕШАЙ И (НЕ) ДЕЛАЙ

Я уже рассказывал о гипотезах (1 часть, 2 часть), но теперь я решил связать это с показателем p-value и случайными ошибками (также известными как ⍺ и β или ошибки I и II рода) 🤯

Большинство медицинских исследований делается в рамках проверки значимости нулевой гипотезы (Null Hypothesis Significance Testing, NHST). Принцип предполагает, что мы проверяем нулевую гипотезу (Н0), а затем принимаем решение отвергать ее или нет. Но часто в этой концепции неосознанно соединяют 2 метода: Фишера и Нейрона-Пирсона 🍸

1) Подход Фишера
Он позволяет рассчитать вероятность получить такой или более экстремальный результат в исследовании при условии, что Н0 верна. Что-то это напоминает...
Верно! Это и есть определение p-value 🔥 Мы проверяем насколько вероятно наши полученные данные соответствуют заранее сформулированной Н0. Если не соответствуют, то отвергаем Н0.

Т.е. мы просто оцениваем суммарную/кумулятивную вероятность в конкретном исследовании. Низкое значение p указывает только на несоответствие Н0 полученным данным, оно не может быть интерпретировано как доказательство в пользу конкретной альтернативной гипотезы (Н1) 🤔

"No isolated experiment, however significant in itself, can suffice for the experimental demonstration of any natural phenomenon"

2) Подход Неймана и Пирсона
Это "игра в долгую", когда на основе предполагаемой величины эффекта выдвигаются Н0 и Н1. При этом с определенной вероятностью можно получить разные варианты результатов, в т.ч. ошибки I рода (⍺; ложноположительный; отклонить Н0, когда она верна) и II рода (β; ложноотрицательный; не отклонить Н0, когда она неверна) 🤖

В этом методе мы лишь предполагаем вероятности (грубо, пытаемся их контролировать/предсказать), но допустили их в конкретном исследовании или нет, не знаем. Т.е. только при многократном тестировании гипотез мы увидим частоту ошибок и сможем принять решение 📊

Эти 2 подхода часто ошибочно смешивают для простоты принятия решений (отклонить Н0), но в своей сути они разные 🎭

📍Когда заранее планируется эксперимент, исследователи пытаются контролировать вероятность ошибок (долгосрочная вероятность), для этого рассчитывают размер выборки. А когда уже получены результаты, то можно лишь рассчитать текущую вероятность получить такие или более экстремальные результаты, если бы Н0 была верна, но при этом нельзя быть уверенным, что мы не допускаем ошибку I или II рода. Однако, когда есть несколько исследований, тестирующих одну Н0, то возможно получится увидеть в каком из них допущена случайная ошибка (опять долгосрочная вероятность).

Графически различия подходов можно увидеть на рис.1

При этом, мы не можем "доказать" гипотезу (ни нулевую, ни альтернативную), для этого нужно использовать другие методы (например, Байесовский подход) 🥵

Помните, не путайте и не давайте себя путать. Если хочется разбираться в статистике, читать "критически" статьи, то нужно учиться разбираться в основах (глупо читать книгу без знания алфавита, фонетики, грамматики, орфографии) 📖

А в статистике основ дох... много 😁

@ebm_base

#ebm_statisica #ebm_base #hypothesis