КАКОЙ ШИКАРНЫЙ У ТЕБЯ POST HOC

Насколько я знаю (но может знаю неправильно), в аналитике данных после А/В-тестов (по сути это РКИ) проводят сегментацию, что найти тех, на кого вмешательство было эффективно. У этой идеи есть здравое рассуждение - хочется получить как можно больше информации из данных. Но здраво ли его используют и интерпретируют результаты в медицинских исследованиях? 🤔

Начнем с общих понятий.
Когда планируется исследование, то многим (исследователям, спонсорам, пациентам) хочется знать как быстро его получится провести. Это зависит от многих факторов: количество центров, количество пациентов, длительность наблюдения, скорость достижения первичной конечной точки и т.п. И немало внимания концентрируется на количестве пациентов.
И сейчас это показатель "Размер выборки" (Sample size) - количество участников в клиническом исследовании, которое обеспечивает надежный/достоверный ответ (об это сегодня не говорим) на поставленные вопросы [1]. 🤘

До ее расчета нужно определиться с гипотезами: нулевой и альтернативной (что это подробнее здесь и здесь и немного здесь). Представим, что мы это уже сделали (и даже согласны оценивать гипотезы 🫣).

Так же важно понять какой минимальный размер эффекта (effect size/minimal detectable effect size) мы планируем обнаружить (представим, что уже определили на основе своих специальных знаний 👨‍🎓).

❗️И тут входит понятие "Мощность" (Power) - вероятность верно отклонить нулевую гипотезу, если альтернативная о размере эффекта верна (грубо).❗️ Чаще всего ее устанавливают на уровне 80-90% и получают в расчетах минимальный размер выборки (и набирают ее же + мб Dop out rate).

Важно уточнение, что анализ мощности/расчет размера выборки имеет смысл только при планировании исследования, чтобы решить проблемы затрат (времени, финансов, участников) и контроля ошибок I и II рода (скорее быть уверенным в их уровне). 🫡
После получения данных мы не можем быть уверены в истинности результата, а значит и в истинности мощности теста (как я понял, это называют наблюдаемой мощностью (Observed power)) [2, 3].

А теперь загадка от Жака Фреско. Что будет, если выборку, набранную по определенному расчету мощности, разделить на подгруппы?

5, 4, 3, 2, 1… 🫥

Мощность снизится! А еще потеряется контроль за ошибками, ведь поменяется и размер эффекта.
А это происходит постоянно в subgroup analysis и post hoc analysis. А самое забавное, что это представляют на конференциях, а затем все повторяют с фразами: "Важные данные", "Это успех", "Нашли наконец-то группу, кому поможет максимально" и т.д. 🤯

📍Важно, что для таких выводов сначала нужно прочитать полный текст (что было, что и почему сделано, почему и как сделали этот анализ, сколько пациентов осталось, насколько данные результаты совпадают с литературой и т.д.). 
📍Еще нужно разобраться как был получен такой результат (взаимодействия, коррекции, гетерогенность, интерпретация forrest plot и другие сложные статистические штуки, которые врачи не могут или не хотят базово изучить), а то большинство исследований с проблемами [4]. 
📍Не говоря уже о проблеме тестирования гипотез (как глобально, так и множественного).

Что делать? 
🔹Разбираться. Каждый subgroup или post hoc анализ - повод разобрать более внимательно: новое исследование, изучение имеющейся литературы, мета-анализ.
🔹Не делать громких выводов (как типичное СМИ), т.к. снижение мощности (а значит увеличение ошибок I и II рода) никуда не девается.
🔹Продумать и/или изучить критерии гетерогенности, чтобы давать более аккуратную интерпретацию.
🔹Подвергать критике исследования, про которые вам рассказывают.

Мои слова тоже нужно подвергать критике 🤫

@ebm_base

Напоминаю, что до окончания приема ответов на 2 этап в ЖК осталась неделя (23.09 - последний день)

Рекомендую посмотреть👍

Ну наконец-то
Мы это ждали долго, Максим 😁
Если вы верите, что статистику можно выучить "за 5 шагов" или "2 семинара", то этот автор вас точно выведет из душевного равновесия (в хорошем смысле, хотя...)
И посильнее меня точно))

Он даже уже это начал делать 😁

А я очень благодарен, что Максим периодически отрезвляет меня)
Хотите узнать, что статистика это сложно? Велком)))

А этот пост мне особенно нравится 😁😁😁

Я считаю, что доступность знаний важна, поэтому хочу напомнить, что у меня с коллегами не один перевод)

EBM's six dangerous words: https://news.1rj.ru/str/ebm_base/93

Evidence-based medicine. A new approach to teaching the practice of medicine: https://news.1rj.ru/str/ebm_base/117

Seven myths of randomisation in clinical trials: https://news.1rj.ru/str/ebm_base/531

Последний день 2 этапа ЖК
Кто не сдал, тот не сдал

в тесте обнаружена ошибка перевода в одном из вопросов (только сейчас написал один из участников!!!) 🤦‍♂️
Соответственно балл по этому вопросу не будет учтен

Итоги 2 этапа ЖК ожидайте ориентировочно через неделю

Когда мне в следующий раз будут говорить, что я докапываюсь, я буду отвечать, что провожу фЭйсконтроль

Только я обрадовался, увидев нормальное определение p-value
Но тут!

🤩 МЫ ПОДГОТОВИЛИ ДЛЯ ВАС СПИСОК САМЫХ ПОЛЕЗНЫХ КАНАЛОВ ПО СТАТИСТИКЕ И ДОКАЗАТЕЛЬНОЙ МЕДИЦИНЕ

💜 BioStat <- R | Чат по статистике и R
Чат создан преподавателями и выпускниками Института биоинформатики (Санкт-Петербург). Основная направленность обсуждений - современные методы биостатистики и их реализация в среде программирования R.

💜 Data Medicine
Канал врача и исследователя Артемия Охотина о биостатистике, эпидемиологии и политике в медицине. «Listen to your data, it is telling you the diagnosis»(с) В канале разбираются хорошие и плохие исследования, откровенно обсуждаются вопросы интерпретации их результатов.

💜 Ebm_base
Канал, где описываются основы и нюансы доказательной медицины, статистики и эпидемиологии. Автор (к слову, хирург) старается сам разобраться в сложных вещах и рассказать о них. Иногда (несмешные) шутки над чем угодно. Осторожно, токсичный контент!

💜 «Lobastov’s Scientific Library»
Личный канал (с перчинкой) доктора медицинских наук, врача-флеболога Кирилла Викторовича Лобастова с свежими исследованиями, интересными клиническими случаями, критическим разбором статей и ссылками на полезные ресурсы из мира научной флебологии и не только.

💜 Канал medstatistic
Блог, где понятным языком рассказывается о статистическом анализе медицинских данных. Ведет блог доцент Казанской государственной медицинской академии и один из создателей программы StatTech Дамир Марапов.

💜 medstatistic ЧАТ
Один из старейших чатов для обсуждения вопросов статистического анализа медицинских данных. Здесь можно задать любой вопрос о своём исследовании и получить компетентный ответ от экспертов.

💜 Канал "НЕЗАВИСИМОЙ НАЦИОНАЛЬНОЙ АКАДЕМИИ ДОКАЗАТЕЛЬНОЙ МЕДИЦИНЫ"
На этой платформе вы найдете материалы в области доказательной медицины и критической оценки научных публикаций. Если захотите высказаться, то есть чат ННАДМ.

💜 Сообщество "ОСНОВАНИЕ"
Сообщество врачей Казани, разделяющих принципы доказательной медицины. В канале публикуются рекомендации, основанные на клинических исследованиях, мнение экспертов, материалы о принципах чтения научных статей.

💜 Статистика и R в науке и аналитике
Автор канала биоинформатик Елена Убогоева пишет о простых и сложных вещах в статистике, рассказывает про особенности языка программирования R, а также выкладывает материалы о продуктовой аналитике и смежных темах


Подборка подготовлена ННАДМ и Мараповым Дамиром.

Отправлены письма счастья и несчатья по 2 этапу 🫡
Ищите на своей почте!

Если вам не пришел ответ, то напишите мне, разберемся почему

Я ЭТО НЕ ТЫ, ТЫ ЭТО НЕ Я

В комментариях под постом о Post hoc анализе напомнили о гетерогенности. Повод разобраться самому и написать новый пост

Но прежде я хочу поправить самого себя. Я упомянул о снижении мощности (или об увеличении вероятности ошибки II рода или ложноотрицательного результата), но забыл об увеличении вероятности ошибки I рода или ложноположительного результата. Т.е. мы можем либо не обнаружить искомый эффект, либо найти "несуществующий". Это достаточно сильное мое упущение, исправляюсь 🫡. Что с этим делать? Как-нибудь напишу.

Но сейчас я хочу поговорить о неоднородности/гетерогенности эффекта лечения (Heterogeneity of Treatment Effects - HTE).

Пациенты (в жизни и в исследованиях) гетерогенны, т.е. могут различаться по каким-то характеристикам. По ним они выделяются в группы (или подгруппы, чувствуете к чему идем), которые могут влиять на основной эффект лечения. 🤔 [1]

В исследовании чаще всего оценивают средний эффект лечения (average treatment effect - ATE) между контрольной и экспериментальной группами. Но что если заглянуть поглубже. И здесь находим HTE.

❗️Гетерогенность эффекта лечения (HTE) - это неслучайная, объяснимая изменчивость направления и величины эффекта лечения для отдельных лиц в популяции.❗️ [1]

Неужели я противоречу сам себе, ведь это и есть поиск "выигрышных" пациентов! 🤬

Не совсем. Можно выделить 2 цели анализа HTE [1]: 
1️⃣ оценка эффектов лечения в важных клинических группах (часто это делают)
2️⃣ прогнозирования пользы от лечения (часто интерпретируют то, что сделано для 1 цели 🤦‍♂️)

И наиболее часто для этого используют подгрупповой анализ (subgroup analysis), где нужно вносить в исходную модель взаимодействие (interaction) с интересующей подгрупповой переменной (один из вариантов)

Но он тоже бывает разный [1]:
🔺 Подтверждающий (Confirmatory). Нужен для проверки и подтверждения гипотез. Для этого требуется заранее составленный статистический план с четким определением важных клинических (убедительных специлизированных знаний до) подгрупп (небольшое число гипотез, в т.ч. направление) и описанием анализа. Но тогда и основная цель, дизайн и т.п. исследования направляется на анализ подгрупп, тогда можно сделать хорошие выводы.

🔺 Описательный (Denoscriptive). Нужен для описания эффекта для будущей подробной оценки и синтеза. Также заранее составленный план, определение подгрупп и т.п. Часто показывают как forest plot. Т.е. просто посмотреть интересующие подгруппы.

🔺 Исследовательский (Exploratory). Определение подгрупп для будущей оценки. Тут более гибко, т.к. обычно нет предопределенных подгрупп (они появляются уже в момент написания статьи). Просто ищут идеи для будущих исследований.

FDA тоже пишет, что тип подгруппового анализа должен быть указан, а его результат надо интерпретировать осторожно (а выводы только на нем не должны приниматься). 😱 [2]

Все ли следуют данным рекомендациям? Эххх... 🫠

Оказалось, что чаще всего нет. Эффекты взаимодействия не указываются. Убедительную интерпретацию сделать из исследований, где проводился подгрупповой анализ не получается более чем в половине случаев. Не указываются интервальные оценки (а иногда и р) и т.д. 😶‍🌫 [3]

В общем, есть глобальная проблема оценки гетерогенности. Есть проблема в исследованиях, в которых пытаются оценивать гетерогенность. Есть проблема у авторов в интерпретации HTE. Есть проблема у врачей, который читают статьи/слушаю конференции и восхищаются любой положительной горизонтальной черте в forest plot. 🤡

Каких их решить? Читать, читать, читать и не доверять мне (особенно учитывая, что я немного пересказал 1 источник тут, потому что мне понравилось как в нем это объяснено). 🤫

@ebm_base

Поступают вопросы «Когда уже со мной свяжутся?! Вдруг меня потеряют?»
Отвечаю:
1) Если до вас дошло письмо, то значит связь с вами есть (вас не потеряют + вы указывали другие контакты)
2) У нас не огромная компания/коллектив, чтобы делать все в один день (а уже успеть организовывать это все - нужен 25-й час в сутки)
3) В течение следующей недели с вами свяжутся, наберитесь, пожалуйста, терпения

Я даже сделаю проще - сообщу здесь, когда коллеги получат инструкции и начнут связываться с вами