Я ЭТО НЕ ТЫ, ТЫ ЭТО НЕ Я

В комментариях под постом о Post hoc анализе напомнили о гетерогенности. Повод разобраться самому и написать новый пост

Но прежде я хочу поправить самого себя. Я упомянул о снижении мощности (или об увеличении вероятности ошибки II рода или ложноотрицательного результата), но забыл об увеличении вероятности ошибки I рода или ложноположительного результата. Т.е. мы можем либо не обнаружить искомый эффект, либо найти "несуществующий". Это достаточно сильное мое упущение, исправляюсь 🫡. Что с этим делать? Как-нибудь напишу.

Но сейчас я хочу поговорить о неоднородности/гетерогенности эффекта лечения (Heterogeneity of Treatment Effects - HTE).

Пациенты (в жизни и в исследованиях) гетерогенны, т.е. могут различаться по каким-то характеристикам. По ним они выделяются в группы (или подгруппы, чувствуете к чему идем), которые могут влиять на основной эффект лечения. 🤔 [1]

В исследовании чаще всего оценивают средний эффект лечения (average treatment effect - ATE) между контрольной и экспериментальной группами. Но что если заглянуть поглубже. И здесь находим HTE.

❗️Гетерогенность эффекта лечения (HTE) - это неслучайная, объяснимая изменчивость направления и величины эффекта лечения для отдельных лиц в популяции.❗️ [1]

Неужели я противоречу сам себе, ведь это и есть поиск "выигрышных" пациентов! 🤬

Не совсем. Можно выделить 2 цели анализа HTE [1]: 
1️⃣ оценка эффектов лечения в важных клинических группах (часто это делают)
2️⃣ прогнозирования пользы от лечения (часто интерпретируют то, что сделано для 1 цели 🤦‍♂️)

И наиболее часто для этого используют подгрупповой анализ (subgroup analysis), где нужно вносить в исходную модель взаимодействие (interaction) с интересующей подгрупповой переменной (один из вариантов)

Но он тоже бывает разный [1]:
🔺 Подтверждающий (Confirmatory). Нужен для проверки и подтверждения гипотез. Для этого требуется заранее составленный статистический план с четким определением важных клинических (убедительных специлизированных знаний до) подгрупп (небольшое число гипотез, в т.ч. направление) и описанием анализа. Но тогда и основная цель, дизайн и т.п. исследования направляется на анализ подгрупп, тогда можно сделать хорошие выводы.

🔺 Описательный (Denoscriptive). Нужен для описания эффекта для будущей подробной оценки и синтеза. Также заранее составленный план, определение подгрупп и т.п. Часто показывают как forest plot. Т.е. просто посмотреть интересующие подгруппы.

🔺 Исследовательский (Exploratory). Определение подгрупп для будущей оценки. Тут более гибко, т.к. обычно нет предопределенных подгрупп (они появляются уже в момент написания статьи). Просто ищут идеи для будущих исследований.

FDA тоже пишет, что тип подгруппового анализа должен быть указан, а его результат надо интерпретировать осторожно (а выводы только на нем не должны приниматься). 😱 [2]

Все ли следуют данным рекомендациям? Эххх... 🫠

Оказалось, что чаще всего нет. Эффекты взаимодействия не указываются. Убедительную интерпретацию сделать из исследований, где проводился подгрупповой анализ не получается более чем в половине случаев. Не указываются интервальные оценки (а иногда и р) и т.д. 😶‍🌫 [3]

В общем, есть глобальная проблема оценки гетерогенности. Есть проблема в исследованиях, в которых пытаются оценивать гетерогенность. Есть проблема у авторов в интерпретации HTE. Есть проблема у врачей, который читают статьи/слушаю конференции и восхищаются любой положительной горизонтальной черте в forest plot. 🤡

Каких их решить? Читать, читать, читать и не доверять мне (особенно учитывая, что я немного пересказал 1 источник тут, потому что мне понравилось как в нем это объяснено). 🤫

@ebm_base

Поступают вопросы «Когда уже со мной свяжутся?! Вдруг меня потеряют?»
Отвечаю:
1) Если до вас дошло письмо, то значит связь с вами есть (вас не потеряют + вы указывали другие контакты)
2) У нас не огромная компания/коллектив, чтобы делать все в один день (а уже успеть организовывать это все - нужен 25-й час в сутки)
3) В течение следующей недели с вами свяжутся, наберитесь, пожалуйста, терпения

Я даже сделаю проще - сообщу здесь, когда коллеги получат инструкции и начнут связываться с вами

На самом деле я долго обдумывал, почему я пошел в медицину. До сих пор у меня нет четкого ответа. Но здесь описана пара важных событий

С вами начали связываться, кто прошел в 3 этап
Ищите на почте, в соц сетях и других контактах, которые вы указывали

Эт прям хорошо 😂😂😂 я столкнулся с этим спустя лишь 4 года после начала погружения в статистику (видимо они были не очень продуктивными)

Недавно с Лешей Титовым (да-да, тот самый) обсуждали параметрические и непараметрические тесты для 2-х выборок. И несколько сообщений спустя это привело с симуляциям. И некоторым интересным наблюдениям.

Начнем!

Первая симуляция (А)

1. Создаются 2 выборки по 100 наблюдений, каждая из нормального распределения с характеристиками (mean = 1, sd = 1). Т.е. в них верна нулевая гипотеза (Н0) о равенстве средних (mean1 = mean2) и такая же гипотеза о равенстве рангов
2. Из каждой берем случаный значения с повторами (бутстреп-выборки), рассчитываем на ней значение р для t-теста (параметрический) и теста Mann-Whitney (непараметрический)
3. суммируем сколько раз получили отклонений Н0
4. Повторяем 50 раз

Что видим? В целом ни по одному из тестов не отмечается сильного отклонения от уровня в 5% (размер ощибки 1 рода). Но это логично)

Вторая симуляция (В)

1. Те же 2 выборки по 100 наблюдений, но теперь постепенно увеличиваемся разницу между средними в популяции. А значит при MD = 0 Н0 еще верна, а дальше не верна.
2-4 так же

Что видим? Тут получается мы наблюдаем как меняется мощность каждого теста. И что интересно, она растет одинаково у каждого из них.

Можно сделать первое предположении на основе симуляций.
При нормальном распределении данных в популяции (также одинаковой дисперсии и отсутсвии проблем в выборочных данных) независимо от верности Н0 оба теста имеют схожие характеристики.

А теперь начнем вносить изменения.

Первое, что я попробовал, это случаной вносить выбросы в обе группы (увеличивается случайное значение в 3 раза), количество этих выбросов увеличивается от 1% до 50% (правда если их 50% можно ли это считать еще выбросами)

На графике А. Н0 остается верной (mean1 = mean2). Как видим t-тест остается достаточно устойчивым, т.е. несильно увеличивается количество false-positive. А MW наиборот начинает чаще отклонять, но к 40-50% выбросам словно возвращается (но это к вопросу выборки с 50% «выбросов»)

График В. Я решил добавлять лишь 2% выбросов с такой же силой как выше (в 3 раза). Наверное так бывает не всегда, но я надеюсь, что более сильные выбросы или более частые исследователям получается идентифицировать и исправить (ведь так?). Так. В итоге намечается небольшой рост мощности MW, но глобально они пока до сих пор похожи.

Предположение. Случайные выбросы в обоих группах при верной Н0 не являются противопоказанием к применению t-теста, если сравниваем средние. А при неверной Н0 характеристики тестов схожие.

а тут творится… веселуха))

Здесь я сотворил какой-то абсурд (на мой взгляд) 😁

График А. 2 выборки идентичны, но в одну вносятся выбросы с силой 3 и их количество увеличивается как в предыдущей. И… это создает логичную, но мутную ситуацию. Видимо в какой-то момент (около 10% выбросов) Н0 перестает быть верной в изначальном условии (или не перестает, а мешают смоделированные кривые руки), поэтому оба теста начинают ее отклонять все сильнее. На 40% отклонений скорее всего это уже две разные выборки.
Здесь интересное наблюдение, что MW начинает находить этот абсурд раньше, чем t-тест (или слишком рано). В общем есть еще над чем поиграть подумать.

График В. К абсурду с выбросами в одной выборке добавляется, что Н0 точно не верна. Тут опять MW показывает тенеденцию чуть лучше отклонять Н0, но не критично.

Предположение. Надо знакомиться с данными до использования тестов, вдруг найдете криворукие выбросы, которые вам сильно сместили среднее в одной группе.