Не предусмотрели количество, по поводу записи подумаем!

Мне кажется, что линейная регрессия наиболее часто используемая модель. Иногда в нее вводят дополнения (полиномы, сплайны, трансформацию X и/или Y, нормализация и т.п.), но суть остаётся одна - пытаемся аппроксимировать прямую линию.

Почему? Потому что так удобно усреднять между всеми наблюдениями прямой линией. Затем мы можем получить оценки изменения среднего, т.е. разницу средних (между группами или при изменении количественного показателя).

Кажется, что выучи все по линейной регрессии и будешь разбираться во всем регрессионном анализе. Вроде бы и да (действительно облегчает), и нет (возможно выучить все?). Самое интересное, что изучать линейные модели мы начинаем еще в школе, когда вы сталкиваетесь с уравнением функции y = ax + b и рисуете ее график.

Так же часто используют обобщенные линейные модели (GLM, generalized linear models), где Y меняется на g(y) (на самом деле нет, на g(E[Y|X=x])), т.е. функцию связи (линейная регрессия - частный пример GLM). Но суть остаётся прежней, т.к. без трансформации исхода (для интерпретации) формула остаётся g(E[Y|X=x]) = b0 + b*x.

Преимущества использования линейной регрессии:
🔸 Понятно - легко интерпретировать
🔸 Наглядно - несложно нарисовать
🔸 Удобно - можно контролировать изменения и усложнения, вводить переменные разного типа
🔸 Проще начинать обучение с нее

Недостатки:
🔹 Теряем некоторые вариации (слишком сильная аппроксимация)
🔹 Может быть нелинейная связь, что требует усложнение (значит усложняется и интерпретация)
🔹 Если мы выберем форму кривой (при предыдущем пункте), которая не соответствует отношениям между переменными (в реальности), наши прогнозы будут неверными

Конечно, всегда есть нюансы/допущения в применении методов/оценщиков. Об одном писал здесь (рекомендую еще прочитать комментарии).

@ebm_base

Что-то так нравится эта фотка

СЪЕЛ ATE?

Хочу вступить на скользкую дорожку и затронуть непростую тему

В подходе causal inference (причинно-следственный вывод) мы сталкиваемся с термином ATE. Но прежде, чем дойти до него, нужна вводная информация.

Итак, у каждого объекта/человека/пациента можно указать, было воздействие/лечение (T = 1) или нет (T =0), где T - treatment. Также можно узнать был ли исход, который нас интересует (Y = 1 или Y = 0), где Y - outcome.

Спойлер, тут будут абстрактные показатели. Если вам удобнее/понятнее конкретные, то подставляйте под них свои показатели: T - дали конкретное лекарство или нет, Y - выздоровел пациент или нет и т.д. и т.п.

Мы предполагаем, что помимо наблюдаемого исхода (тот как мы увидели при конкретном T у конкретного пациента), есть ещё потенциальный исход (potential outcome) [ссылка]. Он возникает, если бы объект попал в другую группу (не в T = 1, а в T = 0 или наоборот), т.е. словно в контрфактуальный мир (а вы думали паралельные вселенные - это шутка?). Если бы мы могли такое померить, то для каждого объекта можно было бы получить ITE (individual treatment effect, индивидуальный эффект лечения):

ITE = Y(1) - Y(0) , где

Y(1) - исход при T = 1
Y(0) - исход при T = 0

Но заглянуть в параллельную реальность мы не можем 🌚 (особенных людей в счёт не берем, их ещё инопланетяне похищают)

И вот мы столкнулись с фундаментальной проблемой причинно-следственного вывода, т.к. для каждого объекта у нас всегда контрфактуальный исход неизвестен (NA), а значит и ITE = NA (подробнее в таблице на рис. 1).

Что делать?

Придется уйти от индивидуальных оценок и перейти к усреднённым. Вот здесь мы и сталкиваемся с ATE (average treatment effect, средний эффект лечения)

1) Мы считаем мат. ожидание исхода при T = 1 и T = 0
2) Из мат. ожидания при T = 1 вычитаем мат. ожидание при T = 0, получаем ATE

В формулах это выглядит так (а при помощи таблицы на рис. 2):

ATE = 𝔼[Y(1) - Y(0)] = 𝔼[Y(1)] - 𝔼[(0)] = 𝔼[Y|T =1] - 𝔼[Y|T = 0]

Такой вариант мы можем получить в идеальных условиях в РКИ (все следуют лечению). В остальных случаях у нас возникают особенности и расчет других мер эффекта (подробнее здесь)

Но, как и в других случаях, у нас есть предположения:
- Условная взаимозаменяемость/conditional exchangeability
(об этом уже писал здесь) или отсутствие ненаблюдаемого конфаундинга (здесь)
- Позитивность/positivity (важно, что принадлежность объектов к каждой группы была ненулевой или 0 < P(T = 1|X = x) < 1, где X = x - другие ковариаты)
- Стабильность/consistency (это относится к четкому определению вмешательства, т.е. мы должны четко понимать, что означает T = 1 и T = 0, не должно быть размывчатых формулировок. Что дает нам понимание, что исход равен тому значению, которое мы наблюдаем)
- Невмешательство/no interference (наше вмешательство на один объект не должно влиять на другой. Но что-то мне кажется это предположение нужно обсуждать отдельно, т.к. не очень уверен в терминах)
- Еще есть страшное слово SUTVA, которое словно объединяет 3 и 4 пункты (но не уверен)

От понимания ATE уже идет переход к другим мерам (ATT, ATC, CATE, LATE и т.п.). Добро пожаловать в мир причинно-следственного вывода 😎

@ebm_base

В дополнение к посту хочу порекомендовать почитать этот пост Канала влияния. Ну и подписаться на него тоже рекомендую, там рассматривают инструменты причинно-следственного вывода, ссылки прилагают👍