НАСТОЛЬКО ДОСТОВЕРНО, ЧТО ЗНАЧИМО
⠀
В постах в блогах, докладах на конференциях, статья, диссертациях и речи можно заметить небольшую, но очень важную ошибку. Иногда вместо "значимость" используют термин "достоверность". Что здесь не так? Как говорить правильно и почему? 🙅🏻‍♂️
⠀
Во-первых, в научном труде (будь то доклад или публикация) должны использоваться общепринятые термины, которые имеют конкретное определение.☝🏻
Во-вторых, проблема существует давно (относительно), примерно с 90-х годов, но были попытки в ней разобраться.🕵🏻‍♂️
В-третьих, эта проблема существует во всех научных сферах, что повышает актуальность и опасения (о ней нередко ведутся споры в чатах по статистике).🗯️
В-четвертых, проблема глубже, чем кажется, также она связана с оценкой гипотез, определениями p-value и ошибкой I рода.🤯
В-пятых, мы вступаем в поле духоты, токсичности, абстракции (в какой-то мере) и философии.🥸
⠀
Что означают эти слова?
📍Достоверность (validity) - соответствие полученных результатов реальному миру.
⠀
📍Статистическая значимость (statistical significance) - ситуация, когда наблюдаемый или более экстремальный статистический результат был бы редким при верной нулевой гипотезе.
⠀
Обычно статистическую значимость оценивают по показателю p-value ❗ (вероятность наблюдать такой или более экстремальный результат при верной нулевой гипотезе), который принято дихотомизировать (<0,05 - значимо, ≥ 0,05 - незначимо). Хотя Фишер 👨🏻‍🏫, который разработал данный показатель, указывал, что исследователю необходимо оценивать его индивидуально (грубо говоря ту самую редкость) в конкретном исследовании📄. Это большая дискуссия, которая ведется между статистиками и нестатистиками.
⠀
У нас есть проблема, что истинные результаты мы знать не может 🙇🏻‍♂️(для этого надо оценить все у всех и желательно, чтобы это была контрольная и экспериментальная группа сразу), поэтому мы используем выборки (надеясь, что они репрезентативны для изучаемой популяции). Получается, что мы очень косвенно и абстрактно пытаемся изучить достоверность. 👨🏻‍💻
⠀
Мы можем оценить достоверность летального исхода у определенного пациента, когда он случился💀, или выпадения орла у конкретной монеты в конкретный бросок🪙. Но достоверность причинно-следственной связи лечения А на исход Y оценить полностью не можем, всегда остается место неопределенности.
⠀
Зато можем узнать статистическую значимость📈. Мы предполагаем, что эксперимент проведен без систематических ошибок (но это не всегда так), и что живем в мире, где верна нулевая гипотеза, тогда возможно рассчитать вероятность полученных нами результатов или более экстремальных (сильнее отклоняющих).
⠀
Это не означает, что p-value говорит нам о причинно-следственной связи или достоверности. Он показывают только то, для чего был разработан.📝
А еще остается вопрос о клинической значимости, куда впутывается доверительный интервал...😬
⠀
Что же происходит в реальности? А в ней продолжает существовать миф о взаимозаменяемости этих терминов🖕🏻. В статье Н.А. Зорина "«Достоверность» или «статистическая значимость» — 12 лет спустя" показана вероятная цепочка возникновения мифа (рис. 1).
⠀
Почему эта проблема продолжает существовать и не решается? Есть разные версии:
🔹Низкое освещение, не смотря на то, что профессиональное общество о ней говорит;
🔹Низкий уровень знаний (как статистики, так и логики);
🔹Нежелание разобраться в вопросе глубже или непонимание.🧠
⠀
Я вам достоверно заявляю, что данная проблема значима, и тут есть много места для дискуссий. 🤡
Я, например, стараюсь следить за речью и указываю на данную ошибку у других.
Нео, заткнись и выходи на новый уровень познания.💊

@ebm_base

#ebm_statistica #достоверность #статистическаязначимость #значимость

Рис.1

Пример не заставил себя долго ждать

ПРОСТО ДОКОПАЛСЯ НА ПУСТОМ МЕСТЕ
⠀
Я тут решил устроить небольшое описание статистического анализа, который можно встретить в диссертациях. Итак, наш пример в изображениях (рис.1 и 2).
⠀
Насчет ПО ничего говорить не будем, каждый пользуется тем, чем умеет и в чем удобнее 👨🏻‍💻
⠀
Если есть традиционные показатели описательной статистики, то значит есть нетрадиционные (кто знает напишите)? 🫢🤔
⠀
Достоверность различий... Мда, тут без слов... Отсылаю к этому посту 🤬
⠀
t-тест Стьюдента, получается, если он используется, то предполагается равенство дисперсий в выборках. А если это окажется не так? Почему сразу не прописать про поправку к t-тесту Уэлча, для которой не обязательно равенство дисперсий 🤨
⠀
Интересно, а Фишер в курсе, что он разработал t-критерий 🤣 Почему-то такой не находится, но зато сразу в поиске выпадает F-критерий Фишера, который применяется в дисперсионном анализе (ANOVA). Как можно заметь, обычно используется заглавная F 🤫
⠀
К уровню значимости p<0,05 кроме претензий к "достоверности" нет.
А вот F<0,05 - это просто сюр 🤡 Давайте посмотрим на распределение Фишера (на рис.3), которое имеет тестовая статистика (F-критерий). Как мы видим область отклонения (т.е. которая соответсвует p<0,05) находится справа, т.е. тестовая статистика должна иметь значения в большую сторону "<" (и это больше, чем 0,05) 🙈
⠀
Про различия между вероятностью ошибки (кстати не указано какой) и показателя р у меня тоже есть пост 🥶
⠀
Зачем расписывать показатели диагностики, если они стандартизованы? А почему тогда не расписываются формулы критериев, которые описывались ранее (они же более сложные)? 🤡
⠀
Для чего оценивалась корреляция, нам не говорят (догадайтесь сами). Почему используется непараметрический коэффициент корреляции? Предполагается нелинейная связь? На основании чего? 😵‍💫
⠀
Дальше указывается логистическая регрессия... Какие модели будут строиться (одно- или многофакторные)? Как она будет оцениваться? Какие параметры из нее будут использоваться (спойлер, никакие!)? Да, похер 🖕🏻
⠀
Затем оценка классификации модели при помощи ROC-анализа. Ох... Это вообще отдельная большая тема, где важно обоснование. Есть особенности при использовании многофакторный моделей. Есть другие подходы со своими особенностями. Зачем об этом писать? Для чего определялась точка отсечения? Как она выбиралась (да-да, ее можно выбрать)? А действительно, не за чем. Пусть читатели сами додумывают 😓
⠀
Идеальная модель - слишком широкое понятие. Она может быть идеальная со статистической точки зрения, но быть бессмысленной/неосуществимой с клинической 🤦🏻‍♂️
⠀
По каким критериям принималось решение о значимости модели мы тоже не узнаем... Вы что не в курсе что ли? Это же так просто. Гугел откройте 👨🏻‍💻
⠀
Самое страшное, что это не единичный пример, лишь показательный. Насколько можно доверять таким диссертациям? Поменяют ли что-то они в клинической практике? Будет ли от этого какое-то значение, кроме наличия статуса "к.м.н." у врача? 🫨
⠀
Как много вопросов, как мало ответов...

@ebm_base

#просто_докопался #ebm_statistica

В последнее время подписчиков прибавилось. И наверное некоторые пребывают в состоянии шока, что они читают 😁

Что ж, мой принцип ведения блога сложно понять сразу и без моей личности (какие громкие слова😁)

Я, автор канал, клоун, душнила, токсик, зануда (и любые другие синонимы).
Здесь нет соплей, поняшек, розовых очков, я пишу и отвечаю так, как это сделал бы при живом общении.
Не вижу смысла создавать иллюзию доброжелательности.
Я пишу исключительно свое мнение, сформированное от прочитанного, увиденного, проговоренного, обдуманного и т.д. Для этого я прикрепляю под постами (в комментах) ссылки на источники, на основании которых пишу.
Если вы не согласны с моим мнением, то в комментариях или ЛС я всегда доступен для дискуссии (и считаю, что она нужна)
Если я оказываюсь аргументированно не прав, то мне не стыдно, зазорно (и пр.) признать это, даже публично

При этом я не являюсь статистиком на образованию, не проходил суперпупер курсов за 100500 тыщ. Все исключительно самостоятельно и в большинстве случаев по бесплатным ресурсам (курсы, статьи) и книгам.

Я иногда привожу и критикую примеры. Суть в том, что в этот момент мне безразлична личность человека (хотя может казаться обратное). Я высказываюсь о действиях, словах или логических цепочках. Хочу показать минусы таких подходов (но стараюсь подмечать и плюсы, если они есть)

Кроме критики и узких шуток, я пишу о тех темах, которые мне интересны, я изучаю. Т.е. мне хочется ими поделиться, т.к. не у всех есть время, силы, возможности этим заниматься самостоятельно. При этом по литературе вы самостоятельно можете углубиться в каждую тему больше. Т.к. в изучении доказательной медицины и статистики нет предела совершенству.

Так же есть доп ресурсы, помимо этого канала. И всегда можно написать мне лично, обратиться с просьбой помощи, для дискуссии, просто пообщаться. Я стараюсь отвечать как можно быстрее и не отказывать в помощи

Вот такой мой душный уголок 😁

В личку прислали 😁

Додумайте сами, чем он занимается 😁

Больше года назад я провел свой первый и пока единственный (но в планах их продолжить) прямой эфир, где рассказывал о доказательной медицине и некоторых ее нюансах (например, когда это становится бесполезной тратой времени)

Конечно, за год мои знания стали больше, но суть в целом осталось такой же
Принимаю критику и обвинения в недоказательности 😁

"Дискриминация - это плохо" - говорили они. "Каждый может стать кем хочет" - звучало от них. "С фаворотизимом надо бороться" - писали везде.

А затем они показали, кто есть кто

Меня дико смешат такие рассуждения о научной работе

Например (из уст великого куратора), зачем она нужна:
- повышенная стипендия для студента
- баллы в ординатуру/аспирантуру
- стипендия правительства РФ
- знакомства с экспертами
- посещение конференций
- поиск наставника
- глубокое понимание своей специальности

Интересно, а никто не догадывается, что в термине "научная работа" есть, блять, слово "научная"? Т.е. ее задача получение/систематизация объективных знаний о действительности или решение актуальных проблем

Я не отрицаю, что большинством движет меркантильный интерес (который и озвучивается), но разобраться в базовом термине же можно. И логично, что студент скорее всего не сможет написать важную научную работу, но он учиться проводить исследования, решая научный вопрос.

Хотя чаще и это уже не так. Гребанный постмодерн.

Я пытаюсь второй год хоть где-то пробить и опубликовать данные по журнальному клубу, а говорящие головы рассказывают неотёсанным плебеям неопытным студентам, как сейчас их обучат заниматься наукой. Подпишитесь на блог, запишитесь на курс, оплатите мне очередную поездку, платье и т.д., а я вам открою секретный секрет, как надо делать исследования.

Что? Нужны ссылки на сложные дискуссии, где обсуждаются какие есть преимущества и ограничения у дизайнов исследований и их элементов? Или какая формула более точна при конкретном подходе в анализе данных? Бросьте, это от лукавого. На самом же деле все просто. Берёте и занимаетесь наукой.

Хули сложного?

Повторим?