Forwarded from Matt
Как понять, что такое состоятельность, и зачем она вообще нужна?
Итак, у нас есть популяция, в этой популяции есть среднее -- например, средний рост. Померять всех людей мы не можем, поэтому мы берем выборку из популяции и на основании этой выборки пытаемся оценить среднее во всей популяции. Конкретный способ как из n измерений в выборке получаем одно число -- оценку параметра -- называется estimator или, как называет его Ник, оценщик. В случае со средним это обычно среднее арифметическое. Но могут быть и другие: например, trimmed среднее, когда вы удалили из выборки выбросы.
В чем проблема: поскольку измерения в выборке -- случайные величины, то и результат, который нам выдает оценщик -- собственно сама оценка -- тоже случайная величина. Внимание: случайная величина не значит "левая, рандомная хрень; шум". Это значит, что у нас есть некоторая "ошибка измерения". Среднее в выборке не будет равно среднему в популяции (я гарантирую это).
Все последующие танцы сводятся к тому, как ведет себя вот эта "ошибка измерения", разница между реальным значением в популяции и тем, что вам говорит ваш оценщик.
Итак, у нас есть популяция, в этой популяции есть среднее -- например, средний рост. Померять всех людей мы не можем, поэтому мы берем выборку из популяции и на основании этой выборки пытаемся оценить среднее во всей популяции. Конкретный способ как из n измерений в выборке получаем одно число -- оценку параметра -- называется estimator или, как называет его Ник, оценщик. В случае со средним это обычно среднее арифметическое. Но могут быть и другие: например, trimmed среднее, когда вы удалили из выборки выбросы.
В чем проблема: поскольку измерения в выборке -- случайные величины, то и результат, который нам выдает оценщик -- собственно сама оценка -- тоже случайная величина. Внимание: случайная величина не значит "левая, рандомная хрень; шум". Это значит, что у нас есть некоторая "ошибка измерения". Среднее в выборке не будет равно среднему в популяции (я гарантирую это).
Все последующие танцы сводятся к тому, как ведет себя вот эта "ошибка измерения", разница между реальным значением в популяции и тем, что вам говорит ваш оценщик.
👍3
Forwarded from Matt
Мы можем задаться вопросом: а как ведет себя ошибка измерения при увеличении размера выборки? С какой вероятностью она будет "большой"? Суть (слабой) состоятельности в том, что с увеличением объема выборки вероятность того, что ошибка будет "большой" сходится к нулю. То есть, на достаточно большой выборке вероятность того, что оценка достаточно близка к реальному значению, достаточно высока. Состоятельность важна потому, что для нас на практике это значит, что точечным оценкам можно верить; если оценщик состоятельный, то точечные оценки с большой вероятностью близки к правде -- ну или их можно туда затолкать, увеличив выборку.
Иными словами, состоятельность говорит о том, что между тем, что делает оценщик, и реальным параметром есть какая-то связь, что оценщик хотя бы пытается попасть в реальный параметр. Состоятельность -- это то, что делает оценку оценкой в клиническом смысле.
Иными словами, состоятельность говорит о том, что между тем, что делает оценщик, и реальным параметром есть какая-то связь, что оценщик хотя бы пытается попасть в реальный параметр. Состоятельность -- это то, что делает оценку оценкой в клиническом смысле.
👍3
Вчера под постом о состоятельности мне указали на мое место неточности (я сам попросил, т.к. не был уверен, что верно понял)
Получилось очень продуктивно
Спасибо!
А если вы хотите прочитать полную версию, что переходите в чат (там продолжение)
Получилось очень продуктивно
Спасибо!
А если вы хотите прочитать полную версию, что переходите в чат (там продолжение)
❤2
Ну а кто говорил, что задача ChatGPT искать правду 😁
Ее цель, чтобы слова подходили (ни хорошо, ни плохо, просто это особенность)
Ее цель, чтобы слова подходили (ни хорошо, ни плохо, просто это особенность)
"Правды больше нет, нам она и не нужна"
❤7
Forwarded from People Analytics (Юрий)
🤖💩 ChatGPT -- полный бред
На днях одна компания (гуглите, не буду рекламировать ) громко заявила о том, что для анализа результатов опроса вовлеченности используется LMM. Я посмотрел и прочитал примеры отчётов. На мой взгляд, тексты от LMM на уровне "Капитан Oчевидность", но я хотел бы обратить внимание на другое.
Недавно опубликованная статья в журнале "Ethics and Information Technology" под заголовком "ChatGPT is bullshit" авторства Майкла Тонсена Хикса, Джеймса Хамфриса и Джо Слейтера утверждает, что большие языковые модели, такие как ChatGPT, производят контент, который часто содержит неточности, известные как "галлюцинации ИИ". Авторы статьи используют термин "bullshit" (по Фрэнкуфорту) для описания таких моделей, отмечая, что они в значительной степени характеризуются безрассудным пренебрежением к истине. Они рассматривают, как и почему модели могут считаться "bullshitters", и утверждают, что это описание лучше помогает понять и обсуждать поведение таких систем. В другом исследовании показано, что большие языковые модели склонны к "галлюцинациям" (от 17 до 33% времени) или созданию недостоверной информации, что делает их использование рискованным в областях с высокими ставками. Я как-то попросил GPT рассказать мне об исследованиях психологического благополучия. Получил "прекрасный" правдоподобный текст ... с выдуманными исследованиями и ссылками на несуществующие статьи. В отличие от прямой лжи чушь звучит весьма правдоподобно, поэтому рекомендую книжку "Полный бред! Скептицизм в мире больших данных".
#AI #ИИ #chatGPT #HR #LLM
На днях одна компания (
Недавно опубликованная статья в журнале "Ethics and Information Technology" под заголовком "ChatGPT is bullshit" авторства Майкла Тонсена Хикса, Джеймса Хамфриса и Джо Слейтера утверждает, что большие языковые модели, такие как ChatGPT, производят контент, который часто содержит неточности, известные как "галлюцинации ИИ". Авторы статьи используют термин "bullshit" (по Фрэнкуфорту) для описания таких моделей, отмечая, что они в значительной степени характеризуются безрассудным пренебрежением к истине. Они рассматривают, как и почему модели могут считаться "bullshitters", и утверждают, что это описание лучше помогает понять и обсуждать поведение таких систем. В другом исследовании показано, что большие языковые модели склонны к "галлюцинациям" (от 17 до 33% времени) или созданию недостоверной информации, что делает их использование рискованным в областях с высокими ставками. Я как-то попросил GPT рассказать мне об исследованиях психологического благополучия. Получил "прекрасный" правдоподобный текст ... с выдуманными исследованиями и ссылками на несуществующие статьи. В отличие от прямой лжи чушь звучит весьма правдоподобно, поэтому рекомендую книжку "Полный бред! Скептицизм в мире больших данных".
#AI #ИИ #chatGPT #HR #LLM
SpringerLink
ChatGPT is bullshit
Ethics and Information Technology - Recently, there has been considerable interest in large language models: machine learning systems which produce human-like text and dialogue. Applications of...
🔥12🤯2
Побуду немного цитатником ВК
Автор цитат Оскар Уайльд
Люди в своем большинстве живо интересуются всем на свете, за исключением того, что действительно стоит знать.
Будь собой. Прочие роли уже заняты.
Общественное мнение торжествует там, где дремлет мысль.
Тому, что действительно нужно знать, никто не научит.
Я слышал столько клеветы в ваш адрес, что у меня нет сомнений: вы прекрасный человек!
Автор цитат Оскар Уайльд
🔥13💅9🤡2💯2
ПОПИНАЕМ ЛЕЖАЧЕГО
В Jama Network вышло интересное исследование про мультивитамины (10.1001/jamanetworkopen.2024.18729).
Иногда можно услышать, как коррекция дефицитов, рекомендации нутрициологов и прочиенужные советы помогут вам прожить дольше. Так ли это?
Авторы во "введении" сразу выделяют 2 интересных термина:
- Health user effect - люди, которые больше заботится о своём здоровье (меньше вредных привычек, выполняют назначения врачей, обследуются, принимают витамины и т.д.), чувствую себя лучше;
- Sick user effect - люди с установленным заболеванием могут увеличить потребление витаминов, ожидая улучшение.
И вот они решили узнать, есть ли ассоциация с ежедневным приемом витаминов и снижением риска смертности.
Сразу отмечают, что это когортное исследование (нет рандомизации, может наблюдаться конфаундинг). Взяли когорты людей из NIH-AARP, PLCO и AHS, опросили их и классифицировали (nonusers, nondaily users или daily users of multivitamins).
Среди всех исследований согласовали потенциальные конфаундеры: пол, возраст, расовую и этническую принадлежность, уровень образования, статус и интенсивность курения, индекс массы тела, семейное положение, уровень физической активности, потребление алкоголя, кофе, индекс здорового питания 2015 (HEI-2015), индивидуальное потребление других пищевых добавок и семейную историю рака.
Наблюдение (follow up) велось от оценки приема витаминов до даты смерти, потери из-под наблюдения или окончания периода исследования (1-ый - первые 12 лет наблюдения, 2-ой - последние 15 лет). Летальный исход смотрели по национальному индексу смерти, кодировали через МКБ (9 и 10).
Основной результат исследования - объединенный анализ, но также проводился индивидуальный для каждой когорты.
В описании статистического анализе указано, что использовались модели пропорциональных рисков Кокса (hazard ratio), и nonusers были референсной группой. Модели были скорректированы на потенциальные конфаундеры (перечислены выше).
Некоторые переменные (для NIH-AARP ИМТ, курение, физическая активность, индивидуальное потребление добавок, семейный анамнез; PLCO алкоголь, кофе, квартиль HEI-2015, индивидуальное потребление добавок; AHS курение, ИМТ, алгоколь, потребления добавок) были проанализаированы как связанные со временем (time-dependent
variable).
В мета-анализе (объединенный) отмечалась низкая гетерогенность между исследования, использовали модель фиксированных эффектов (предполагается, что эффект один общий во всех исследованиях, а наблюдаемые различия связаны с выборочной ошибкой).
Там ещё много умных слов, от которых у врачей глаза сбегут с лица.
Итак, результаты!
Всего включено 390 тыс пациентов. Описательную статистику можете посмотреть сами в таблице 2 (там есть интересное: например, разница в возрасте между исследований или женщины принимают чаще витамины; с курением, активность и приемом добавок в целом логично, хоть и не сказал бы, что разительно). В дополнительных материалах есть ещё несколько описательных таблиц.
Посмотрим на основной результат (таблица 3).
Сразу поясняю почему тут многоХЭРОВ HR.
Помните, что сравниваются с nonusers. Вот в таблице это и написано.
Оценивают исход в виде смертность от всех причин (All-cause mortality), 1-ая строчка - число летальных исходов, 2-ая - модель Кокса, где провели коррекцию по возрасту и полу, 3-ая - полная многофакторная модель (все потенциальные конфаундеры). Два крупных столбца - периоды (первые 12 и последние 15 лет наблюдения), внутри них 1-ый столбец - сравнение nondaily users с nonusers, 2-ой столбец - daily users с теми же. Результат показан только для изучаемого "каузального" фактора (для остальных тоже есть значения HR с доверительным интервалом, но они не интересуют).
Получаем, что в 1-ом периоде (в течение 12 лет) многофакторная модель показывает, что для людей, которые принимают каждый день витамины, риск летального исхода от всех причин выше на 4% ((1.04 - 1)*100%) по сравнению с теми, кто их не принимает совсем (или они так сообщают). А доверительный интервал в значимых границах от 2% до 7%.
В Jama Network вышло интересное исследование про мультивитамины (10.1001/jamanetworkopen.2024.18729).
Иногда можно услышать, как коррекция дефицитов, рекомендации нутрициологов и прочие
Авторы во "введении" сразу выделяют 2 интересных термина:
- Health user effect - люди, которые больше заботится о своём здоровье (меньше вредных привычек, выполняют назначения врачей, обследуются, принимают витамины и т.д.), чувствую себя лучше;
- Sick user effect - люди с установленным заболеванием могут увеличить потребление витаминов, ожидая улучшение.
И вот они решили узнать, есть ли ассоциация с ежедневным приемом витаминов и снижением риска смертности.
Сразу отмечают, что это когортное исследование (нет рандомизации, может наблюдаться конфаундинг). Взяли когорты людей из NIH-AARP, PLCO и AHS, опросили их и классифицировали (nonusers, nondaily users или daily users of multivitamins).
Среди всех исследований согласовали потенциальные конфаундеры: пол, возраст, расовую и этническую принадлежность, уровень образования, статус и интенсивность курения, индекс массы тела, семейное положение, уровень физической активности, потребление алкоголя, кофе, индекс здорового питания 2015 (HEI-2015), индивидуальное потребление других пищевых добавок и семейную историю рака.
Наблюдение (follow up) велось от оценки приема витаминов до даты смерти, потери из-под наблюдения или окончания периода исследования (1-ый - первые 12 лет наблюдения, 2-ой - последние 15 лет). Летальный исход смотрели по национальному индексу смерти, кодировали через МКБ (9 и 10).
Основной результат исследования - объединенный анализ, но также проводился индивидуальный для каждой когорты.
В описании статистического анализе указано, что использовались модели пропорциональных рисков Кокса (hazard ratio), и nonusers были референсной группой. Модели были скорректированы на потенциальные конфаундеры (перечислены выше).
Некоторые переменные (для NIH-AARP ИМТ, курение, физическая активность, индивидуальное потребление добавок, семейный анамнез; PLCO алкоголь, кофе, квартиль HEI-2015, индивидуальное потребление добавок; AHS курение, ИМТ, алгоколь, потребления добавок) были проанализаированы как связанные со временем (time-dependent
variable).
В мета-анализе (объединенный) отмечалась низкая гетерогенность между исследования, использовали модель фиксированных эффектов (предполагается, что эффект один общий во всех исследованиях, а наблюдаемые различия связаны с выборочной ошибкой).
Там ещё много умных слов, от которых у врачей глаза сбегут с лица.
Итак, результаты!
Всего включено 390 тыс пациентов. Описательную статистику можете посмотреть сами в таблице 2 (там есть интересное: например, разница в возрасте между исследований или женщины принимают чаще витамины; с курением, активность и приемом добавок в целом логично, хоть и не сказал бы, что разительно). В дополнительных материалах есть ещё несколько описательных таблиц.
Посмотрим на основной результат (таблица 3).
Сразу поясняю почему тут много
Помните, что сравниваются с nonusers. Вот в таблице это и написано.
Оценивают исход в виде смертность от всех причин (All-cause mortality), 1-ая строчка - число летальных исходов, 2-ая - модель Кокса, где провели коррекцию по возрасту и полу, 3-ая - полная многофакторная модель (все потенциальные конфаундеры). Два крупных столбца - периоды (первые 12 и последние 15 лет наблюдения), внутри них 1-ый столбец - сравнение nondaily users с nonusers, 2-ой столбец - daily users с теми же. Результат показан только для изучаемого "каузального" фактора (для остальных тоже есть значения HR с доверительным интервалом, но они не интересуют).
Получаем, что в 1-ом периоде (в течение 12 лет) многофакторная модель показывает, что для людей, которые принимают каждый день витамины, риск летального исхода от всех причин выше на 4% ((1.04 - 1)*100%) по сравнению с теми, кто их не принимает совсем (или они так сообщают). А доверительный интервал в значимых границах от 2% до 7%.
🔥11❤4🤔2👍1
Какой ужас! Нутрициологи обманывают, фарма зарабатывает на смертях людей, дефициты ложь!
А если расширить период (2-ой) наблюдения (до 15 лет)? Там снова эти 4% повышения риска, но теперь доверительный интервал незначимый...
Nondaily даже смотреть не хочу. Что это за пациент, который не может запомнить, что надо каждый день питьHerbalife витамины?
Мб мета-анализ даст другой ответ? (Рис.1)
А там опять эти 4% с тем же доверительным интервалом для daily users. Что такое?
А вот 2 период даёт надежду снижения риска смерти от всех причин на 2% ((1 - 0.98)*100%), но доверительный интервал её забирает...
Можете посмотреть ещё огромный forest plot, где они изучали взаимодействие/модицикацию факторов в разных периодах... Если интересно (но для общего вывода, на мой взгляд, не очень нужно).
В "обсуждении" в целом авторы пишут интересно и размышляют над указанными терминами в "введении".
Любимый раздел "ограничения".
Действительно, наблюдательные исследования подвержены риску предвзятости оценки (bias risk esimate), особенно при плохо измеренных или неизмеренных факторах (т.к. они могут объяснять часть результата). Авторы приводят в пример использование медицинских услуг (какое поле для раздолья). При этом они пишут, что исключили людей с хроническими заболеваниями и/или раком на исходном этапе и тех, у кого отсутствовали данные об этом.
Люди могут говорить неправду (неосознанно, умышленно, приукрашивать, скрывать и т.д.), в связи с чем, есть риск неверной классификации участников в группу "nondaily users", поэтому авторы указывают, что сосредоточились преиущественно на "nonusers" и "daily users".
Отсутствующие данные - большая проблема (сколько дискуссий по ним ведётся). В связи с этим авторы делали 2 модели (коррекция на пол+возраст и многофакторная) и получили схожие результаты. Однако отмечают, что обобщение результатов на популяцию США ограничено.
Проблема этнического разнообразия (точнее его слабой выраженности). Хотелось бы переносить результаты с одних на других, но это некорректно.
Ну и длительность. Наблюдать всю жизнь пациентов - дорогое и не самое интересное удовольствие. Хотелось бы и другие статьи написать, и поработать по специальности, а не объяснять в 90 лет сменяющему поколению почему это исследование ещё продолжается.
ИМХО.
Я думаю итог понятен. Зачем употреблять каждый день витамины и корректировать дефициты, которые не приносят пользы в снижении смертности (а вас пытаются в этом убедить)? А мб даже увеличивают риск ее возникновения (ну или повышают тревожность по этому поводу).
Мне в модели не хватило учёта больных и здоровых (но как понял, авторы в принципе не включали первых в анализ). Но, возможно, можно было бы использовать доп показатели (оказание медицинской помощи: количество обращений за ней в год, появление тяжёлых заболеваний или что-то другое - огромный простор для размышлений; условия работы: связана ли с факторами риска хронических заболеваний, какими; среднегодовой доход (внезапно) - у богатых больше и лучше возможность получать мед помощь).
Насколько бы это изменило результаты? Не знаю, потому и интересно посмотреть. Но подозреваю, что не очень сильно (помните health user effect).
Интересно как после этого ещё нутрициологи спят спокойно?
А если расширить период (2-ой) наблюдения (до 15 лет)? Там снова эти 4% повышения риска, но теперь доверительный интервал незначимый...
Nondaily даже смотреть не хочу. Что это за пациент, который не может запомнить, что надо каждый день пить
Мб мета-анализ даст другой ответ? (Рис.1)
А там опять эти 4% с тем же доверительным интервалом для daily users. Что такое?
А вот 2 период даёт надежду снижения риска смерти от всех причин на 2% ((1 - 0.98)*100%), но доверительный интервал её забирает...
Можете посмотреть ещё огромный forest plot, где они изучали взаимодействие/модицикацию факторов в разных периодах... Если интересно (но для общего вывода, на мой взгляд, не очень нужно).
В "обсуждении" в целом авторы пишут интересно и размышляют над указанными терминами в "введении".
Любимый раздел "ограничения".
Действительно, наблюдательные исследования подвержены риску предвзятости оценки (bias risk esimate), особенно при плохо измеренных или неизмеренных факторах (т.к. они могут объяснять часть результата). Авторы приводят в пример использование медицинских услуг (какое поле для раздолья). При этом они пишут, что исключили людей с хроническими заболеваниями и/или раком на исходном этапе и тех, у кого отсутствовали данные об этом.
Люди могут говорить неправду (неосознанно, умышленно, приукрашивать, скрывать и т.д.), в связи с чем, есть риск неверной классификации участников в группу "nondaily users", поэтому авторы указывают, что сосредоточились преиущественно на "nonusers" и "daily users".
Отсутствующие данные - большая проблема (сколько дискуссий по ним ведётся). В связи с этим авторы делали 2 модели (коррекция на пол+возраст и многофакторная) и получили схожие результаты. Однако отмечают, что обобщение результатов на популяцию США ограничено.
Проблема этнического разнообразия (точнее его слабой выраженности). Хотелось бы переносить результаты с одних на других, но это некорректно.
Ну и длительность. Наблюдать всю жизнь пациентов - дорогое и не самое интересное удовольствие. Хотелось бы и другие статьи написать, и поработать по специальности, а не объяснять в 90 лет сменяющему поколению почему это исследование ещё продолжается.
ИМХО.
Я думаю итог понятен. Зачем употреблять каждый день витамины и корректировать дефициты, которые не приносят пользы в снижении смертности (а вас пытаются в этом убедить)? А мб даже увеличивают риск ее возникновения (ну или повышают тревожность по этому поводу).
Мне в модели не хватило учёта больных и здоровых (но как понял, авторы в принципе не включали первых в анализ). Но, возможно, можно было бы использовать доп показатели (оказание медицинской помощи: количество обращений за ней в год, появление тяжёлых заболеваний или что-то другое - огромный простор для размышлений; условия работы: связана ли с факторами риска хронических заболеваний, какими; среднегодовой доход (внезапно) - у богатых больше и лучше возможность получать мед помощь).
Насколько бы это изменило результаты? Не знаю, потому и интересно посмотреть. Но подозреваю, что не очень сильно (помните health user effect).
Интересно как после этого ещё нутрициологи спят спокойно?
🔥25❤4💯4