Про неопределенность (4/4). Итого.

1. Есть эпистемическая неопределенность, которая связана с попыткой сказать что-то о параметере распределения и происходит из ограниченности нашего знания. Эпистемическая неопределенность описывается с помощью SE или ДИ и уменьшается с ростом выборки.

2. Алеаторная неопределенность является органичным свойством генеральной совокупности (или, шире, механизма производства данных), описывает вариабельность или изменчивость поведения отдельных элементов ГС и не уменьшается с простым увеличением объема выборки. Описывается с помощью SD, дисперсии или, например, IQR.

3. Отображать неопределенность на графиках и репортировать в тексте — это отличная идея, так и надо.

4. Важно однако правильно выбирать тип неопределенности, который вы хотите репортировать: алеаторный или эпистемический, и подбирать соответствующие инструменты.
Обычно в Таблице 1 и секции с описанием данных имеет смысл репортировать алеаторную неопределенность, поэтому мы там видим боксплоты, SD, IQR.
В части, посвященной статвыводу, важно репортировать неопределенность этого статвывода, поэтому там мы часто видим ДИ и, опционально SE для наших оценок.

Хозяйке на заметку

Хорошее упражнение, которое даёт пищу для размышлений. Возьмите какой-нибудь датасет (лучше лонгитудинальный, например, Orthodont) и попытайтесь создать его синтетическую версию, которая будет воспроизводить оригинальный датасет и его закономерности. Можете представить, что готовитесь к конференции и хотите на примере датасета показать классные штуки, но разглашать исходные данные нельзя, потому что потому.

Узнаете много интересного.

#хозяйке_на_заметку

Через час начнется следующая лекция из вот этого цикла. В этот раз разговариваем про категоризацию непрерывных данных и что с этим подходом (не) так. Подробности и пароли-явки по ссылке.

Ну а я в качестве полезного тизера положу пост Ильи Бирмана: дизайнеры, например, интуитивно понимают, что не так с разбиением на категории. Более того, с этим не так можно столкнуться и в повседневной жизни.

Без возрастных категорий

Когда бегаешь в Эпл-часах, они измеряют некий параметр VO₂ max, который характеризует твою кардиовыносливость. Я бегаю по чуть-чуть, и вот однажды прошлой весной этот VO₂ max у меня упал ниже среднего. Я расстроился и стал думать, как бы мне бегать получше, чтобы вырос обратно. Бегал-бегал, но всё лето он болтался вокруг того же значения, никак не становясь выше среднего.

И вот после очередной тренировки VO₂ max чуть-чуть упал, но Эпл показал, что он стал выше среднего! А благодаря теореме Коши, Вейерштрасса или кого-то из этих ребят мы понимаем, что если значение непрерывной функции было ниже некоторого значения, а потом упало, то оно ну никак не может стать выше этого значения. Я пошёл разбираться, что там произошло.

Оказалось, что с прошлой тренировки мне успело исполниться сорок лет, и я перешёл из категории 30—39 лет в категорию 40—49 лет, и среднее для меня резко уменьшилось — с 43 мл/кг/мин до 38 мл/кг/мин. То есть в логике Эпла между людьми 30 и 39 лет нет никакой разницы, но конкретно в день, когда тебе исполняется сорок, нормативы для тебя резко снижаются.

Делить людей на категории может быть необходимо, если у вас есть ограниченное количество различных предложений для них. Вы можете сделать только два правовых статуса, только три типа билетов, только пять размеров носков — вам приходится искусственно делить всех на категории, потому что писать каждому индивидуальные правила или делать индивидуальное предложение нерационально.

Но если вы работаете с большими данными, то нет причин искусственно снижать разрешение в тысячи раз. Вы можете показать каждому среднее именно для его возраста, или среди всех людей с разбросом 3 месяца вокруг него, или что угодно ещё. Это среднее будет не резко меняться в случайные моменты жизни раз в десять лет, а плавно падать естественным образом.

Пишите постмортемы

Хозяйке на заметку, стараюсь делать сам и рекомендую другим: после окончания каждого проекта пишите «постмортем». Можете в дневничок, можете в блог, можете в обсидиан или куда там еще.

Если вы столкнулись с какими-то нестандартными проблемами или задачами, которые заставили вас напрячься — опишите их и ход своей мысли. Написали какую-то классную функцию, которая упрощает жизнь, нашли изящное решение в коде, которое можно переиспользовать? Упомяните их, включите их в свой набор сниппетов. Если какая-то часть проекта была для вас особенно приятной и порадовала вас — упомяните и ее. И наоборот, если было что-то особенно бесявое, то обязательно напишите про это.

Во-первых, так у вас появится более точное понимание того, куда уходят ваши силы и к каким результатам это приводит. Во-вторых, это поможет отслеживать ваш профессиональный рост. В-третьих, это все неплохой материал для постов: получаете контент практически без усилий, да еще и, вероятно, сэкономите кому-то силы и нервы (делай добро и бросай его в воду). Наконец, это поможет вам быстрее нашуршать решения в ситуациях типа «блин, как же я это в прошлый раз делал».

Вообще свой набор сниппетов (и, шире, библиотек и прочих утилит и приблуд) чем-то восходит к традициям старых мастеров: раньше, во времена гильдий, у каждого мастера был свой собственный набор инструментов, который он собирал на протяжении своей жизни или получал в наследство от своего учителя, и который оставлялся в наследство подмастерьям.

#бэкстейдж #хозяйке_на_заметку

Рубрика #ярмарка_тщеславия на связи. Сегодня буду на стриме с Юрой Борзило, будем налаживать связи между миром бизнеса и аб-тестов и мир (био)статистики. Поговорим, как я докатился до жизни такой. Заглядывайте на огонёк.

На канал Юры тоже подписывайтесь; читать про статистику вне медицинского контекста полезно и развивает извилины.

Подъехала запись стрима с Юрой Борзило. Штуки, которые упоминались:
1. Магистерская программа по теорверу и матстату, вот тут можете почитать учебный план.
2. ТГ-канал Института биоинформатики. Как раз заканчивается набор на полугодовую программу по биостату.
3. Отдельно упомяну канал Юры. Если интересно, что может пойти не так с рандомизированными исследованиями в бузинесе, можете полистать методичку авторства Юры и поискать по каналу слово "ошибка".

Также помашу кулаками после драки: к вопросу о могут ли люди без спецобразования аб-тестить.

Могут, но есть ряд проблем, которые надо иметь в виду. Во-первых, в интернете и печатных книгах полно шлака на тему статистики. Начиная от безобидных неточностей, через относительно безвредные мифы и заблуждения и заканчивая полностью неверной чушью. За примерами ходить далеко не надо, см. те же обсуждения "нужна ли нормальность для проведения т-теста" и "регрессии строят для предсказания". Отделить зерна от плевел будет трудно. Во-вторых, вас будут поджидать проблемы, специфичные для вашей области приложения, и эти проблемы могут быть не освещены в источниках общей или другой направленности. Пример: в медицинских РКИ вас, скорее всего, не заботит сетевой эффект, в то время как в аб-тестах вы с этим столкнетесь относительно быстро. В итоге стандартный в айтишке подход "воскурим маны и гайды и освоим базу" работает плохо, нужно уметь отличать дельные маны от вредных. То есть, чтобы растить свои скиллы, нужно уже иметь неплохую такую базу, которую на семестральных курсах введения в теорвер и матстат обычно не дают.

Если пофантазировать, уходя в область спекуляций, достаточно элегантным решением может стать модель (внешнего) менторства. Итак, у вас есть коллектив сотрудников, которые "прослушали один семестр матстата", и вы хотите аб-тестить. Дальше вы находите одного-двух людей с профильным образованием, которые будут менторами. Основную работу (дизайн, сбор даты, анализ, написание отчета) будут делать как раз рядовые сотрудники, а ведущие статистики выступают в качестве консультантов: комментируют предложенные решения и предлагают улучшения, указывают на ошибки, коучат, предлагают источники на почитать, предупреждают о возможных подводных камнях и следят за базовой методологией (то самое "зачем мы это делаем и не фигню ли мы делаем"). В итоге растет внутренняя экспертиза, вы не тратите время на чтение всякой ерунды (и попытки понять, ерунда ли это или дело пишут) и применяете неплохие практики тестирования. Этот же подход может хорошо сработать в связке с "прикормить статистика со стороны": вам необязательно иметь этих труЪ-статистиков в штате, вполне может оказаться, что с их стороны достаточно нескольких часов в неделю.

В идеале, конечно, старшие статистики должны быть сами с опытом применения матстата в бизнес-контексте, но, мне кажется, это необязательно. Если они заинтересованы в сотрудничестве, добрать контекст они смогут относительно быстро и просто через чтение гайдов и статей: у них как раз есть база для того, чтобы быстро отсеивать ерунду.

Вышесказанное, в принципе, касается и академии в ее расширенном понимании. Шлак в книгах "статистика для биологов/лингвистов/врачей" тоже бывает, вплоть до полного непонимания метода, пример тут. Узкоспециальные для данной области приколы в наличии. Коллектив людей типа "был семестр матстата в унике" — дано по умолчанию. Поэтому подход с приглашением гостевого статистика, который будет ревьюить ваши подходы и коучить сотрудников вашей лабы тоже вполне себе работоспособен, со всеми плюшками в виде роста внутренней экспертизы вашей лабы в среднесрочной перспективе и скачкообразным ростом качества вашей работы практически с первых часов работы со статистиком. Пример такого сотрудничества обсуждали на стриме.

Видимо, #хозяйке_на_заметку

Понедельник день тяжёлый, поэтому несу вам два факта на порассуждать. Можете считать, что это статистические коаны.

1. У большинства людей количество конечностей выше среднего.

2. Большинство водителей утверждают, что они водят лучше среднего.

Почему первое - это просто факт, а второе нам продают как когнитивное искажение?

Из комментариев, с привкусом дискретной математики и теории графов.

Вкину ещё теоремку из теории графов: Ваши сексуальные партнёры, скорее всего, имели в среднем больше сексуальных партнёров, чем Вы.

Про факторный анализ

Отвечал на вопрос в личке, напишу и тут, очень коротко.

Надо различать анализ главных компонент (principal component analysis, PCA) и факторный анализ (factor analysis, FA). PCA иногда называют факторным анализом, особенно почему-то в социальных науках, но они совсем про разное. PCA вращает облако точек так, чтобы новые координаты были самыми подходящими в каком-то смысле. Факторный анализ же — это модель, которая пытается описать корреляции показателей с помощью латентных (скрытых) переменных.

PCA прост, как топор. ФА гораздо более красивая и сложная штука, и его надо уметь правильно готовить; просто насыпать дату в софт и получить решение можно, но с шансами это будет шляпа. Кроме того, ФА не имеет однозначного решения, его аутпут надо еще постобработать подходящим способом (выбор подходящей ротации). К сожалению, по моим ощущениям, людей, которые реально умеют работать с ФА, мало.

Про ФА есть симпатичная статья на вики.

Также прикладываю короткую презентацию-введение в суть ФА, которую когда-то готовил для семинара. Возможно, она кому-то сэкономит силы и время в попытках разобраться, что же такое этот ваш факторный анализ и как его приспособить в хозяйстве.

UPD: добавлю, что умение готовить FA в весомой степени лежит не в математике метода, а в понимании предметной области: чтобы применять факторный анализ как положено, вы должны очень хорошо понимать, какие такие скрытые переменные вы ищете и почему они должны быть в вашей дате.

Давайте обсудим.

У большинства из нас две руки и две ноги, но есть не очень большой процент людей, у которых конечностей меньше. В итоге распределение случайной величины "количество конечностей у случайно выбранного человека" дискретно, сильно скошено, мода и медиана равны четырем, матожидание чуть меньше четырех. Почти у всех людей количество конечностей выше среднего, если считать, что под "средним" понимается матожидание. Если же считать, что под средним понимается медиана, то все равно выходит, что у подавляющего большинства медианное количество конечностей.

Факт, что большинство водителей считают, что они водят "лучше среднего" часто подают как пример когнитивных искажений: мол, очевидно, что большинство не может водить лучше среднего, duh. Как показывает пример с конечностями — не очевидно.

Читал заметку про System Design (как проектировать большие программные комплексы: фейсбук, гуглопочта, твиттер и т.д.) и наткнулся на две интересные мысли.

Не только среднее
Свою лекцию про проверки на нормальность я начинал с небольшого экскурса в философию прикладной статистики: разделение научного вывода и статистического и всякое такое. В числе прочего я говорил, что выбор интересующего нас параметра (эстиманда) продиктован той предметной задачей, которую мы решаем, и приводил примеры из медицины и страхового дела. Вот вам еще один пример, что но матожиданием и медианой едиными:

For user-facing metrics like time per-request, you also need to watch the p95 and p99 (i.e. how slow your slowest requests are). Even one or two very slow requests are scary, because they’re disproportionately from your largest and most important users. If you’re just looking at averages, it’s easy to miss the fact that some users are finding your service unusable.

Рутинная статистика
Про работу системного архитектора автор пишет вот что:

The main point I’m trying to make is what I said at the start of this post: good system design is not about clever tricks, it’s about knowing how to use boring, well-tested components in the right place. I’m not a plumber, but I imagine good plumbing is similar: if you’re doing something too exciting, you’re probably going to end up with crap all over yourself. [...] There are very, very few areas where you want to do the kind of system design you could talk about at a conference. They do exist! I have seen hand-rolled data structures make features possible that wouldn’t have been possible otherwise. But I’ve only seen that happen once or twice in ten years. I see boring system design every single day.

Думаю, это очень классно описывает работу прикладного статистика: мы из готовых кусочков должны правильно собрать скучную, рабочую машинку. Никаких вау-эффектов у нас почти никогда не бывает: все наши инструменты почти всегда берутся из пыльных книжек, изданных в прошлом веке. Если в выбранном мною решении статистической задачи происходит какая-то феерия и убермодные пакеты с перьями и стразами, то я стараюсь притормозить и задаться библейским вопросом.

P.S.: Ух ты как вас много тут собралось! Рад всех видеть. Если хотите, расскажите в комментах, что вас привело в мой канал и как прошло ваше лето.

Обсервационные данные

На днях в биостатере расчехлили свои колоды таро статистические тесты в обсуждении смертей кандидатов AfD. В процессе обсуждения вспомнили про кейс Люсии де Берк (и по касательной от нее закон Медоу и историю Кэтлин Фолбигг, но это другая история). Один из участников обсуждения написал очень классное, хочу поделиться и с вами:

Буквально вчера на RSS Conference на одной из секций выступали статистики, привлеченные по этим процессам стороной защиты. В случае с детьми одним из важных заключений со стороны защиты было: реальное событие и регистрация этого события - разные вещи, а связь со сменами медсестры привязывалась именно к регистрации события.

Здесь хорошо видно, почему карта не есть местность, записи в базах данных страховых компаний и ЕМИАС не то чтобы обязаны соотносится с реальностью, особенно в условиях, когда медкарты пишутся для товарища майора. Также отсюда видно, что хрустальные технооптимистические мечты типа "нужно просто собрать БД пожирнее, а дальше искин нам решит все проблемы" тоже разбиваются о суровый гранит правила garbage in, garbage out и особенностей работы бюрократических систем.

Ну и в целом это камень в огород концепции "объективных данных, беспристрастно описывающих реальность", но об этом в другой раз.

Кстати, в комментах попросили поделиться опросом, вот ссылочка: https://news.1rj.ru/str/mb3rlab/7

Сам канал тоже полистайте, там интересное. Например, пост про сигнатуры систем в теории надёжности.

Прервем молчание вот такой подборкой на почитать. На сам канал Максима тоже подписывайтесь, там редко (ещё реже, чем здесь), но метко.

На всякий случай, вдруг кто не знает. Список научно-популярных книжек Шпигельхальтера:
The Art of Statistics: How to Learn from Data (есть перевод на русский язык даже)
The Art of Uncertainty: How to Navigate Chance, Ignorance, Risk and Luck (совсем свежая)
Covid By Numbers: Making Sense of the Pandemic with Data
Sex by Numbers: What Statistics Can Tell Us About Sexual Behaviour
The Norm Chronicles: Stories and Numbers About Danger and Death

Ну и серьезные книги тоже есть у него, конечно, например, Bayesian Approaches to Clinical Trials and Health-Care Evaluation

Двухфазовые процедуры Штайна и sequential analysis

Тут в одном из чатиков речь зашла про адаптивные процедуры статвывода. В классике у нас есть какая-то выборка объемом N и мы на ее основе проводим тест или строим ДИ. В этом подходе мы можем контролировать вероятность ошибки первого рода (ложноположительно отвергнутые нулевые гипотезы и вероятность ненакрытия истинного значения параметра). Контролировать вероятность ошибки второго рода мы не можем; собственно, поэтому мы не можем принять нулевую гипотезу, только не отклонить; также это значит, что мы не можем контролировать ширину ДИ при заданной вероятности покрытия.

В классике с надстройкой мы можем сделать power analysis и рассчитать объем выборки заранее так, чтобы контролировать как вероятность ошибки первого рода, так и мощность нашей процедуры. На практике все не так просто, но это все равно развитие идеи.

Следующим шагом вперед становятся адаптивные дизайны и последовательные (sequential) процедуры. Их идея состоит в том, что мы по мере набора выборки смотрим на наши данные специальным хитровыдуманным образом так, чтобы иметь возможность продлить исследование, если, например, дисперсия оказалась выше, чем мы планировали; или наоборот, остановить исследование, если все и так уже понятно: тритмент супер-пупер эффективный или наоборот, фуфлыжный и ловить там нечего (futility).

Одним из первых шагов в сторону адаптивных дизайнов является процедура Штайна. Прикладываю к посту презенташку, которую я делал в свое время на семинар. Первая часть посвящена доказательству того, что и на елку влезть, и на автобусе покататься не выйдет: действительно, нельзя при конкретном N в общем случае построить ДИ (или провести тест), с заданной вероятностью покрытия и длиной.
Во второй части разибраются процедуры Штайна: двухшаговые процедуры, которые на основе пилотной + основной фаз позволяют контролировать и то, и другое.
Ну и само собой самое интересное — это библиография.

Инджой.