Как войны и образ жизни влияют на мужскую и женскую смертность

Здесь такой интересный тип графика – диаграмма Лексиса (или сетка Лексиса). По горизонтали – временной период, по вертикали – возраст. Так получается, что полоска
- по горизонтали – люди разных лет рождения, но одинакового возраста – сверстники
- по диагонали – люди, родившиеся в одинаковый период времени – ровесники
- по вертикали – люди, живущие в конкретный период времени – современники

Более темный синий цвет означат, что смертность мужчин была выше, красный – выше смертность женщин.

И посмотрите как четко видны крупные конфликты, как Первая мировая война, Вторая мировая война, Гражданская война в Испании (1936-1939 гг.), Гражданская война в Финляндии (1918 г.). Такие четкие вертикальный полосы демонстрируют сильное превышение смертности среди мужчин, особенно среди призывников младших возрастов.

Контент про матстат будет попозже, пока продолжим разговор про датавиз и обратим свой взор на таблицы. Почему-то исследователи забивают болт на оформление и верстку табличек; иногда создается ощущение, что к публикации их прикладывают для галочки. Не надо так.

Рассмотрим на примере таблицы из публикации про скрининг диабета. Увы, в процессе переписывания статьи в формат письма таблички были отброшены и в самой публикации вы их не увидите; покажу их вам на бутлегерских правах. На рис. 1 вы видите таблицу в том виде, в котором она была в черновике рукописи статьи. На рис. 2 вы видите мой вариант переверстки. Давайте пройдемся по тому, что я поменял и почему.

Субстантивно:

* Таблица содержит статистику ответов на один из вопросов анкеты (таких табличек в приложениях к статье было много). В шапку таблицы я добавил номер вопроса, чтобы было легче ориентироваться (Question 10).

* Добавил структуру в организацию строчек.
Глобально ответа всего два: либо программы скрининга нет и разговаривать не о чем, либо программа скрининга есть, и тут начинаются нюансы: на уровне федеральном или местном, бесплатно для пациента или же на возмездной основе. В изначальной таблице все эти ответы представлены как равноправные; в моей версии я попытался отразить их иерархию и структуру.

Что по деталям.

* Боковик (первый столбик) выровнял по левому краю.
* Прографку (содержимое таблички) выравнял по разрядам, чтобы числа было проще сравнивать.
* Курсивом выделил ключевые слова ответа. Первый уровень (да / нет) заверстал капсом (YES / NO).
* Поправил дефисы на короткие тире (вы все еще путаете типографские черточки? тогда мы идем к вам! про английскую типографику можно почитать здесь и вот тут).
* Убрал ненужные границы клеток.

Все манипуляции проводил в обычном MS Word.

#бэкстейдж #tables

Разговор про выбросы часто выглядит чрезвычайно куцо.
* "Выбросы — это точечки и звездочки на босксплоте."
* "Регрессия / t-тест плохо переваривают выбросы, поэтому их нужно удалять."
* "Если в данных есть выбросы, то нужно использовать непараметрику / ранговые подходы."
И прочее, и прочее.

Редко звучит мысль о том, что не надо просто так удалять выбросы, а стоит задуматься над тем, почему и откуда они взялись в ваших данных, являются ли они органичной частью даты или же это ошибки, хотим ли мы их моделировать, или для нас они экстраординарное явление, которое учитывать в нашей модели мы не хотим. Мысль, что для выбросов стоит предложить вероятностную модель и работать с ними в рамках нее, звучит еще реже.

Теперь слайды.

На Рис. 1 сверху представлена гистограмма некоторой величины X, жирной красной линией отмечено среднее, тоненькими +- SD. Снизу пририсован боксплот: он настолько вырожден, что видно только десять выбросов.

Если мы занимаемся физикой или биомедициной и это наши измерения, то вполне может быть так, что вот эти десять аутлайеров — это какая-то ерунда. Кабель плохо воткнули или при переносе данных кто-то опечатался нулем. В таком случае исключение этих аутлайеров — вполне логичный шаг, который даст нам картинку на Рис. 2.

Посмотрим на это с другой стороны: вы — бузинес, а X — это ваши продажи (отдельные чеки). Действуем так же, как и в прошлый раз, да ведь? Ну хз. На эти ~5% чеков в сумме приходится 60 миллионов выручки, в то время как остальные 200 чеков обеспечивают всего 20 миллионов. Случайность ли это? Или осознанная бизнес-модель, когда реальную выручку вам генерит всего пара крупных контрактов, а все остальное — это скорее маркетинг? Если последнее, то применение ранговых критериев и тем более исключение выбросов сыграет с вами злую шутку.

Наблюдения становятся для нас аутлайерами не потому, что какая-то статистическая процедура пометила их звездочкой. Как мы помним, любой статвывод делается в некоторой вероятностной модели. Поэтому было бы здорово, если бы аналитики явно описывали эту модель, а затем задумывались, подходит ли она под их ситуацию. Выбросами наблюдения становятся только в контексте, и что для одной задачи шум и data contamination, то для другой задачи — норма и совершенно ожидаемое наблюдение.

Больше про работу с выбросами можно узнать вот тут; советую прочитать хотя бы раздел 1.1, он хорошо описывает проблематику.

#statistics