Как мы проводили расчеты

Нужно было решить две задачи:

1️⃣ Аккуратно посчитать, какой была бы стоимость корзины в 2022 году. Основная трудность в том, что категории товаров, цены на которые отслеживаются, Росстат меняет. Вообще, у Росстата нет нормальной иерархии в классификаторе категорий товаров. Про это писали Твердые цифры. Например, до 2022 года выделялся Творог, нежирный и Творог, жирный. Последний как раз входил в состав минимальной потребительской корзины. А с 2022 года мы видим в данных Росстата только общую категорию Творог. Тут мы старались использовать консервативные оценки, чтобы случайно не завысить стоимость корзины.

2️⃣ Восстановить распределение доходов, по которому Росстат считает уровень бедности. Это нужно, чтобы ответить на вопрос, ❓какой уровень бедности был бы, если бы Росстат вместо значения границы бедности использовал другое значение (например, на тысячу рублей выше). Росстат с недавних пор стал публиковать значения децилей распределения доходов, но всего распределения мы не знаем. Но его можно восстановить.

Дело в том, что после того, как Росстат получил данные выборочных обследований доходов населения, а также данные макростатистики (макропоказатель среднедушевого денежного дохода), он моделирует распределение доходов населения с помощью теоретического двухпараметрического логнормального распределения.

Так как в этом теоретическом распределении всего два параметра, то зная уровень бедности, границу бедности и величину среднедушевых денежных доходов, которые опубликовал Росстат, 🫡 мы можем восстановить среднее и стандартное отклонение этого теоретического распределения. Для этого нужно немного покрутить интегралы. Можно использовать и другие квантили.

🧑🏼‍💻 Код, с помощью которого можно воспроизвести такие расчеты для любого периода, доступен в репозитории Github.

[3/4]
Начало
Продолжение
@evidencespace

Издательство ДМК Пресс незаметно перевело и выпустило одну из лучших вводных книжек по анализу и интерпретации данных — Thinking Clearly with Data: A Guide to Quantitative Reasoning and Analysis (Статистика без подвоха: Методы критического анализа данных и причинного вывода). На английском языке она вышла два года назад. Ее авторы — Энтони Фаулер и Итан Буэно де Мескита из Университета Чикаго.

И это не просто еще одна книжка по статистике. Впервые на русском языке (есть, правда, небольшая глава в Дружелюбной эконометрике Филиппа Картаева) появился учебник, в котором простым и понятным языком авторы рассказывают про основные методы причинно-следственного вывода — вся третья часть про это:

• Глава 9. Почему корреляция и причинно-следственная связь не одно и то же
• Глава 10. Выявление и ограничение искажающих факторов
• Глава 11. Рандомизированные эксперименты
• Глава 12. Модели разрывной регрессии
• Глава 13. Метод разности различий
• Глава 14. Механизмы причинно-следственных связей

Конечно, есть и про базовые методы статистики (Части 1, 2) и про принятие решений на основе данных (Часть 4). Вот что писал Константин Сонин по поводу английской версии книжки в 2021 году:

Вот ещё одно. Эта книга мне кажется идеальным учебником для курса по работе с данными — на первом курсе. Российское образование отстаёт, и очень сильно, в преподавании анализа данных — прежде всего для тех, кто на этом не специализируется. У нас по-прежнему базовая статистика требует до этого теорвера, с вероятностным пространством и функциями распределения, а ведь это — совсем не, что нужно. Можно — вот книжка прекрасный пример — говорить об интересном и сложном, без аксиом независимости и интегрирования функции плотности.

В прекрасной России будущего любой государственный служащий, который захочет занять позицию выше средней, будет сдавать экзамен по этой книжке (можно начинать готовиться 👨‍🏫).

💻 а еще в канал возвращается чат

@evidencespace