Было ли у вас такое, что через пару месяцев после завершения проекта вы не можете найти нужный код или данные. Часть файлов оказывается в загрузках, часть — теряется. Воспроизвести результаты невозможно. Стандартные рецепты (модульная организация кода, документирование, использование систем контроля версий) тоже не всегда помогают.

Хочется задать структуру еще на берегу. Одно из решений — применение одного и того же шаблона для структуры папок и файлов.

Можно, например, использовать Cookiecutter. Это библиотека, которая позволяет настроить под себя стандартный шаблон, а потом при запуске нового проекта сразу его разворачивать. Есть уже готовый отличный шаблон для Data Science проектов, а вот пример шаблона для исследовательского проекта.

В базовом случае для работы хватит пары команд:

pip install cookiecutter

cookiecutter <ссылка на репозиторий с шаблоном>

Добавьте к этому правила именования файлов, и работа со старыми проектами существенно упростится.

@evidencespace

130 статей, которые должен прочитать каждый, кто применяет количественные методы. Попробуйте прочитать хотя бы 10, подборка🔥

@evidencespace

Typst 🖊️

Typst - это новый онлайн-редактор для набора текста на основе Markdown-разметки с открытым исходным кодом и использованием скриптовых команд. Typst предлагает совместную работу в облаке, возможность вставлять LaTeX-формулы, но делать это несколько проще, чем в LaTeX. Интерес представляет наличие шаблонов (пока их пять, но, думаю, что со временем будет больше).

На первый взгляд Typst похож на упрощенную версию Overleaf + Google Docs. Также, можно установить CLI.

В Quarto v1.4 уже включили поддержку Typst.

Еще одна фишка Typst — совместное редактирование, будет удобно, если появится больше шаблонов.

Ещё два с половиной месяца назад премьер-министр сообщил о переходе к новой модели госуправления — «на основе достоверных данных». Вроде бы тут надо что-то сказать (ведь «госуправление на данных» так созвучно доказательной политике). Но я так и не придумал, что. Вместо этого — загадка:

Внимание, вопрос! Что скрывается за кодами R1 и R2 на картинке? Подсказка: по данным премьер-министра, «средний уровень достижения показателей по нацпроектам — 98,95%».

До 20 июля есть время подать документы в магистратуру экономфака МГУ на программы «Анализ данных в экономике» или «Экономическая политика».

Зачем? А вы посмотрите, что ждёт магистрантов

🔷 Совместная с факультетом ВМК МГУ программа «Анализ данных в экономике» это:

• Адаптационный курс по экономической теории / вероятностным моделям — смотря что нужно подтянуть
• Программирование, основы алгоритмов и анализ данных в Python и R
• Много машинного обучения, анализа данных и эконометрики
• Микро- и макро- и экспериментальная экономика
• Сетевые модели в экономике, имитационное моделирование, анализ данных в демографии, эмпирические отраслевые рынки, SQL, макроэконометрика, анализ текстовых данных и еще много интересного.

🔷 А программа «Экономическая политика»:

• Использование данных в экономической политике
• Общественный выбор, экономическая политика и практика государственного управления
• Экономика общественного сектора
• Экономическая политика и развитие человеческого потенциала
• Денежно-кредитная и бюджетно-налоговая политика
• Регулирование отраслевых рынков и конкурентная политика
• Социальная политика

Плюс возможность участвовать в проекте "Интегрированная аспирантура".

Узнайте подробности о приёме-2023.

🔹 Хороший проект, стоит поддержать. Обещают наборы данных в удобном формате.

Мы перезапускаем «Если быть точным»! Рассказываем, что нас ждет и как вы можете помочь

Нас часто спрашивают: когда вы начнете выкладывать дата-сеты, по которым делаете свои исследования? Так вот, совсем скоро! Но для этого нам нужна ваша помощь.

Мы накопили огромное количество кропотливо очищенных табличек практически по любой социальной проблеме в России. Но сейчас нам некуда их выкладывать – на сайте нет подходящего раздела, а у нас не хватает ресурсов, чтобы его разработать.

Мы верим, что добыча и сохранение открытых данных (иногда кажется, что это исчезающий вид) – это очень важное и полезное дело, особенно в наше время. Если вы хоть раз работали с государственной статистикой, то знаете, что удобное представление данных может сэкономить часы рутинной работы.

Возможность за пару кликов найти нужный показатель и скачать исходные данные в разбивке по регионам и годам – это тот результат, к которому мы стремимся.

Если тоже считаете такой проект важным, поддержите нас регулярным пожертвованием на Boosty (рубли) или Patreon (валюта).

Будет очень полезно, а более подробно о наших планах мы расскажем позже.

Небольшой туториал по графическим диагностикам для статистического причинно-следственного вывода с использованием мер склонности (propensity scores) от Люси д’Агостино МакГовэн. Будет полезным для интересующихся темой как с концептуальной точки зрения (например, для понимания разницы между АТЕ и АТТ, если у вас эта тема вызывает затруднения), так и в плане освоения кода: примеры реализованы с помощью пакета {halfmoon} - перспективной альтернативы {cobalt} более известному набору средств для проверки баланса по ковариатам между группами воздействия и контроля.

#matching #weighting #balance #halfmoon #cobalt #causalInference

Statistician, Data scientist, Econometrician

* из твиттера

В России больше двух тысяч федеральных судов. Они публикуют полезные данные, но их почти невозможно собрать вручную. Теперь для этого есть парсер «Если быть точным»

Месяц назад мы анонсировали, что начнем делать статистику более доступной. Сегодня мы хотим рассказать о первых результатах — открытом инструменте, с помощью которого можно найти и выгрузить судебные дела по любой статье.

Официальный агрегатор судебных дел ГАС РФ «Правосудие» у большинства журналистов и исследователей ассоциируется только с одним чувством — болью. Навигация сложная, сайт работает медленно или вовсе отключается на несколько дней. Мы нашли способ, как этого избежать.

Что мы сделали?

Скрипт, который выгружает данные с сайтов российских судов. За пару кликов можно найти информацию по статьям уголовного, гражданского и административного кодексов из 2230 судов.

Зачем мы это сделали?

Судебная статистика – очень ценный материал для исследований. Но сайты судов устроены очень по-разному, поэтому собрать полные данные — непростая задача. Парсер с ней справляется, хотя не всегда быстро – это зависит от пропускной способности самих сайтов. Писать код не требуется, у парсера есть готовый пользовательский интерфейс.

По каким параметрам можно искать дела?

◼️ Период, за который нужно сформировать выгрузку.

◼️ Регионы и уровень суда: окружной, региональный, гарнизонный и отдельно – Мосгорсуд.

◼️ Статья, дела по которой интересуют. Это может быть уголовное, административное или гражданское судопроизводство.

◼️ Текст, который встречается в судебном решении (если оно было опубликовано).

Для наглядности мы записали видеоинструкцию. А если у вас появятся другие вопросы, то напишите нам.

Что будет дальше? Открытые данные в России становятся все менее доступными, поэтому нам приходится искать альтернативные решения. Мы продолжим делать это, но для этого нам нужна ваша помощь.

Чтобы мы могли делать больше таких проектов, оформите регулярное пожертвование «Если быть точным» на Boosty (рубли) или Patreon (валюта).

👉 Новый день — новые данные. Почти полмиллиона объектов, загрязняющих окружающую среду. Внутри датасета — конкретные загрязняющие вещества, масса выбросов в воздух и сбросов в воду по каждому веществу. Хорошо, когда госорган оставляет на своём сайте недокументированное API 😇.

P.S. Есть довольно много (хотя в таких данных это неизбежно) неправдоподобных значений, с которыми нужно работать аккуратно.