После этой статьи (надеемся) вы разберётесь, чем отличаются разные алгоритмы машинного обучения:

https://simulative.ru/blog/algorithms-ml

📊 Simulative

Вебинар: как дата-инженеру проектировать хорошие ETL/ELT-процессы

ETL/ELT-процессы (они же пайплайны) — основа любой дата-инженерной системы. Именно пайплайны собирают и превращают сырые данные в структурированную информацию, на которую опираются аналитики и бизнес. Но как спроектировать процесс правильно, чтобы данные поставлялись стабильно, а пайплайны не ломались при каждом изменении на стороне источника?

На вебинаре c Георгием Семеновым разберём ключевые подходы к построению пайплайнов — разберем батч и стриминг, сравним ETL и ELT, а также посмотрим, как работают инструменты оркестрации вроде Airflow и Dagster. Поговорим о важных инженерных деталях — партицировании, бэкфиллах, контрактах и тестах — и покажем, из чего складываются надёжные дата-процессы в крупных компаниях.

Что вы узнаете:
➖ Как устроен путь данных — от источников до аналитических витрин;
➖ Чем отличаются стриминг и батч, ETL и ELT, и когда какой применять;
➖ Какие инструменты помогают строить пайплайны — разберём Airflow и Dagster;
➖ Какие нюансы важно учитывать: партицирование, бэкфиллы, контракты, тесты;
➖ Как спроектировать надёжный и легко поддерживаемый пайплайн.

❗️ Встречаемся 22 октября в 19:00 МСК.

💬 Подключайтесь к эфиру, чтобы задать Георгию вопросы про архитектуру данных, ETL/ELT и тонкости построения стабильных пайплайнов!

➡️ Зарегистрироваться на вебинар

📊 Simulative

Бесплатный курс «Основы Python» — старт для тех, кто хочет разобраться с языком с нуля 🐍

Python — инструмент, который помогает не только программистам, но и аналитикам, маркетологам и менеджерам автоматизировать рутину и быстрее принимать решения на основе данных.

Если вы пока только копите советы из интернета, самое время перейти к системному изучению. На курсе вы:

🟠 Начнёте с простого и шаг за шагом дойдёте до практических задач.
🟠 Научитесь автоматизировать типовые процессы — от проверки отчётов до выгрузки данных.
🟠 Получите поддержку и сможете задать вопросы в чате.
🟠 А ещё получите доступ к дополнительным материалам и реферальной программе!

🖱 Курс уже прошли более 1500 человек — присоединяйтесь и сделайте Python своим инструментом роста!

🔗 Зарегистрироваться бесплатно

📊 Simulative

📊 Почему графики не работают (и как это исправить)

Привет, аналитики! Ментор потока «Аналитик данных» Александр Грудинин на связи 😉

Иногда смотришь на дашборд и понимаешь, что ничего не понимаешь 😄 Или тратишь часы на создание визуализации, которую в итоге никто не смог интерпретировать…

Проблема не в данных. Проблема в том, что график не соответствует задаче.

Представьте: вам нужно показать руководству динамику продаж за год. Вы делаете круговую диаграмму из 12 месяцев. В итоге никто не видит тренд, все путаются в долях, а главный инсайт теряется в радужной палитре.

Правильный выбор графика важен, чтобы данные рассказали свою историю. Например, вот с чем сталкиваются начинающие (и не только) аналитики:

🟠 Нужно показать, как менялись показатели во времени, а выбирается bar chart вместо линейного графика. Тренд размывается.

🟠 Сравниваете пять категорий и используете pie chart. Глаз не различает доли точно, особенно если их больше трёх.

🟠 Хотите показать взаимосвязь двух переменных и теряетесь между таблицей и столбцами, хотя scatter plot справился бы за секунды.

🟠 Нужно понять распределение данных, а опять строится обычный bar chart, который скрывает всю картину. Гистограмма или boxplot (ящик с усами) дали бы гораздо больше информации.

Каждая задача требует своего инструмента. Динамика — одно, сравнение — другое, структура данных — третье. И если вы выбираете не тот тип графика, ваша визуализация не просто выглядит плохо — она вводит в заблуждение.

На ближайшем вебинаре, который я проведу 21 октября, разберём:

➡️ Когда аналитикам стоит использовать Python для визуализации, а когда хватит Excel или BI-систем;
➡️ Основные принципы хорошей визуализации: подписи, цвета, легенды, масштаб;
➡️ Как выбрать тип графика под задачу и данные;
➡️ Ключевые библиотеки Python для визуализации — pandas, matplotlib, seaborn, plotly;
➡️ Примеры визуализаций из реальных бизнес-кейсов.

Вы научитесь выбирать тип графика осознанно — под конкретные данные и задачу. Без гаданий, без перебора вариантов.

Регистрируйтесь и узнайте, как превратить данные в понятную историю, которую увидит каждый! 👇

♾ Зарегистрироваться на вебинар

📊 Simulative

Проблемы снэпшотов: не все данные одинаково полезны

Приветствую! Георгий Семенов, ментор потока «Инженер данных», на связи 👋

Ты — Data Engineer. Перед тобой стоит задача: ежедневно собирать из внешнего сервиса статистику по рекламным кампаниям твоих клиентов (дальше будем называть РК).

У сервиса есть два метода API:

🟠 /adv_list возвращает список всех РК и их статусы на момент запроса (aka снэпшот). На вход принимает ID клиента.
🟠 /adv_stat возвращает статистику по РК за указанный день. На вход принимает ID РК и дату.

Однако у клиентов много РК в статусе «неактивный», по которым не бывает статистики за день. А нам не хочется делать лишние запросы к API — есть лимиты, которые сильно замедляют процесс. Для иллюстрации: у одного клиента 150 активных РК и 1750 неактивных. Активные мы грузим за 5 минут, а все вместе — час. Поэтому хотим запрашивать статистику только по активным РК.

Так ты и делаешь — сперва грузишь список, из него берёшь только активные РК и по ним сразу статистику за день. Но есть нюанс.

Проблема №1. Если РК будет активной в течение дня, но станет неактивной, когда мы придём за данными, то мы не получим статистику по этой РК за этот день, хотя она есть.

Проблема №2. Допустим, что-то пошло не так и загрузка сломалась, а мы заметили это только через несколько дней. Естественно, мы хотим залить провалы за эти дни, чтобы статистика была полной. Но /adv_list вернёт только текущие статусы.

Благо, в твоём случае нашлось неплохое решение. Метод /adv_list возвращает не только текущий статус, но и таймстэмп последнего изменения РК. Поэтому для загрузки статистики за пропущенные даты ты можешь отобрать РК по следующему условию:

статус = "активный" или последнее изменение >= {дата_провала}

Иначе тебе пришлось бы выбирать между сильным снижением скорости импорта и потенциальной частичной потерей данных.

Вывод: импорта снэпшотов стоит избегать, особенно если от них зависят другие расчёты. Снэпшоты теряют информацию о промежуточных изменениях, и на практике чаще всего занимают значительно больше места, чем логи изменений тех же объектов.
Но если у тебя нет влияния на источник, приходится работать с тем, что дают. И в таком случае заранее тщательно продумывай зависимости, чтобы не было проблем.

🤔 Если вы не до конца поняли пост, или наоборот, поняли, и хотите узнать ещё про разные виды датасетов, партицирование, бэкфиллинг и другие приколы процессов обработки данных — жду вас завтра, 22 октября, на моём бесплатном вебинаре.

P. S. Можно усложнить решение задачи, чтобы ещё сильнее уменьшить потенциальное количество запросов к /adv_stat. Пишите свои варианты в комментариях.

📊 Simulative

Друзья, уже через пару часов, в 19:00 МСК, ждём всех на вебинаре с Александром Грудининым 🧡

Тема: Как делать понятные визуализации в Python: принципы, инструменты и практика

➡️ Зарегистрироваться

📊 Simulative

Сегодня последний день ранних цен на курс «Инженер данных»

Инженер данных — это человек, который достаёт данные откуда угодно и превращает их в основу аналитики и решений бизнеса.

На курсе вас ждёт:

😶 Практика на реальных бизнес-кейсах — вы освоите инструменты PostgreSQL, Python, Clickhouse, Metabase и многое другое;
😶 Поддержка ментора на каждом этапе: разборы, QA-сессии, советы из практики;
😶 Портфолио пет-проектов, которые можно показывать работодателям;
😶 Доступ к платформе навсегда — учитесь в удобном темпе;
😶 Карьерная помощь: резюме, консультации и подготовка к собеседованиям.

Через несколько месяцев вы сможете уверенно решать задачи, которые ценят работодатели!

‼️ До конца дня действует скидка 25% на курс. Если вы хотите войти в IT или прокачать свои скиллы в работе с данными, сейчас идеальный момент!

➡️ Забронировать место со скидкой 25%

📊 Simulative

Георгий Семенов уже готовится вещать про ETL/ELT-процессы на вебинаре!

😶Ещё успеваете зарегистрироваться: https://clck.ru/3Psd7B

📊 Simulative

Всем привет! На связи ментор Кристина Желтова 👋

Представьте, что вы работаете ML-инженером, и вам нужно построить модель, которая поможет банку решить важный вопрос: кому из заёмщиков стоит выдать кредит, а кому отказать?

Такая задача называется кредитным скорингом. Обычно у нас есть исторические данные о клиентах — возраст, доход, семейное положение, количество текущих и прошлых кредитов, а также просрочек по ним и еще много-много данных. На основании всего этого модель должна предсказать вероятность выхода клиента в дефолт — неуплаты кредита.

Вопросы для вас:
1️⃣ Вопрос попроще: какой тип модели подходит для задачи: классификация или регрессия? Почему?
2️⃣ Вопрос посложнее: какие метрики будете использовать, чтобы оценить качество предсказаний?
3️⃣ Максимально широкий вопрос: какие возможные проблемы могут возникнуть при построении такой модели?

Пишите свои ответы и идеи в комментариях 👇🏻

Завтра опубликуем подробный разбор по этому кейсу с обсуждением популярных ответов, объяснением и рекомендациями.

Маленькая рекламная вставка: сегодня последний день, когда можно забронировать скидку 15% на поток «ML-инженера» со мной в качестве ментора ✨

📊 Simulative

Чек-лист: подходит ли тебе аналитика данных

Привет! Ментор Александр Грудинин снова с вами 😉

Думаешь стать аналитиком данных, но не уверен, твоё ли это? Пройди честный чек-лист — если узнаёшь себя в большинстве пунктов, welcome to the club 👇

✅ Ты постоянно спрашиваешь «Почему?»
Видишь график продаж, цифры в отчёте или новость — и первая мысль: «А почему так произошло? Что на это повлияло?» Если привычка докапываться до причин — это про тебя, аналитика будет в удовольствие.

✅ Ты внимателен к деталям
Замечаешь несоответствия, мелкие недоработки, обращаешь внимание на то, что другие не видят. В аналитике один пропущенный ноль или неправильный фильтр могут развернуть выводы на 180°. Мы много и долго изучаем данные/логи, тестируем разные сценарии и расчёты, ищем закономерности и инсайты. Нужно быть готовым к кропотливой, порой рутинной работе.

✅ Умеешь структурировать хаос
Груда разрозненной информации не пугает, а вызывает желание разложить всё по полочкам? Аналитик — это тот, кто превращает беспорядок в понятные таблицы, графики и инсайты, а разрозненные мысли — в чёткое ТЗ.

✅ Готов много общаться с людьми
Для кого-то это будет сюрпризом, но аналитик — это не затворник с ноутбуком. Нужно выяснять задачи у менеджеров, объяснять результаты, защищать свои выводы, рассказывать про ход исследования и т. п. Если боишься общения, встреч и презентаций, будет сложно.

✅ Не боишься брать ответственность
За свой код, данные, выводы и рекомендации. Если твой дашборд показал неверные цифры — это твоя ответственность разобраться и исправить. Если по твоему анализу приняли решение — ты стоишь за своими словами. Звучит серьёзно? Да. Но это и делает работу значимой — твои выводы реально влияют на бизнес. Главное — быть честным, проверять данные и не бояться признавать ошибки, если они случились.

✅ Не пугают цифры и таблицы
Не обязательно быть математическим гением, но базовая статистика, работа с Excel/SQL и понимание метрик — must have для успешного аналитика.

✅ Готов постоянно учиться
Новые инструменты (не говоря про стандартный набор SQL + Python + BI), библиотеки, методы анализа появляются каждый месяц. SQL вчера, Python сегодня, а завтра какой-нибудь свежий фреймворк. Если мысль «опять учить что-то новое» вызывает тоску, а не интерес — будет тяжело.

Совпало больше половины? Поздравляю, первый шаг на пути в аналитику сделан! Кстати, сегодня стартую со своим потоком, так что буду рад, если вы присоединитесь к нам 😉

💎 Записаться на поток аналитика данных

📊 Simulative

Теперь можно и отдохнуть 🫠

📊 Simulative

📱 Создаем свой мини-ChatGPT: модель, которая отвечает по вашим данным

ChatGPT хорошо справляется с разными вопросами, но если нужно учитывать много информации или работать со своими данными, его возможности могут не подойти для таких задач.

На вебинаре с директором по разработке моделей в Газпромбанке Кристиной Желтовой вы научите модель работать с вашими материалами — документами, статьями или базой знаний.

Мы соберём простую RAG-систему (Retrieval-Augmented Generation). Она помогает модели не выдумывать ответы, а искать нужную информацию в источниках и объяснять её своими словами.

На вебинаре расскажем:
🟠 Как работает GPT и почему она иногда ошибается;
🟠 Что такое RAG и как он помогает модели понимать ваши данные;
🟠 Как собрать простую систему, которая отвечает на вопросы по базе знаний;
🟠 Где применяют такие решения — в поддержке, контенте и анализе документов;
🟠 Почему многие специалисты из других сфер переходят в машинное обучение и каковы перспективы этой профессии.

❗️ Встречаемся 29 октября в 19:00 МСК.

💬 Подключайтесь к прямому эфиру, чтобы задать вопросы опытному специалисту в ML и получить практический кейс RAG-системы в ваше портфолио.

🎁 А всем зарегистрировавшимся на вебинар пришлём краткий курс для начинающих «Машинное обучение без сложностей»!

➡️ Зарегистрироваться на вебинар

📊 Simulative #вебинар

Привет! Отвечаем на вопросы по кредитному скорингу — саму задачу публиковали вот тут:

1️⃣ Какой тип модели подходит для задачи: классификация или регрессия? Почему?

Для задачи кредитного скоринга обычно используют бинарную классификацию, так как модель должна предсказать, выйдет ли заёмщик в дефолт (1 — дефолт, 0 — надёжный клиент). Более того, построив вероятностную модель бинарной классификации, которая на выходе выдает вероятность дефолта, можно принимать решение о выдаче кредита или отказе по заранее выбранному порогу, балансируя риски.

2️⃣ Какие метрики используете, чтобы оценить качество предсказаний?

В скоринговых задачах важно учитывать не только общий процент правильных ответов (accuracy), но и ранжирующую способность моделей, и баланс между разными типами ошибок. Поэтому наиболее часто используемые метрики:

🟠 ROC-AUC (Area Under Curve) — интегральная оценка качества ранжирования. Она нечувствительна к изменению порога классификации.
🟠 Коэффициент Джини (Gini) — производная от ROC-AUC. Часто используется регуляторами и банками, характеризует «отделимость» надёжных клиентов от рискованных.​
🟠 Также ценно посмотреть на Precision и Recall для «дефолтов» и матрицу ошибок, которая позволяет увидеть баланс между ошибками в обе стороны (false positive / false negative).

В целом же выбор метрики и интерпретация её значений зависит от бизнес-задачи. Иногда важнее снижение рисков (например, минимизация false negative-ошибок), иногда — рост объёма кредитов (максимизация recall).

3️⃣ Какие возможные проблемы могут возникнуть при построении такой модели?

Точно стоит учесть типовые моменты, такие как:

🟠 Несбалансированность классов. Всё-таки больше людей возвращают кредиты, чем выходят в дефолт, поэтому в распределении целевой переменной есть дисбаланс и требуется использование специальных техник сэмплирования или корректировка весов классов на уровне модели / функции потерь.
🟠 Недостаточная интерпретируемость. Для банковских моделей важна способность объяснить решение, а сложные ML-методы (например, нейросети) в этом плане уступают более простым моделям.
🟠 Некорректное разделение обучающей и тестовой выборок или ошибки в построении схемы валидации могут приводить к завышению метрик. Например, если в данных есть признак «сумма задолженности через 6 месяцев после выдачи кредита», то модель использует его для предсказания и покажет хорошее качество на валидации, однако в боевых условиях таких данных по заемщику не будет — это проблема неправильного разделения выборки.
🟠 Изменчивость данных. Поведение клиентов и распределение их характеристик может меняться во времени, а, значит, модель быстро устаревает и деградирует.
🟠 Правовые и этические ограничения. Иногда так бывает, что не все данные из имеющихся можно использовать по этическим причинам или юридическим ограничениям.

📊 Simulative

Отлично, вы собрали все необходимые данные, чтобы сделать свой первый дашборд!

Нажмите на график, чтобы добавить его в Metabase → 📊

📊 Simulative

Гайд по JOIN в SQL: виды и примеры

Когда вы начинаете работать с данными, быстро становится ясно: нужная информация часто разбросана по разным таблицам. В Excel это решается с помощью ВПР, а в SQL — через оператор JOIN.

➡️ JOIN (от англ. join — «соединять») позволяет объединять таблицы и собирать данные в одну выборку. Это один из самых частых операторов, без которого не обходится ни один аналитик.

Из нашего гайда вы узнаете:
🟠 Какие бывают типы JOIN и чем они отличаются;
🟠 Как писать запросы с JOIN под разные задачи;
🟠 Как оптимизировать JOIN, чтобы запросы выполнялись быстрее.

Материал поможет вам уверенно работать с объединением таблиц и лучше понимать, как устроены связи в данных. Сохраняйте гайд, чтобы не искать примеры в спешке перед дедлайном 😉

✅ Получить материал

📊 Simulative

Почему нейросети галлюцинируют, и как RAG всё исправит

Привет! Ментор курса ML-инженер Кристина Желтова на связи 👋

Вы когда-нибудь замечали, что GPT-модели иногда могут очень уверенно нести полную ерунду? Очень убедительную, логичную, красиво оформленную, но абсолютную неправду. Такое явление называется галлюцинацией и это одна из самых главных проблем больших языковых моделей.

Почему так происходит?

Представьте, что GPT — это человек, который прочитал и запомнил миллиарды текстов, но его обучение закончилось в апреле 2025 года. И теперь у него в голове только этот срез знаний о мире. Кроме того, у модели может не быть специфичных знаний лично о вас или внутренних процессах вашей компании, но ответ-то генерировать надо, и тогда GPT начинает придумывать ответы, которые лишь похожи на правду.

💡 При этом есть способ, позволяющий наполнить модель актуальной информацией прямо во время генерации ответа — RAG (Retrieval-Augmented Generation). Общий принцип довольно прост: в момент обработки пользовательского запроса ищем релевантную для составления информацию в базе знаний (например, документы компании, инструкции, отчеты и т. п.), найденную информацию передаём в контекст модели вместе с запросом, и тогда модель отвечает, уже имея на руках корректные данные.

RAG помогает в автоматизации клиентской поддержки, при создании корпоративных чат-ботов, составлении аналитики и отчетности по внутренним данным, но так ли всё просто, как звучит, и как построить такой пайплайн? Обсудим это на вебинаре уже завтра, 29 октября 👇

➡️ Зарегистрироваться на вебинар

📊 Simulative

🤌 BI-мальчик: строит графики, чтобы было красиво
💪 BI-мужчина: с помощью дашбордов отвечает на вопросы бизнеса

Многие начинающие BI-аналитики думают, что их задача — просто красиво визуализировать данные. Но настоящий профессионал начинает не с графиков, а с вопроса: «Что нужно узнать бизнесу?».

На вебинаре с автором канала Power BI Design Марией Гирда вы увидите, как рождаются такие дашборды — от бизнес-вопроса до живого дашборда, шаг за шагом: от формулировки цели через принципы и методологию построения дашбордов до конечного решения.

На вебинаре построим собственный отчёт в Fastboard и на его примере разберём:
🟠 Как BI-аналитик помогает бизнесу видеть не цифры, а решения;
🟠 Как из бизнес-вопроса сделать структуру отчёта или дашборда;
🟠 Какие ошибки делают новички и как их избежать;
🟠 Как визуализировать данные, чтобы инсайты были очевидны без пояснений;
🟠 Почему BI-аналитика — самый понятный и доступный старт карьеры в IT.

❗️ Встречаемся 31 октября в 19:00 МСК

⚡️ Всем зарегистрировавшимся дарим полезность — чек-лист самопроверки до создания дашборда!

➡️ Зарегистрироваться на вебинар

📊 Simulative

📢 Расскажите о своём опыте обучения у нас и участвуйте в конкурсе!

Мы регулярно публикуем отзывы о нас и ценим вашу обратную связь. Пришла пора рассказать об этом всему миру!

Если вы учились на курсах Simulative или просто посещали наши бесплатные мероприятия или проходили бесплатные курсы, то этот конкурс для вас!

Что нужно сделать, чтобы принять участие:
1️⃣ Быть подписанным на наш Telegram-канал @simulative_official;
2️⃣ Оставить честный и развёрнутый отзыв (больше 3-х предложений) на любой из этих площадок: Tutortop, Сравни.ру, открытые каналы в Telegram и страницы ВКонтакте;
3️⃣ Отправить ссылку на ваш отзыв в нашего бота;
4️⃣ Ждать результатов!

Больше отзывов — больше шансов выиграть приз!

Среди участников разыграем 3 приза:

👑 Консультация с HR или экспертом курса на 60 мин по развитию карьеры;
👑 Подписка на 3 месяца на сервис для аналитиков IT resume;
👑 Большой промокод на скидку на следующий курс (больше нашей обычной скидки!).

🕐 Отзывы принимаем до 10 ноября 23:59 МСК.

Итоги подведём 11 ноября здесь, в Telegram-канале, с помощью рандомайзера. Желаем удачи!

📊 Simulative