Привет! На связи Павел Беляев — автор канала Тимлидское об аналитике и ментор курса «Аналитик данных» 👋

Сегодня хочу немного пояснить, почему аналитику нужно хотя бы примерно ориентироваться во многих темах.

Ценность аналитики заключается в том, что представитель бизнеса может принимать решения на её основе.

А для этого данные следует прогнать через несколько процессов и стадий. Я называю этот путь конвейером данных.

Конвейер данных включает в себя следующие основные этапы:

1️⃣Формирование вопросов

Сначала определяется потребность в информации, подбираются метрики и методы анализа, а также составляется перечень необходимых данных.

2️⃣Сбор данных

Сырые, необработанные данные собираются из источников в аналитическое хранилище (АХ), где и производится всяческая аналитическая «магия».

В качестве АХ могут использоваться различные системы управления базами данных (СУБД), например, Clickhouse или PostgreSQL.

Запросы к СУБД выполняются на языке SQL. А процессы сбора и транспорта данных осуществляются специальными инструментами, например, Airflow, который «дирижирует» Python-скриптами.

3️⃣Преобразование данных

Сырые данные «готовятся», а блюдом являются витрины данных: таблицы, содержащие отфильтрованные строки, рассчитанные метрики, сгруппированные сегменты и прочие результаты реализации бизнес-логики.

С данными производятся операции фильтрации, объединения, расчета, приведения к нужному виду и т.д. Обычно для этого используются языки SQL или Python.

4️⃣Визуализация

Витрины служат источниками для отчетов или дашбордов, содержащих графики, чарты, диаграммы и прочую «наглядную красоту», которая помогает пользователю быстро сориентироваться в информации и сделать нужные выводы.

Визуализация делается с помощью соответствующих инструментов: Power BI, Data Lens, Looker Studio, Metabase и др.

5️⃣Анализ

Собственно, процесс изучения, осознания ситуации, а также формирования выводов, ответов на поставленные вопросы.

Рассчитанные метрики сопоставляются с некими желаемыми эталонами, изучаются тренды, обнаруживаются и обосновываются выбросы, проседания и т.д.

6️⃣Решение

На основе выводов решается —достигнуты ли цели, что делать дальше, работает ли новая фича и т.п.

Путь данных весьма насыщен приключениями и этим он интересен!

Курс «Аналитик данных» достаточно комплексно составлен и затрагивает все эти этапы, чем меня и впечатлил.

❗️И напоминаю, что до 12 сентября у вас есть возможность попасть на курс со скидкой -25%. Успевайте ей воспользоваться и желаю успехов в аналитике, коллеги!

➡️ Узнать больше о курсе и забронировать скидку

Задумываетесь о том, чтобы стать инженером данных?

На последнем вебинаре мы как раз обсуждали самый актуальный стек дата-инженера. А ещё выяснили, зачем инженеру данных нужен Python для анализа данных и сделали небольшой обзор на наш курс-симулятор «Инженер данных». Спойлер, программа Георгию, спикеру вебинара, понравилась!

Оставляем вам саму интересную часть записи для всех, кто не успел посмотреть вчерашний эфир в live-формате:

😶Смотреть в YouTube
😶Смотреть в ВК

‼️Кстати, сегодня последний день, когда действуют ранние цены на поток курса «Инженер данных» с Георгием Семеновым, Chief Data Officer ex VK, Wildberries, СТС, ЦУМ, ВТБ — поэтому если вы думали об обучении, советуем больше не откладывать!

➡️ Оставить заявку на курс

⚡️Что должен уметь хороший аналитик данных: взгляд тимлида из Яндекс eLama

Чтобы решить подходит ли вам аналитика в качестве профессии, часто нужно посмотреть чуть глубже — на то, чем предстоит заниматься каждый день, а не только на набор инструментов, который в этом поможет.

А чтобы успешно пройти собеседование в хорошую команду — важно уже со старта обучения анализировать, какие кандидаты ценятся на рынке.

Всё это мы обсудим уже в следующий вторник на вебинаре с Павлом Беляевым, руководителем команды аналитиков в Яндекс eLama, а также автором телеграм-канала «Тимлидское об аналитике».

Павел регулярно нанимает аналитиков в команду, поэтому поделится с нами качествами, на которые обращает внимание при отборе кандидатов.

На вебинаре обсудим:
🟠Как и для чего используются в реальных бизнес-задачах SQL, Python, Airflow;
🟠Какие хард- и софт-скиллы ждет от своей команды тимлид;
🟠Чем занимаются аналитики в eLama и как выглядит типичный рабочий день.

❗️Встречаемся 9 сентября в 19:00 МСК

💬 Обязательно ждем вас в лайве – вы сможете напрямую задать свои вопросы Павлу Беляеву и получить консультацию крутого практика.

➡️ Регистрация на вебинар

🔥 Проектируем хранилища данных с нуля

Спроектированное DWH — основа качественной аналитики, точно также, как и инженер данных — незаменимый игрок любой в DS-команде.

Чтобы заложить фундамент для одного из важнейших скиллов инженера данных, приходите 11 сентября на следующий вебинар от Георгия Семенова, Chief Data Officer и ментора нового потока курса «Инженер данных».

В ходе вебинара мы разберем процесс построения хранилища данных на конкретном примере и узнаем:

🟠Зачем нужны хранилища данных;
🟠Какие есть технологии хранилищ данных;
🟠Как выбирать и выстраивать модель данных;
🟠Как доставлять и обрабатывать данные;
🟠Как делать данные качественными и доступными.

❗️Встречаемся 11 сентября в 19:00 МСК

➡️ Регистрация на вебинар

Привет всем! На связи Павел Беляев — ментор курса «Дата аналитик», тимлид аналитиков в Яндекс eLama и автор канала «Тимлидское об аналитике». 👋

На днях я писал о конвейере, который проходят данные, чтобы принести пользу. Конечно, это грубая схема, скрывающая под собой массу нюансов.

Хочу немного дополнить её, описав некоторые вызовы, с которыми может столкнуться дата-аналитик в реальной работе.

1️⃣Формулировка требований

Зачастую, заказчики аналитики знают о своём предмете не сильно больше, чем вы. Во всяком случае, о том — что надо измерять, чтобы понять, например, эффективность затраченных усилий.

Они могут выразить интуитивное желание получить некую ясность, а вам придется помочь им облечь его в конкретные метрики и продумать, как их вычислить. Это потребует от вас некоей «эмпатии», умения интервьюировать, и, конечно, знания метрик.

2️⃣ Качество данных

Причин недостоверности данных много: технические, организационные, человеческие... Конвейер длинный — на каждом шагу может что-то пойти не так.

Например: пользователь накосячил с вводом, отвалилось API третьестепенных данных, на которых, внезапно, завязаны расчеты, кто-то что-то закостылил, а аналитикам не сказали — всё это требует постоянного неустанного слежения за качеством данных, желательно автоматического.
Поэтому полезно завести привычку «ничему не доверять и постоянно всё проверять».

3️⃣ Техническая реализуемость

И дело даже не в том, что далеко не все пожелания можно реализовать, а в том, что не все они заслуживают того ресурса (вашего времени), который потребуется для реализации.

Бывает, что заказчики прямо фонтанируют идеями — громкими, но сомнительными. Я не сторонник того, чтобы «обламывать» такие порывы. Но долг аналитика — выслушать, оценить, внести коррективы, которые позволят исполнить более удобное или недорогое решение.

4️⃣ Внезапные изменения в источниках

Работа аналитиков сильно завязана на источниках данных: база данных, сторонние сервисы и др. Если база данных находится в ведении других команд (у разработчиков приложения, например), то нужно иметь в виду, что у них свои цели и процессы. Вы им не нужны, это они вам нужны 🙂
Из-за этого они могут просто забыть сообщить вам, что, например, у них изменилась структура таблицы, которую вы привычно тянете, или что база вовсе переезжает, причем, послезавтра.

К таким орг. нестыковкам нужно быть готовыми и постоянно напоминать руководству, что переориентация на новые источники требует времени, а аналитики должны обязательно узнавать о грядущих изменениях сильно заранее.

5️⃣ Как себя проверить?

Вы, как аналитик, обрабатывающий данные, тоже влияете на их качество. Проверка того, что ваша витрина выдает достоверный результат — не всегда простая задача. Особенно, если логика сложна или применяется множество источников.

Часто бывает, что время на проверку результата сильно превышает время разработки SQL-запроса для его получения. Читайте в моей статье несколько советов о проверке витрин данных.

6️⃣ Как это работает?!

Бывает, что встречается код, который рассчитывает какие-то метрики, но никто уже не знает, почему именно так. Кто писал — уволился, документации не оставил, а конечные пользователи не задумываются, как оно измеряется и что означает.

Это не только к вопросу об обязательном документировании, но и к тому, что я писал в начале поста — потребители данных иногда слабо понимают, что за цифры они смотрят.

Будьте готовы к этому, помогать пользователям разбираться в метриках — одна из задач дата-аналитика. Ну а код возможно, стоит переделать заново, но с прозрачной для всех логикой.

В общем, будни дата-аналитика — штука весёлая. И всё же, в эту сферу войти проще, чем в хардкорное программирование.
Начать свой путь до оффера в аналитике можно после обучения на курсе-симуляторе «Аналитик данных», где я буду вашем ментором. Узнать больше о курсе можно по по ссылке.

🧡 А я жду вас завтра на вебинаре, где расскажу о задачах, инструментах и навыках, необходимых и желательных для дата-аналитика.

😶 Если не успели зарегистрироваться, то сейчас самое время!

Привет! На связи снова Павел Беляев, тимлид группы аналитиков в Яндекс eLama и ментор курса «Аналитик данных» 👋

Основная задача моей команды — разрабатывать и поддерживать витрины данных. Желательно, чтобы было быстро и качественно. Делюсь с вами своей статьей, в которой описал 7 лайфхаков SQL, которые мы с командой используем на реальной практике.

❗️И напоминаю, что уже сегодня, в 19:00 жду вас всех на вебинаре, где расскажу, что должен уметь хороший аналитик.

А ещё подробно разберём эти темы:
🟠Как и для чего используются в реальных бизнес-задачах SQL, Python, Airflow;
🟠 Какие хард- и софт-скиллы ждёт от своей команды тимлид;
🟠 Чем занимаются аналитики в eLama и как выглядит типичный рабочий день.

‼️Важный момент: запись и материалы вебинара будут доступны только тем, кто зарегистрируется. Но я очень жду вас в лайве, чтобы ответить на ваши вопросы!

➡️ Регистрация на вебинар

🧡 Друзья, уже через пару часов, в 19:00 МСК, ждём всех на вебинаре с Павлом Беляевым.

Тема: Что должен уметь хороший аналитик данных: взгляд тимлида из Яндекс eLama

😶 Зарегистрироваться

‼️ Вебинар с Павлом Беляевым переносится

Друзья, к сожалению, у нас возникли технические неполадки.

Сегодняшний вебинар переносится на завтра, так же в 19:00 МСК.

Приносим извинения и будем очень рады видеть вас всех завтра!

Ссылка на подключение придёт завтра от бота.

Привет! Это Павел Беляев, тимлид группы аналитиков в Яндекс eLama и ментор курса «Аналитик данных».

Продолжаю делиться лайфхаками SQL и сегодня принёс ещё шесть! В статье рассказал, как посичтать важный фин. показатель — ARPPU, сегментировать новых и старых пользователей, построить простейший отчет-воронку и еще несколько интересных приёмов.

😶 Читать статью

Сегодня на вебинаре как раз поговорим про SQL а ещё Python и Airflow — как и для чего используются в реальных бизнес-задачах эти инструменты.

Ещё поделюсь секретами рабочего дня группы аналитиков из Яндекс eLama и расскажу про свой подход к найму сотрудников в команду.

✨ Приходите, будет классно и полезно!

Всем привет! На связи Георгий Семенов, Chief Data Officer и ментор курса «Инженер Данных» 👋

На заре карьеры довелось мне участвовать в постройке маленького локального хранилища данных. Подняли Clickhouse, настроили ETL в Airflow. Всё круто. Но через пару месяцев пришлось пересобирать хранилище заново.

Как говорится, просчитался, но где?...

Во-первых, при выборе технологии (Error #1). Хайпанули. Clickhouse нам не очень подходил. С одной стороны, мы теряли ACID, функциональность внешних ключей и контролировать согласованность данных приходилось самостоятельно. С другой стороны, мы особо не использовали основное преимущество OLAP Clickhouse — колоночное хранение, т.к. объемы данных ожидались небольшие, а для них подойдет и OLTP с индексами.

Во-вторых, при проектировании модели данных (Error #2). Мы очень плохо понимали предметную область. Каждая таблица загружалась нами как независимая, без какой-либо нормализации и осознания, что с этими данными будут дальше делать. В данных постоянно встречалась несогласованность. Аналитики пытались справляться с этими проблемами на своем уровне, тогда как лучшая практика — приводить это в порядок на уровне хранилища.

В-третьих, при написании кода пайплайнов (Error #3). Было много самоповторов. Но это можно было отрефакторить, не пересобирая хранилище, если бы не первые 2 ошибки.

Но в этой бочке дегтя была одна ложка мёда — мы сохраняли сырые данные!
Бережно складывали их неподалёку, в файловой системе (не object storage, но хоть так).

В итоге, мы лучше погрузились в предметную область, определили взаимосвязи между таблицами, немного подкрутили модель данных, переписали код, и собрали новое хранилище на PostgreSQL.

❗️О том как не допускать элементарных ошибок, мы поговорим уже сегодня, 11 сентября, в 19:00, на бесплатном вебинаре «Проектируем хранилища данных с нуля».

➡️ Регистрация на вебинар

P.S. Кстати, вот вам вопрос: а чем, собственно, нам помогло наличие сырых данных, если можно напрямую мигрировать со старой модели на новую? И зачем вообще собирать сырьё, тратить на него место на диске?

Жду ваши ответы в комментариях)

⚡️Друзья, уже через пару часов, в 19:00 МСК, ждём всех на бесплатном вебинаре, где расскажем, как проектировать хранилища данных с нуля!

😶Регистрация на вебинар

Как обычно напоминаем, что запись и материалы будут доступны тем, кто зарегистрируется. Но очень будем рады видеть вас в лайве, чтобы задать вопросы Георгию!

Привет! Сегодня снова на связи Павел Беляев, ментор курса «Аналитик данных» и автор канала Тимлидское об аналитике 👋

Полагаю, для любого желающего стать айтишником-аналитиком крайне актуален вопрос:

На что смотрят работодатели в резюме кандидатов?

Меня о таком, бывает, спрашивают.

За всех работодателей не отвечу, но расскажу, на что смотрю лично я, когда подбираю нового члена своей команды в Яндекс eLama.

Итак, что для меня важно (в порядке убывания приоритета):

1. Знание SQL
Это наш основной инструмент, его кандидату следует знать «на пятёрочку». Поэтому я пытаюсь понять, какой был опыт работы с ним у соискателя.

Это может быть даже и учебный опыт — в том числе, SQL-тренажёры. Я пытаюсь прикинуть, какие задачи решал кандидат, какой сложности и величины запросы использовал.

2. Жизненный опыт
Часто слышу опасения вроде: «Мне уже поздно в IT, там приоритет молодым». Я лично зачастую отдаю приоритет кандидатам постарше — у них много жизненного опыта, а ещё мне кажется, что они лучше понимают заказчиков, более ответственны и последовательны. А это иногда даже важнее, чем знать некоторые технологии, которым можно обучиться в процессе.

3. Опыт с Python
Это второй по значимости инструмент для нас. Используется для автоматизации процессов обработки данных, а также для разработки пользовательских сервисов и ещё для задач прогнозирования.

Так что rocket science в резюме не ищу, но строчка о прохождении курса по Python или об участии в «боевых» проектах на нём необходима.

В Яндексе будет, как минимум, два технических собеседования (помимо «менеджерского») с лайф-кодингом для проверки навыков SQL и Python, но задачи там несложные, особых библиотек знать не надо. Важнее умение составить в голове алгоритм решения, чтобы затем облечь его в код.

4. Любой релевантный опыт работы с аналитикой
Системы веб-аналитики (Google Analytics, Метрика и т.д.), Airflow, BI-системы, разные СУБД и т.д.
Опять же, учебный опыт засчитывается, но желательно, чтобы был пройден какой-нибудь серьёзный курс с теорией, практикой и комплексным подходом.

Когда нужно просмотреть десятки резюме, нужны чёткие критерии отбора — внятные подтверждения того, что человек готов сознательно и целенаправлено вкладываться в свое развитие.

5. Краткая подача материала
Я не читаю резюме, я их сканирую по диагонали, выискивая ответы на главные вопросы: какой был у человека опыт, отвечают ли его хард- и софт- скиллы моим требованиям?

Плюсик в карму кандидатам, которые уважают время и глаза тех, кто будет читать их резюме, и ёмко вносят лишь самое главное о себе, без лишних подробностей. Эти подробности можно будет обговорить на собеседовании.

Подытожим в виде рекомендаций для желающих войти в IT:

* Учите и практикуйте SQL и Python
* Желательно, в составе комплексного курса по аналитике
* Цените свой опыт взаимодействия с людьми, а также свою ответственность и самостоятельность
* Будьте кратки

Кстати, курс «Аналитик данных» от Simulative мне понравился именно комплексностью и приближенностью к реальным бизнес-задачам, а программа довольно полно отвечает моим хард-требованиям к кандидату.

А ещё сегодня последний день действуют ранние цены на курс: до -25%! Успейте присоединиться и жду вас на занятиях в качестве ментора 🔥

😶 Узнать больше об обучении и забронировать скидку

Привет! Это команда Simulative 👋

У нас суперская новость для всех, кто раздумывал о прокачке скиллов в ML.

В сентябре стартует новый поток курса «ML-Инженер» с сопровождением ментора! 🔥

Встречайте, ментор потока — Кристина Желтова, директор по разработке моделей в Газпромбанке — одном из ведущих российских банков.

Несколько фактов о Кристине:

1️⃣Кристина уже более 5 лет в области машинного обучения и Data Science. В настоящее время активно развивает аналитические решения и ML-продукты на сеньорных и руководящих позициях.

2️⃣Имеет богатый опыт в области классического машинного обучения: реализовывала проекты по оптимальному размещению АТМ и торговых точек с использованием геопространственной аналитики, разрабатывала систему кредитного скоринга с нейросетевыми моделями, а также решения для модерации контента, построения RAG-пайплайнов и систем матчинга текстов с помощью NLP и LLM моделей.

3️⃣Кристина — преподаватель курсов по машинному обучению, глубокому обучению и анализу естественного языка в ведущих российских вузах: ИТМО, УрФУ и ЧелГУ.

4️⃣Выпускница магистратуры по искусственному интеллекту ИТМО × Napoleon IT, где также выступает ментором и экспертом образовательных программ.

😶 Узнать подробнее о курсе и оставить заявку

✨ А до 17 сентября на обучение действуют самые ранние цены ✨

⚡️ТОП навыков ML-инженера на примере реальной бизнес-задачи

Предсказать отток клиентов — одна из самых распространенных и актуальных задач для любого бизнеса. На примере этой задачи можно рассмотреть все этапы работы ML-инженера: данные, признаки, модель, метрики и выводы для бизнеса.

😶Чтобы увидеть полный цикл решения реальной задачи и понять, какие навыки нужны ML-инженеру в работе, приходите 16 сентября на практико-ориентированный вебинар от Кристины Желтовой — директора по разработке моделей в Газпромбанке.

В ходе вебинара мы на примере задачи предсказания оттока клиентов разберём:

🟠Актуальность предсказания оттока клиентов для бизнеса
🟠Как работать с «сырыми» данными и подготовить их для обучения модели
🟠Как выбрать, построить и обучить базовую модель в Google Colab
🟠Как проверить, качество работы модели: разбор метрик и ошибок
🟠Какие ключевые навыки складываются в профессию ML-инженера.

❗️Встречаемся 16 сентября в 19:00 МСК

*️⃣Обязательно ждем вас в лайве — сможете напрямую задать свои вопросы Кристине Желтовой и забрать с собой пример файла в Google Colab, к которому сможете вернуться в любое время для практики!

➡️ Регистрация на вебинар

4 ключевых навыка ML-инженера в 2025 году

Уже много лет машинное обучение развивается и приносит пользу компаниям, и наметились очевидные тренды — нейросети становятся больше и умнее, а инструментов для работы становится столько, что и за всю жизнь не изучишь. При этом работодатели всё чаще ждут от кандидатов не только знания ML-алгоритмов, но и умения внедрять модели в реальный бизнес.

Ментор курса «ML-инженер» Кристина Желтова рассказала, какие навыки сегодня делают ML-инженера по-настоящему востребованным:

🟠 Техническая база

Фундаментальные знания — наше всё, без них точно далеко не уедешь. Сюда входит понимание основной математики ML — линейная алгебра, методы оптимизации, статистика и теория вероятностей.

Технический стек может быть разнообразным и сильно зависит от выбранной специализации — в каждой области есть свои часто используемые технологии и фреймворки, но самое основное пригодится почти всегда: Python, SQL, scikit-learn.

🟠 Работа с данными

Не зря говорят, что 80% работы приходится именно на данные — это залог успеха всего проекта. Поэтому умение строить data-пайплайны и грамотно трансформировать сырые данные в чистые выборки для обучения просто необходимо, иначе есть риск получить очень слабую и глупую модель.

🟠 Продакшн и MLOps

Жизнь модели не заканчивается после обучения. Дальше её ждёт внедрение, мониторинг и, возможно, регулярные запуски переобучения. Далеко не все ML-специалисты собственноручно занимаются внедрением — часто это отводится специалистам в роли MLOps, однако стоит понимать, какие у модели есть «особенности поведения» в проде. Например, насколько она «тяжелая» — как много времени ей требуется на подготовку прогноза, и как это соотносится с техническими требованиями — есть ли в процессе столько времени, чтобы ждать, пока модель «подумает»?

🟠 Soft skills

Неожиданно, но факт! Один из самых важных навыков — умение работать на стыке и говорить на одном языке как с дата-сайентистами, так и с продактами, менеджерами, заказчиками.

Навык объяснять сложное простыми словами даже неспециалисту недооценен и может очень сильно ускорить продвижение по карьерной лестнице, особенно по вертикальному треку.

Получается, в 2025 году ML-инженер — своеобразный мост между исследованием и бизнесом. Он понимает, как превратить идею в работающий сервис, встраивает модели в реальные продукты и отвечает за то, чтобы они приносили ценность.

♾ Уже завтра на вебинаре в 19:00 МСК разберём, как ML-инженер применяет свои навыки в реальной работе с данными. Регистрируйтесь и знакомьтесь с профессией под руководством опытного ментора!

➡️ Регистрация на вебинар

Зачем прогнозировать отток клиентов и как это сделать

Привет! Снова на связи Кристина Желтова, ментор курса «ML-инженер» и спикер сегодняшнего вебинара про топ навыков в профессии.

Для любого бизнеса удержать существующего клиентa дешевле, чем искать нового. Представьте, что вы заранее узнаёте, кто из ваших покупателей собирается уйти, и успеваете предложить им выгодное предложение.

Именно так бизнес экономит деньги и увеличивает доход, хотя на кону не только деньги! Зная, когда и почему люди теряют интерес к сервису, компания получает рычаг для изменений — возможность улучшить клиентский сервис и нарастить лояльность пользователей.

Кажется, что решение такой задачи лежит на поверхности — давайте соберём данные об активности клиентов и использовании услуг сервиса и посмотрим, чем одна группа отличается от другой. Но обычно данных о клиентах и их поведении настолько много, что для глубокого анализа ресурсов уже не хватает. Тогда за дело берутся модели машинного обучения.

Упрощённый пайплайн выглядит примерно так:

🟠 Готовим данные — превращаем сырую информацию в понятные моделям признаки. Например, как давно был последний визит, сколько товаров в корзине, характер активности на сайте.

🟠 Экспериментируем с моделями — выбираем ту «звёздочку», которая лучше всех отработает на наших данных.

🟠 Проверяем качество и улучшаем — смотрим, насколько точно предсказания модели совпадают с реальностью, и учимся её корректировать, чтобы прогнозы были ещё точнее.

🟠 Внедряем в работу — настраиваем запуск модели с нужной периодичностью, чтобы каждый раз у маркетологов были актуальные списки потенциального оттока и они успели подготовить персональные предложения.

Как работает этот пайплайн на реальном проекте, узнаем уже сегодня в 19:00 МСК на вебинаре. Приходите, чтобы погрузиться в профессию и понять, какие навыки будут полезны для обучения базовой модели.

➡️ Зарегистрироваться на вебинар

📊 Simulative