Денис Иванов уже заряжен рассказывать вам про профессию аналитика данных!

➡️ Регистрируйтесь

📊 Simulative

Привет! Георгий Семенов, ментор потока «Инженер данных», на связи 👋🏻

Сегодня немного расскажу вам о дежурствах.

Дежурства — неотъемлемая часть работы инженера данных. В разных компаниях они устроены по-разному, поэтому обязательно уточняйте об этом на собеседовании.

Вот варианты, которые встречал я:
🟠 Недельные — 1-2 инженера дежурят на неделе в рабочее время;
🟠 Дневные — каждый дежурит 1 рабочий день (иногда 2 дня);
🟠 24/7 — каждый дежурит 12 или 24 часа.

Дежурства по ночам и в выходные оправданы в критичных системах, где падение пайплайна приведет к аварии, потере денег или важной функциональности, репутационным рискам, либо к потере значимых данных. Важно знать, что за такие дежурства положена компенсация с оплатой по повышенной ставке. Минимальная надбавка указана в статьях 153 и 154 ТК РФ.

Если вы работаете в некритичной системе, то для эффективности команды удобнее недельные дежурства, так как:

🟠 меньше времени уходит на передачу дел между дежурными;
🟠 меньше соблазна перекинуть сложную проблему на следующего.

У дежурства есть побочный, но полезный эффект — расширение кругозора и обмен знаниями. Ведь сломаться могут не только твои пайплайны. Так что придётся быть в курсе всего, что делают твои товарищи.

Обычно на дежурство отводится только часть рабочего времени (например, 50%), чтобы параллельно инженер продолжал делать запланированные задачи.

Ещё несколько важных советов:
🟠 Дежурства дата-инженеров полезны, только если есть аналогичные дежурства у команды, которая обеспечивает стабильную работу платформы данных (железа и софта).
🟠 Чем больше процессов контроля вы автоматизируете, тем проще вам будет находить и решать инциденты.

Накидайте реакций 🔥, если интересно продолжение — в следующем посте расскажу, как же проходит дежурство инженера данных и какие инструменты ему помогают 💡

📊 Simulative

Как короткая неделя?

🔥 — горююю!
❤️ — жив-здоров-бодр-свеж

📊 Simulative

🎁 Завтра закроем приём отзывов на конкурс

Мы уже получили десятки классных историй от студентов: кто-то рассказал, как с нуля освоил SQL, кто-то — как после курса устроился на первую работу в аналитике, а кто-то поделился, почему обучение стало для него настоящим переломным моментом.

Если вы ещё не успели рассказать о своём опыте — сейчас самое время! До 10 ноября 23:59 МСК можно оставить отзыв и побороться за призы.

📌 Здесь все условия

📊 Simulative

Вебинар: как студенты Simulative входят в аналитику с ноги с нуля

Сложно понять, как построить свой карьерный путь? На вебинаре предложим несколько стратегий, которые помогут вам определиться с выбором профессии.

В программе — истории, как маркетолог перешёл в аналитику и вышел на работу в крупную IT компанию, как студенты находят работу ещё до окончания курса, и как преподаватель с восьмилетним опытом стал аналитиком.

➡️ Зарегистрироваться на вебинар

А ещё HR-специалист поделится актуальной статистикой по трудоустройству: как за сколько месяцев найти первую работу, и какие ошибки совершают новички при поиске вакансий.

❗️ Встречаемся 11 ноября в 19:00 МСК

🎁 На мероприятии мы разыграем денежные сертификаты на обучение в Simulative. Регистрируйтесь, чтобы узнать, как принять участие в розыгрыше и услышать, как делается карьера в аналитике из первых уст!

➡️ Зарегистрироваться на вебинар

📊 Simulative

Поразите работодателя своим портфолио

Создание уникального портфолио — это не просто задача, а стратегический шаг к успеху в вашей карьере. Хотите, чтобы ваше портфолио выделялось среди сотен других?

Мы собрали для вас 20 уникальных идей для проектов, которые нельзя найти в интернете, на Хабре или в репозиториях онлайн-университетов.

Почему вам обязательно нужно скачать материал:
✅ Положите к себе 20 нестандартных проектов в портфолио;
✅ Сможете прокачивать свои навыки и знания на коммерческих проектах;
✅ Выделитесь своими проектами на фоне остальных кандидатов;
✅ Впечатлите работодателя и найдёте работу мечты.

💿 Получить материал

📊 Simulative

Подводим итоги конкурса отзывов!

Друзья, спасибо всем, кто поделился своим опытом обучения в Simulative 🧡

Мы получили десятки отзывов — честных, подробных и очень вдохновляющих. Было приятно читать, как наши курсы помогают вам расти, менять профессию и уверенно двигаться к целям.

А теперь самое главное 👇

Победители конкурса отзывов:
🥇 Консультация с HR или экспертом курса — @axdtor
🥈 Подписка на 3 месяца на IT resume — @TatyanaAgafonovaa
🥉 Большой промокод на скидку на следующий курс — @zamkadysh

Поздравляем! В течение дня напишем вам, чтобы передать призы.

Спасибо всем участникам за вашу обратную связь. Ваши слова помогают нам становиться лучше и создавать ещё больше крутых курсов по аналитике 🙌

📊 Simulative

Привет, аналитики! Вячеслав Потапов на связи 👋🏻

Принёс вам небольшую задачку на подумать. Пишите решение в комментариях, свою версию дам позже)

📊 Simulative

Стартуем через час!

Расскажем на вебинаре реальные истории студентов Simulative, которые начинали с нуля и уже работают аналитиками. Их рассказ дополнит HR Simulative — она поделится статистикой по трудоустройству и подскажет, как искать работу на перегретом рынке.

🎁 Среди участников разыграем сертификаты на обучение в Simulative!

😶 Зарегистрироваться на вебинар

📊 Simulative

Привет! Георгий Семенов, ментор потока «Инженер данных», на связи 👋🏻

Продолжаем говорить о дежурствах. Как проходит дежурство инженера данных и какие инструменты ему помогают?

Обычно план дежурного на день такой:
1. Собрать актуальный список инцидентов и определить приоритет их обработки;
2. Обрабатывать их в порядке приоритета, периодически проверяя, не появилось ли новых критичных инцидентов.

В зрелых инженерных командах есть система инцидент-менеджмента, которая собирает инциденты в одном месте, определяет их критичность и позволяет инженеру коммуницировать с пользователями, централизованно уведомляя их о проблемах и сроках их устранения.

Идеальный расклад, когда дежурный просто берёт инциденты подряд из очереди, которая волшебным образом уже отсортирована в этой системе. Но в реальности дежурный всё равно должен включать голову и самостоятельно корректировать приоритеты. В первую очередь потому, что помимо критичности задачи важна ещё и скорость ее устранения. Например, часто бывает выгодно за полчаса сделать пару чуть менее срочных задач, прежде чем приступить к самой критичной, которая займёт весь день. Но оценка сложности решения — это задача творческая, автоматизировать которую не так-то просто.

Что делать, когда такой системы нет? Попытаться её создать 🙂

А до тех пор дежурному инженеру придётся постоянно переключаться между тремя «экранами»: панелью мониторинга пайплайнов, списком входящих обращений и алерт-сообщениями. Объединяя информацию из этих трёх точек, инженер составляет полный список инцидентов.

Разберёмся подробнее, что скрывается за каждым из этих «экранов»:

💻 Панель мониторинга пайплайнов
Обычно это стартовая страница оркестратора (например, Airflow), где видно все пайплайны и их статус, и можно быстро понять, какие из них упали или зависли. Отсюда можно провалиться в конкретный пайплайн, посмотреть подробные логи и попытаться локализовать быстро проблему, т. е. найти её причину.

В процессе локализации часто приходится также обращаться к дашбордам с техническими графиками, когда есть подозрение, что ошибки связаны не с данными или кодом пайплайнов, а с софтом или железом. Такие дашборды инженеры часто делают отдельно в Grafana — своём любимом инструменте мониторинга систем.

💻 Список входящих обращений
Иногда бывает так, что проблема есть, но мониторинг/алертинг по каким-то причинам её не подсвечивает. В таком случае входящие обращения — единственный способ обнаружить проблему. Они могут поступать в таск-трекер, чат поддержки, на почту или куда-то ещё. И дежурный должен просматривать и реагировать на них, особенно если есть срочные запросы от пользователей. Но наличие нескольких разных чатиков и трекеров, с которыми надо работать, серьёзно снижают скорость решения проблем.

💻 Алерт-сообщения
У инженеров часто настроен автоматический алертинг: об ошибках в работе пайплайнов, о проблемах в самих данных, о критических состояниях платформы. Алерты отправляют в Telegram-бота или специальный приватный канал в рабочем мессенджере. Они очень удобны для оперативного обнаружения критичных проблем, особенно в течение дня (вы ведь не будете каждые 5 минут смотреть на панель мониторинга).

Однако часто в канал льются вперемешку все ошибки, включая неприоритетные, и этот «экран» превращается в свалку. Важно не допускать этого и по-разному алертить об инцидентах разного уровня критичности.

За скобками остался сам процесс локализации решения инцидента, но это отдельный вид искусства, о котором можно говорить часами.

Зеленых пайплайнов вам, друзья! До встречи на курсе «Инженер данных» 🙂

📊 Simulative