Инжиниринг Данных – Telegram
Инжиниринг Данных
23.5K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Forwarded from Alexey Dmitriev
Всем привет!
Возвращаюсь с отзывом)

Чего по-жизни хотел:
Хотел больше работать головой и не заниматься рутинной(повторяющейся) работой. А еще стабилизировать и увеличить свой доход.

Начну со своего опыта:
МГУ или ВШЭ за плечами нет, рядовое техническое высшее образование. Хорошие коммуникативные навыки + желание разбираться в вещах.

Прошел путь из жутко надоевшей мне сферы продаж в аналитику. Сейчас получил оффер в Х5 на Инженера данных и продолжаю учиться :)

Учился долго, до оффера прошло около 9-12 месяцев, из которых первые месяцы- расслабленная учеба с кучей сомнений с мыслями "А получится ли?" и 5 месяцев плотной учебы.
Теперь я понимаю, что этот путь можно было сократить до 6 месяцев

Учился в скиллбоксе на data analyst + подкреплял и расширял знания курсами от DataLearn DE. Сейчас смотрю вебинары DataLearn + учусь на Data Engineer от Karpov Courses
Самое забавное, что не до конца было понятно, клево этим заниматься или нет и какую должность хочу занимать.

Прошел 5 модулей(делал, но не сдавал домашки), но после НГ продолжу дальше :)

О DataLearn:
Потрясающий бесплатный подарок на ютубе, который позволяет понять, что именно делают аналитики, дата сайнтисты, инженеры и зачем они это делают.
Программа DataLearn сформирована очень хорошо и начинается с базовых принципов и основ, чего не было в Skillbox - там сразу учат Python и SQL, где решаешь задачки с непонятным бизнес-смыслом)

Первые три модуля datalearn мне позволили структурировать знания и понять, куда я хочу двигаться.

Выполнять домашки оч важно, именно они позволяют разобраться в том или ином инструменте. Я был в восторге, когда привычные excel таблицы превратил в красивый интерактивный дашборд.
Для того, что бы лучше усвоить Tableau, показанное в DataLearn- прошел короткий бесплатный курс на Stepik.org(пару дней)
После этого данные, которые я отобразил в экселе засияли новыми красками в Tableau. (Потом при трудоустройстве показывал потенциальным работодателям- всем нравилось)

Вебинары от DataLearn:
Отдельный жирный плюс создателям. Ребята приглашают хороших спикеров, которые являются практиками, рассказывающие о сложных вещах простым языком. Людей на вебинаре было не много, поэтому всегда мог комфортно задать все интересующие вопросы :)
После вебинара выходишь с пониманием, что можно теперь легко освоить новый инструмент и выполнить на нем задачку.

Почему так много курсов, а не только DataLearn:
Скиллбокс купил по-неопытности + заметил за собой, что платный курс больше мотивирует его закончить. Глупо, но для меня это так :)

Было сложно?
Да, сложно :)
Я забыл "про деньги и материальные радости" примерно на год, что бы я мог уделять гораздо больше времени учебе.
Самое сложное было это пересилить себя и начать регулярно заниматься и учиться новому. Особенно, когда не верил в свои силы.
Но когда вошел в учебный раш, то главное не останавливаться и делать-делать-делать, думать о туманном будущем становится некогда :)
После 4 месяцев занятий начал понимать, что я двигаюсь к цели и у меня начинает получаться что-то полезное :)

Первое трудоустройство:
Самый сложный и болезненный этап :)
Отправлял около 300 откликов, получил 15 заданий, выполнил около 10 заданий, получил один оффер. Конкуренция на старте огромная, на меня "без опыта" почти не смотрели. В условиях денежного дефицита переживать такое сложно :)
Но после того, как получите хоть малейший опыт, эйчары вас с руками оторвут :)

Стоило ли?
Однозначно ДА!
Я узнал много нового о бизнесе, о способах анализировать что-угодно. Я понял что данные- это очень ценный ресурс.
Мне очень нравится работа, задачи, отношение работодателя. Чувствую себя ценным кадром.
Я горжусь собой настоящим, это очень приободряет.
Спустя 1.5 года после начала пути в аналитику я вышел на доход, бОльший, чем за опыт 5 лет в сфере продаж.
Я знаю куда развиваться и кем я могу быть через 3, 5 лет и на какой доход смогу рассчитывать.
Forwarded from Alexey Dmitriev
Чего бы я поменял в datalearn:
Я бы хотел иметь возможность проходить курс платно за возможность получить наставника.
Платный курс позволяет задать 20 вопросов преподавателю по дз и материалы, а он на них ответит и подскажет как сделать лучше.
Хотя и сейчас это уже большое комьюнити, где можно задавать вопросы и получать на них ответы.

Спасибочки:
Cпасибо Дмитирию, Роману, Анастасии, Роману Бунину, Роману Зыкову и другим участвующим в создании и улучшении этого курса!
Вы молодцы!
С вашей помощью я стал доволен своими знаниями, местом работы, задачами, коллективом, доходом.

Дорогой ученик:
Не волнуйся, у тебя все получится. Если уделять время- точно получится. Это не просто, но точно того стоит!
Не избегай собеседований. Тестовые задания очень меня прокачали. Каждое следующее собеседование проходит лучше. Проси обратную связь от эйчаров и анализируй.
PS. Очень помогли еще занятия с психологом. (для тех, кто не может определиться)


Бонус для жителей МСК:
Я сказал ранее, что перехожу в другую компанию на data engineer.
Но мое место, где я взял старт в аналитике - освобождается :)
https://hh.ru/vacancy/49128970 - это смесь аналитика CRM, data analyst, data engineer.
Ищут джуна, можно прийти без опыта, если будешь готов стараться и уже умеешь работать с sql, немного питона и понимаешь, зачем работает бизнес. Вакансия интересная и там хороший коллектив.
Заинтересованным: пишите мне, я сосватаю эйчару, так будет проще попасть на собеседование :)
SQL with Squid Games.pdf
424.7 KB
Базовый SQL на примере Squid Games. Хороший подход, сразу понятно для тех, кто смотрел сериал. (внутри спойлеры)
Пример решения и архитектура от компании Monzo. Используют DBT на Google cloud.

https://medium.com/data-monzo/an-introduction-to-monzos-data-stack-827ae531bc99
Databricks продолжает двигаться на встречу low-code приложениям и приобретать user friendly решения (другое было ReDash -> SQL Analytics) - Databricks acquires 8080 Labs to extend its low-code/no-code capabilities

Как будто Code приложение становятся Low Code. А вот No Code/Low Code становятся наоборот Analytics as a Code.

🤪
Судя по отзывам хорошая книга!

In this book, Jesse does an excellent job distilling all of Git down to the core of what you really need to know to be successful as a developer, not exclusively, but especially if you are in a team environment. He demystifies many Git commands and concepts, particularly ones that tend to frighten the most hardened of developers. Rebase anyone?
Вчера состоялось историческое событие: подписан Российский национальный кодекс этики искусственного интеллекта, который призван наложить определенные ограничения на разработчиков и дата-инженеров.

Так, в ходе обсуждение проблемы с ИИ, Наталья Касперская, президент InfoWatch заявила, что разработчики, «в силу человеческой лени», предпочитают обучать ИИ на базах, которые лежат в свободном доступе в интернете, и «непонятно что в них напихано».

Согласны? ДА / НЕТ

Ещё много занятных высказываний с конференции от топов отрасли выкладывается тут: https://news.1rj.ru/str/cdo2day

PS пост поддержал приют для собак Зоорассвет в Москве
Можно только позавидовать с какой периодичностью - раз в год, один и тот же человек спрашивает "Есть что добавить спустя год?" (Пост про хранилище в Тинькофф на Greenplum DB) И каждый раз получает развернутый ответ.

Я далек от рынка СУБД в РФ и знаю про 2 продукта Greenplum DB и ClickHouse. Первый мне нравится намного больше, так как он работает по таким же принципам как Терадаты, Редшифт. Но при этом опен сорс. Если я делал решение и было бы ограничение, я бы 💯 использовал Greenplum DB. А вы что выбираете и почему?
Компания Thoughtworks решила заморочиться и выпустила Technology Radar. Сама картинка читается сложно без пояснительной записки.

The Radar captures the output of the Technology Advisory Board’s discussions in a format that provides value to a wide
range of stakeholders, from developers to CTOs. The content is intended as a concise summary.


Adopt: We feel strongly that the industry should be adopting these items. We use them when appropriate in our projects.
Trial: Worth pursuing. It’s important to understand how to build up this capability.
Enterprises can try this technology on a project that can handle the risk.
Assess: Worth exploring with the goal of understanding how it will affect your enterprise.
Hold: Proceed with caution.


В этом докладе вы найдете все популярные инструменты и buzz words и можете посмотреть, где они на графе.

Сама компания занимается консалтингом и именно их архитектор активно топит за Data Mesh
В дополнение к прошедшему вебинару по Airflow представляем перевод статьи от создателя этого инструмента о размышлении про будущее инженера данных.

Ссылка на перевод:
https://vc.ru/hr/311461-budushchee-inzhenera-dannyh

Также перевод продублирован на Яндекс.Дзен
https://zen.yandex.ru/media/id/61706aa4298d6612db1752e5/buduscee-injenera-dannyh-61799bd2126be27e399c4071
В какой-то момент своей аналитической карьеры (а может быть и до ее начала) вы захотите овладеть software engineering best practices и вообще почитать что-нибудь по этой теме. Вот некоторые из книг:
- Clean Code: A Handbook of Agile Software Craftsmanship
- The Pragmatic Programmer: From Journeyman to Master
- Refactoring: Improving the Design of Existing Code
- Test-Driven Development: By Example
- Code Complete
- The Missing Readme: A Guide for the New Software Engineer (в канале даже было обсуждение и в комментах была pdf)

Можете в комменты добавить ваши варианты. Однажды мы сможем написать чистый и красивый код...
А вот свеженькая книжка по нашей тематике: The Informed Company: How to Build a Cloud-Based Data Stack to Explore and Understand Data

- Discover the data stack strategies that are working for today's successful small, medium, and enterprise companies
- Learn the different Agile stages of data organization, and the right one for your team
- Learn how to maintain Data Lakes and Data -Warehouses for effective, accessible data storage
- Gain the knowledge you need to architect Data Warehouses and Data Marts
- Understand your business's level of data sophistication and the steps you can take to get to "level up" your data

https://theinformedcompany.com/ было бы интересно полистать PDF если у кого будет;)

Кстати авторы книги крутые - Dave Fowler (CEO of Chartio - now acquired by Atlassian) and Matt David ( Head of The Data School)
Вчера у нас был замечательный вводный вебинар/урок/демонстрация про Airflow от Дмитрия Браженко, вот запись.

Я бы очень хотел бы сделать такие же вебинары вводные про
- GreenplumDB
- Clickhouse

Еще бы посмотрели про Apache Superset.

Если у вас есть опыт с этими технологиями и хотите поделиться, welcome! Напишите Роману @rspon, сделает все в лучшем виде! Как раз сейчас модуль 6 про аналитические хранилища, а я могу только про западные рассказывать.
Большие новости в tech Facebook rebrands to #Meta “A social technology company”. “We build technologies that help people connect with friends and family, find communities, and grow businesses.”
https://about.fb.com/news/2021/10/facebook-company-is-now-meta/
У нас в slack есть канал data_news_from_the_world. Я его подписал на RSS разных тематических компаний и вендоров. Там даже была новость clickhouse.

Netflix опубликовал интервью с Data Engineer. Вообще Netflix платит топовые зарплаты, но и спрос соответствующий. У них есть безлимитный отпуск, но никто им не пользуется (безлимитным).

У них есть целый раздел посвященный data engineering https://netflixtechblog.com/tagged/data-engineering

Есть ещё книга про компанию Netflix, там хорошо раскрыты подходы к найму лучших сотрудников и их удержание.
👍1
🚀 Примите участие в онлайн-соревновании BCS Coding Days от «БКС Мир инвестиций» и Фонда «Сколково».

BCS Coding Days — это задачи для системных аналитиков, Android и Java-разработчиков с призовым фондом 1 500 000 рублей. Соревнование пройдёт с 4 по 5 декабря онлайн.

Трек для Системных аналитиков:

Вам будет предложено 4 реальных кейса:
- инструментарий для гибкой настройки портфеля;
- сервис «Обмен ПИФ»;
- подбор и анализ финансовых инструментов;
- онбординг новых пользователей.

Таймлайн BCS Coding Days:
- В преддверии соревнования посетите митапы с экспертами рынка;
- С 4 по 5 декабря решайте задачи, участвуйте в чек-поинтах и стрим-конференции с экспертами «БКС Мир инвестиций»;
- 7 декабря презентуйте свое решение и выиграйте главные призы.

Поборитесь за главный приз и возможность получить offer от «БКС Мир инвестиций».

👉 Успейте подать заявку до 3 декабря по ссылке: https://clck.ru/YWPaH

PS Пост поддержал приют для собак Зоорассвет в Москве