Инжиниринг Данных – Telegram
Инжиниринг Данных
23.5K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Я заметил, что зарплаты меняются очень быстро. Например в Канаде за последние 6 лет базовая зарплата меняется каждый год на 10т канадских. Все hr имеет доступ к одинаковым данных о цене специалистов и все предлагают одинаковую зарплату. Faang в Канаде может лишь сверху предложить сумму стока (акций) на 4 года, что эквивалентно живым деньгам с конским налогом. Компании, которые частные, дадут вам маленькую долю, которую можно потратить только в случае успешного IPO.

Другой интересный момент, что в Канаде зарплата имеет корреляцию со стоимостью рынка жилья. Это только в ИТ. Все остальные получают столько же, сколько и 5 лет назад.

Но самая главная мысль, которая свойственна не только Канаде, а вообще всем - это то, что ваша входная зарплата будет ровно такая, на какую вы пришли. Очень редко компании будут повышать вас, обычно это индексация. Но всеми силами буду рассказывать вам басни о ценности, миссии и видении и о вашем прогрессе, и что вы молодец, но ещё не совсем молодец, чтобы получить лишнюю денюшку.

Пройдет какое-то время пока молодой специалист снимет розовые очки и поймет, что к чему и побежит искать работу, поменяет работу и получит минимум 50% прибавки.

Поэтому все красивые слова про миссию компании, печеньки и кофе в офисе вас должны мало волновать. Как я скидывал в статье выше, вы предлагаете свои услуги рынку, рынок как на аукционе предлагает вознаграждение, за ваше время. А не наоборот.

Цените себя и свой труд и почаще снимайте "лапшу с ушей". Делайте так как удобно вам и вашей семье. Ну и конечно, если вы что-то делаете, делайте это максимально круто и качественно!
Собрался силами и опубликовал свой курс "Введение в Облачные Вычисления для всех" на хабр.

Хотел на степик, но там столько заморочек и ограничений, что решил так. Для всех всех, кто хочет знать больше про облака, будет теперь идеальный контент на русском.
Еще до Microsoft я перешел на VSCode, а теперь он доступен в браузере! https://vscode.dev/
Сейчас я в библиотеке University of British Columbia, мне попался энциклопедический словарь, в нем я нашел слово, data(множественное для datum), и вот его значение(я)
Придумал как объяснить SMP vs MPP. Вы же знаете, что ресурсы можно масштабировать вертикально, как у SMP баз данных, и горизонтально, как у MPP баз данных. Карьерный рост - это вертикальное масштабирование, и оно не дает значительного прироста в деньгах, а вот горизонтальное масштабирование может - удвоение, утроение работ и тп. 😇
Идеи публикаций подходят к концу. Можно сказать, что это почти research work. Сначала я проводил "эксперименты", а потом описал их. Все про все заняло месяц.

Есть ли жизнь после FAANG компании или мой опыт собеседований в Северной Америке, 20+ компаний за 3 недели

Возможно будет интересно вам как дела обстоят на западе. Хорошо, что все онлайн происходит, а представляете ходить по несколько раз в офис чужой. Хотя у меня давно была идея бесплатных путешествий по Северной Америке, такой вот интервью тур.

Самое ценное это выводы, но можете посмотреть детали "эксперимента", буду ошибки, а их много отмечайте в хабр.

Обязательно лайк. Вот прошлая статья про облака вообще не двигается, а там такая большая работа проведена на создание контента 🙄
Forwarded from Data Coffee
Ура, сегодня воскресенье!

Кто-то отдыхает и попивает раф с банановым молоком, кто-то с утра выпил двойной эспрессо и работает над свалившейся внезапно задачей. Ну а ещё кто-то не может усидеть на месте и думает — куда же ему развиваться в целом в IT и в области данных в частности. Один из таких людей обратился к нам с просьбой помочь.

Наш постоянный слушатель пришёл за советом в области образования, а это вопрос очень серьёзный. Мы не могли просто так в паре слов упомянуть об этом в новостном выпуске, от образования ведь зависит будущее человека! Мы решили помочь нашему слушателю и сотням других людей, которые тоже сейчас сомневаются и не могут выбрать дальнейший образовательный путь, для чего обратились к нескольким data-экспертам и попросили их ответить на поставленный вопрос.

Представляем вашему вниманию специальный бонусный эпизод подкаста Data Coffee🎙и приглашаем к прослушиванию!

#datacoffee #data #podcast #данные #подкаст

https://anchor.fm/data-coffee/episodes/23-bonus-e197nft
Карьера как продукт.

Мой недавний пост про горизонтальное/вертикальное масштабирование вызвал резонанс. Мой поинт бы не в том, чтобы работать 16 часов в день. И саморазвитие это очень важно.

Главное воспринимать свою карьеру как продукт. У вас должны появляться продуктовые гипотезы и вы должны их проверять. Чем больше гипотез проверили, тем лучше для вашего продукта.

Другой важный аспект в саморазвитии - это ограниченность временных рамок. Я не хочу в 50 лет учить какой-то новый тул с 0 или новый язык программирования. Поэтому после 10 лет усиленного саморазвития я осознаю пределы своих способностей и возможностей. Поэтому пока есть силы нужно крутиться и вертеться, неважно какое развитие (вертикальное или горизонтальное), главное понимать где вы будете через 5,10,15 лет.

Больше гипотез и экспериментов - лучше продукт.
Кто-то скинул в комментарий к статье на хабр - про необходимость прибыли в стартапе. Сразу становится понятно про современных единорогов. https://youtu.be/f1h76GSQtKg
Продолжаем нашу серию переводов про ценность измерения показателей для бизнеса на примере Амазон.

Татьяна сделала еще один перевод статьи про Amazon подход - Одержимость контролируемыми входными метриками

Поставьте лайки и поддержите комментом.

Таня сейчас бизнес/продуктовый аналитик в ДомКлике от Сбербанка, планирует развиваться в продуктовой аналитике и data science. Верит в большой потенциал у этого направления.

Она из химической технологии и науки перешла в Анализ данных, любит математику!! Но не Олимпиадница)))


Вот ее прошлая статья - Как Амазон измеряет эффективность. Обе эти статья помогут вам лучше понять роль аналитики в эффективности бизнеса и принятии бизнес решений.
У Harvard есть много бесплатных онлайн курсов на Edx от лучших преподов мира, вот некоторые из них:
Самый популярный курс по Computer Science CS50 и его дополнительны стримы:
CS50's Introduction to Computer Science (единственный курс, который я частично смотрел, очень приятный)
CS50's Web Programming with Python and JavaScript
CS50's Introduction to Artificial Intelligence with Python
CS50's Introduction to Game Development
CS50's Understanding Technology
CS50's Mobile App Development with React Native

Даже есть для не технических пользователей:
CS50's Computer Science for Business Professionals

Есть и для Data Science:
Data Science: R Basics
Data Science: Machine Learning
Data Science: Wrangling
Data Science: Productivity Tools
Data Science: Linear Regression
Data Science: Visualization
Data Science: Probability
Data Science: Inference and Modeling

Есть Leadership:
Exercising Leadership: Foundational Principles
Remote Work Revolution for Everyone

PS Если вы выбираете специализацию, то уже стоит денюшку.
Зато у Harward нету программы по data engineering. Но не беда, если вы в Бостоне Кембридже, вы можете проехать пару станций на метро и на реке Черльз красуется MIT.

Всего за 7000US$ и 6 месяцав, 20 часов в неделю, к сожалению онлайн вас научат как быть Инженером данных - Professional Certificate in Data Engineering

"Data engineering really is a core component of today’s data infrastructure. And because organizations can’t function without data, it’s also a career with a great deal of opportunity and incredibly interesting work as well."
– Abel Sanchez, Research Scientist and Executive Director of MIT’s Geospatial Data Center

Как сказал Абель, без инжиниринга не будет даты, а без даты все организации умрут. То есть это хороший deal, за 7т спасти загнивающие западные корпорации😜

Давайте посмотрим чему вас научат:
Секция 1:
Модуль 1-3: Python, NumPy и Pandas (они не хотили копировать data learn и решили сделать наоборот, сначало посложней Python, а потом полегче - SQL🙅‍♂️)
Модуль 4-6: SQL от простого до Advanced (это наверно Window функции)
Модуль 7-8: Проектики

Секция 2:
Модуль 9: Python кейс в IDE (заинтриговали!)
Модуль 10-12: SDE скилы (git, CLI, CI/CD - расскажут про необходимость + Agile💃)
Модуль 13-15: Базы данных (вы узнаете, что данные хранятся в базах данных в таблицах, и вы поймете, зачем было столько SQL!)
Модуль 16: Data Wrangling (все время путаю с фирмой джинсов Wrangler)

Секция 3:
Модуль 17-18: Хранилище данных (скажут, что это база даннных, но БОЛЬШАЯ)
Модуль 19-20: BigData (расскажут вам история hadoop, и намекнут, что слоник то on fire🐘)
Модуль 21-22: Streaming и Distributed Computing (наверно покажут вам Kafka и Spark)
Модуль 23-24: Введение в AI и ML (наверно дадут билет на метро до Harward, чтобы вы обратно проехали 2 остановки и поучили AI и ML, а лучше слетать к Анастасии Риццо на Мальту или посмотреть ее онлайн курс про введение в DS&ML101).

После завершения у вас будет сертификат, вы можете перейти дорогу и поймать за рукав HR Amazon, а лучше стоять с сертификатом у офиса Амазон! Помимо сертификата, скорей всего, у вас будет кредит на 7000 долларов в добавок к кредуту за iphone 13.

PS Это еще не все! Вас научать как сделать резюме, обновить профайл LinkedIn (кстати отечественные курсы еще могут учить как VPN🪗 установить), покажут сайты для поиска работы и как вести переговоры про зарплату.

А если посмотреть для кого этот курс, то мы увидим вообще всех желающих. Я бы на них посмотрел, как они будут Python учить. Как по мне, это не просто с 0 въехать, уже лучше в SQL разобраться сначала.
Forwarded from Alexey Dmitriev
Всем привет!
Возвращаюсь с отзывом)

Чего по-жизни хотел:
Хотел больше работать головой и не заниматься рутинной(повторяющейся) работой. А еще стабилизировать и увеличить свой доход.

Начну со своего опыта:
МГУ или ВШЭ за плечами нет, рядовое техническое высшее образование. Хорошие коммуникативные навыки + желание разбираться в вещах.

Прошел путь из жутко надоевшей мне сферы продаж в аналитику. Сейчас получил оффер в Х5 на Инженера данных и продолжаю учиться :)

Учился долго, до оффера прошло около 9-12 месяцев, из которых первые месяцы- расслабленная учеба с кучей сомнений с мыслями "А получится ли?" и 5 месяцев плотной учебы.
Теперь я понимаю, что этот путь можно было сократить до 6 месяцев

Учился в скиллбоксе на data analyst + подкреплял и расширял знания курсами от DataLearn DE. Сейчас смотрю вебинары DataLearn + учусь на Data Engineer от Karpov Courses
Самое забавное, что не до конца было понятно, клево этим заниматься или нет и какую должность хочу занимать.

Прошел 5 модулей(делал, но не сдавал домашки), но после НГ продолжу дальше :)

О DataLearn:
Потрясающий бесплатный подарок на ютубе, который позволяет понять, что именно делают аналитики, дата сайнтисты, инженеры и зачем они это делают.
Программа DataLearn сформирована очень хорошо и начинается с базовых принципов и основ, чего не было в Skillbox - там сразу учат Python и SQL, где решаешь задачки с непонятным бизнес-смыслом)

Первые три модуля datalearn мне позволили структурировать знания и понять, куда я хочу двигаться.

Выполнять домашки оч важно, именно они позволяют разобраться в том или ином инструменте. Я был в восторге, когда привычные excel таблицы превратил в красивый интерактивный дашборд.
Для того, что бы лучше усвоить Tableau, показанное в DataLearn- прошел короткий бесплатный курс на Stepik.org(пару дней)
После этого данные, которые я отобразил в экселе засияли новыми красками в Tableau. (Потом при трудоустройстве показывал потенциальным работодателям- всем нравилось)

Вебинары от DataLearn:
Отдельный жирный плюс создателям. Ребята приглашают хороших спикеров, которые являются практиками, рассказывающие о сложных вещах простым языком. Людей на вебинаре было не много, поэтому всегда мог комфортно задать все интересующие вопросы :)
После вебинара выходишь с пониманием, что можно теперь легко освоить новый инструмент и выполнить на нем задачку.

Почему так много курсов, а не только DataLearn:
Скиллбокс купил по-неопытности + заметил за собой, что платный курс больше мотивирует его закончить. Глупо, но для меня это так :)

Было сложно?
Да, сложно :)
Я забыл "про деньги и материальные радости" примерно на год, что бы я мог уделять гораздо больше времени учебе.
Самое сложное было это пересилить себя и начать регулярно заниматься и учиться новому. Особенно, когда не верил в свои силы.
Но когда вошел в учебный раш, то главное не останавливаться и делать-делать-делать, думать о туманном будущем становится некогда :)
После 4 месяцев занятий начал понимать, что я двигаюсь к цели и у меня начинает получаться что-то полезное :)

Первое трудоустройство:
Самый сложный и болезненный этап :)
Отправлял около 300 откликов, получил 15 заданий, выполнил около 10 заданий, получил один оффер. Конкуренция на старте огромная, на меня "без опыта" почти не смотрели. В условиях денежного дефицита переживать такое сложно :)
Но после того, как получите хоть малейший опыт, эйчары вас с руками оторвут :)

Стоило ли?
Однозначно ДА!
Я узнал много нового о бизнесе, о способах анализировать что-угодно. Я понял что данные- это очень ценный ресурс.
Мне очень нравится работа, задачи, отношение работодателя. Чувствую себя ценным кадром.
Я горжусь собой настоящим, это очень приободряет.
Спустя 1.5 года после начала пути в аналитику я вышел на доход, бОльший, чем за опыт 5 лет в сфере продаж.
Я знаю куда развиваться и кем я могу быть через 3, 5 лет и на какой доход смогу рассчитывать.
Forwarded from Alexey Dmitriev
Чего бы я поменял в datalearn:
Я бы хотел иметь возможность проходить курс платно за возможность получить наставника.
Платный курс позволяет задать 20 вопросов преподавателю по дз и материалы, а он на них ответит и подскажет как сделать лучше.
Хотя и сейчас это уже большое комьюнити, где можно задавать вопросы и получать на них ответы.

Спасибочки:
Cпасибо Дмитирию, Роману, Анастасии, Роману Бунину, Роману Зыкову и другим участвующим в создании и улучшении этого курса!
Вы молодцы!
С вашей помощью я стал доволен своими знаниями, местом работы, задачами, коллективом, доходом.

Дорогой ученик:
Не волнуйся, у тебя все получится. Если уделять время- точно получится. Это не просто, но точно того стоит!
Не избегай собеседований. Тестовые задания очень меня прокачали. Каждое следующее собеседование проходит лучше. Проси обратную связь от эйчаров и анализируй.
PS. Очень помогли еще занятия с психологом. (для тех, кто не может определиться)


Бонус для жителей МСК:
Я сказал ранее, что перехожу в другую компанию на data engineer.
Но мое место, где я взял старт в аналитике - освобождается :)
https://hh.ru/vacancy/49128970 - это смесь аналитика CRM, data analyst, data engineer.
Ищут джуна, можно прийти без опыта, если будешь готов стараться и уже умеешь работать с sql, немного питона и понимаешь, зачем работает бизнес. Вакансия интересная и там хороший коллектив.
Заинтересованным: пишите мне, я сосватаю эйчару, так будет проще попасть на собеседование :)
SQL with Squid Games.pdf
424.7 KB
Базовый SQL на примере Squid Games. Хороший подход, сразу понятно для тех, кто смотрел сериал. (внутри спойлеры)
Пример решения и архитектура от компании Monzo. Используют DBT на Google cloud.

https://medium.com/data-monzo/an-introduction-to-monzos-data-stack-827ae531bc99
Databricks продолжает двигаться на встречу low-code приложениям и приобретать user friendly решения (другое было ReDash -> SQL Analytics) - Databricks acquires 8080 Labs to extend its low-code/no-code capabilities

Как будто Code приложение становятся Low Code. А вот No Code/Low Code становятся наоборот Analytics as a Code.

🤪
Судя по отзывам хорошая книга!

In this book, Jesse does an excellent job distilling all of Git down to the core of what you really need to know to be successful as a developer, not exclusively, but especially if you are in a team environment. He demystifies many Git commands and concepts, particularly ones that tend to frighten the most hardened of developers. Rebase anyone?
Вчера состоялось историческое событие: подписан Российский национальный кодекс этики искусственного интеллекта, который призван наложить определенные ограничения на разработчиков и дата-инженеров.

Так, в ходе обсуждение проблемы с ИИ, Наталья Касперская, президент InfoWatch заявила, что разработчики, «в силу человеческой лени», предпочитают обучать ИИ на базах, которые лежат в свободном доступе в интернете, и «непонятно что в них напихано».

Согласны? ДА / НЕТ

Ещё много занятных высказываний с конференции от топов отрасли выкладывается тут: https://news.1rj.ru/str/cdo2day

PS пост поддержал приют для собак Зоорассвет в Москве