Инжиниринг Данных – Telegram
Инжиниринг Данных
23.5K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Автор поста описывает распространенную ситуацию, когда кто-то топит за новые «инсайты» но только одобряет те, которые подтверждают его/ее собственные гипотезы, даже если они неверные. И тогда вопрос, зачем на этот цирк тратить время. У вас было такое?
🗿14🫡4🌚3👻3
Автор написал почему лучше быть дата аналитиком, чем "sexy" data scientist. В целом я согласен, если у вас не мат бэкграунд, зачем себя мучать алгеброй и статистикой, если можно быстрей вкатиться в профессию и зарабатывать столько же. Процесс должен приносить удовольствие и результат. Не знаю ни одного дата саентиста в Канаде, кто зарабатывает больше меня😂 Но к сожалению математические беседы я не смогу поддержать😒

Но в любом случае, ифоцыгане зарабатывают больше! Никто не хочет себе личного ментора по инжинирингу данных и карьере за 500$ в час?! Предложение актуально до конца недели, при покупке 20ч скидка 10%!👌
🍌19🫡17❤‍🔥8🌚6👻4
8 papers about Ai.pdf
4.2 MB
Вот все ругались что у всех Pay Wall, но нашел статью в PDF (не айс), про 8 главных papers про AI. Enjoy! PS если что за 500$ в час на сессии менторства могу и в слух почитать их😎
👻15🫡5
Так вот женам айтишников, нужно еще SQL подтягивать и Excel изучать❤️ (картинку у жены взял в иснтаграме, если вдруг не понятно😜) А я в окошке поехал в gym, надеюсь завтра закрою тикет по data mapping😝 Теперь вы знаете секрет продуктивности🤗
❤‍🔥73💅32🫡12👨‍💻5🍾4🐳2🗿2🍌1👻1
Cloud Analytics with Microsoft Azure.pdf
8.8 MB
Книга - Cloud Analytics on Microsoft Azure.

Будет очень в тему если предстоит работать на Azure.
❤‍🔥42
Forwarded from Data Nature 🕊 (Alex Barakov)
Новый год и новый заход на тему компетенций BI команды

Мы прошли очередной "операционный круг" и созрели для обновления BI Team Upgrade Guide - нашего внутреннего тула для оценки BI аналитиков и гайда для осмысленного саморазвития. Наша старая версия сильно уступала прекрасной Матрице Ромы Бунина, что очевидно недопустимо 😎

Воруют бездарности, гении заимствуют). В итоге мы:
🔹позаимствовали эксель-шаблон с отличным графиком итоговой синьорности
🔹доработали подход с self-assessment идеей - сделали шаблон более компактным за счет выпадающих списков при выборе вариантов ответа
🔹Обновили список скилов, их группировку на актуальные для нашей команды
🔹Ссылки на полезные материалы по скилам обновили и вывели в отдельную секцию "How to develop the skill". Тут удобнее кликать
🔹Добавилась менеджерская вкладка "BI Team overview" (используется отдельно), где сводится общая картина по команде: доменная экспертиза, оценка синьорности по компетенциям, оценка рисков и ценности
🔹ну и да, наш тул на английском

Делюсь этой историей как примером получения реальной пользы от opensource-подхода к инструментам в комьюнити.
Свою версию также шарим на всех. Может кто подхватит и продолжит апгрейд, фидбек-welcomed
Копирайты и слава остаются - revealthedata

👌 Еще полезные решения по теме компетенций в data/BI/Product сфере, которые стоит обозрить если вы делаете подход в вопросу:
🔗 Миро борд компетенций для ролей управления продуктом от Сергея Тихомирова
🔗
Навыки и требования к аналитикам данных на разных уровнях в «Яндексе»
🔗 Карта компетенций РМ от Дмитрия Зиновкина
❤‍🔥26🐳1
Опа, модная полиция подъехала😎 Как в песне, гоп стоп мы подошли из-за угла😝
💅41🌚10🗿10😈9🍌6🐳3🍾3🌭1👻1
❤‍🔥67🌚15🌭4🍓3🗿3
Forwarded from АйТишечка на Стиле
Если бы Шерлок Холмс был бы в ИТишечке, он бы насил бы такой кепарь от Gucci и Adidas за 520 фунтов!

Отличный вариант для fully remote (ZOOM), 2 в 1! спортик и лухари, под настроение!

Предзаказы принимаются!
🐳13👻8💅6🌚1
Наконец-то я закончил замечательную книгу, наверно лучшую в своем роде - Python Crash Course (3rd edition).

Книга состоит из 2х частей:
1) теория + упражнения про обычные питоновские вещи, но все объяснено очень понятным языком (наверно за это очень любят эту книгу). Я давным-давно закончил часть1.
2) а вот 2ю часть все откладывалась. Это набор разных проектов на питоне.

Я загрузил свой код к себе в репо. Так же там есть популярные cheetsheets от автора.

Проекты:
- сделать игру на PyGame, используется много файлов и классов
- визуализация данных с помощью Matplotlib, Plotly, генерация данных
- работа с API на примере GitHub, HackerRank
- достаточно большой проект на Django, в котором будет много HTML.

PyGame и Django мне вряд ли понадобятся, но моя задача просто чаще использовать питон, и эти проекты отлично подошли. Даже промелькнула мысль сделать английскую версию datalearn на django, но быстро ее отбросил.

Следующая книгу по Python - Fluent Python. В ней много базовых вещей, но это как вода, которая должна заполнить пустоты в стакане с песком:)

Что вам еще по питону нравится?
❤‍🔥57🐳5
Визуализировал 12+ лет карьеры, основные технологии, которые учил (не использовал), а именно учил по книжкам, курсам и тп.

Оказалось 2020 +/- вообще был на дне морально.

Обе попытка делать "бизнес" дали многогранный опыт, особенно в части soft skills.
❤‍🔥77🍾15🐳9🫡3👨‍💻1
Моя самая любимая картинка - The 2023 MAD (Machine Learning, Artificial Intelligence & Data) Landscape

Почему любимая? Ну потому что очевидно же, чем дальше, тем больше новых инструментов, больше хаоса.

Новичку даже с "пол литра" не въехать в это дело, столько всего надо знать?!

This year, we have a total of 1,416 logos appearing on the landscape. For comparison, there were 139 in our first version in 2012.

С чего начать, как поступить и тп. Именно поэтому такой ресурс как datalearn решает такую проблему, в этом и есть моя сильная сторона, я могу абстрагироваться от этой кучи ярких лого, и рассказывать про суть.

Ссылка на статью https://mattturck.com/mad2023/
🌚9🐳6
‘Tableau has been killed by Salesforce’: Past and current Tableau employees gather at ‘Irish wake’

По заголовку статьи понятно, что табло было лучше, когда это была самостоятельная компания, так же как и BusinessObjects когда-то. Возможно и с Looker похожая история, продукт мекрнет на фоне большой компании, видение размывается, продает фокус.

Хотя с Power BI все наоборот, медлено и верно продукт развивается. Первый раз с ним познакомился в 2015 году, тогда казался каким-то кривым и смешным, а теперь клиенты кешируют сотни гигабайт в Power BI и делают классные дашборды.

Но это мнение сотрудников табло, по себе я сильно заметил как просело сообщество, кол-во крутых визуализаций в linkedin и других классных штук, за что мы все любили продукт.

А вам как кажется? Tableau скатилось на задворки SalesForce или нет?
😈7👨‍💻2
Кто бы мог подумать, что сегодня я буду использовать Azure ML, чтобы подключиться Azure Data Explorer, и самое главное подключилось и работает.
👻14❤‍🔥1🍾1
Вчера было небольшое собеседование с компанией https://www.pilotplans.com/about, мне они понравились, что там официально 4 дня рабочая неделя и они про путешествия. Типа chatgpt для планирования путешествия, пока бесплатно и в бете. Они искала дата инженера на небольшие деньги (думал как подработку).

Я реально провтыкал 2 собеседования, но на 3й раз не пропустил. Пообщался с 2мя парнями из Индии, один был одет как в фильмах боливуда. Сюдя по шумам вокруг, они были в эпицентре крупного индийского города🛺

Рассказал им, как я бы делал платформу данных и какие технологии использовал бы. Как на картинке. Так и выглядит современное аналитическое решение🙈

Но ребята реально сами не знают чего им надо, время спрашивали про ML познания, на что я им смело говорил, мне это вообще не интересно, но теорию рассказал. Спрашивали про всякие другие вещи типа web scrapping и NoSql.

Про инвестиции сказали, что их нет, только ангел инвестр. Зато не просили питон писать на white board, а то я уже открыл вкладку chatgpt.
🌚31🐳8🫡7
Накидайте хороших ресурсов по Airflow
👨‍💻13❤‍🔥2
daniel_molnar_pakcon_berlin_2021.pdf
12.4 MB
Четкая презентацию про дата инженера
❤‍🔥39👻4💅4🐳1🍓1😈1🫡1
Подробная инструкция как читать Query Plan в Snowflake.

Один из самых популярных вопросов на собеседовании - как решать проблемы с производительностью запросов (отчетов, дашбордов). И ответ обычно начинается с изучения плана запроса и затем уже решается, что делать - compressions, partitions, indexing, bucketing, sharding и другие вещи, которые делают запросы быстрей.

В каждой базе данных свой запрос (логический план выполнения), и как правило во всех аналитических хранилищах (распределенных системах) очень много схожестей.

Поэтому этот пост будет интересен для всех.

А вы знаете еще ресурсы по оптимизации запросов? Или вопросы с собеседований.
🫡9🐳7❤‍🔥3💅2🍓1
Вдруг вам скучно!? Самое время выучить Rust для Data Engineering.
🗿19❤‍🔥12🍌3👻2