Инжиниринг Данных – Telegram
Инжиниринг Данных
23.5K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Metaverse еще не все. Диалог A New Reality: Building the Metaverse, в котором CPO meta рассказывает, почему они верят в свою идею. Мне понравилось сравнение, в котором современный интернет - "плоский", это просто страница на экране. Идея мета вселенный по его словам, это возможность уйти от "плоского" интернета.

Хотя с другой стороны, сегоня Microsoft уволил команду, которая занимался метаверсом у них - In a surprising reversal, Microsoft has killed a team it formed four months ago to help customers use the metaverse in industrial settings, according to a person with direct knowledge of the matter.

Возможно еще не время.

По другим большим новостям:
1. Знакомый скинул интересные ссылки про увольнения 7% в GitLab, 10% в Github.

2. Disney тоже уволил 7000 человек

3. Starship не летит на марс, потому что внутри двигателя выросли грибы. И вообще в SpaceX проблемы с бюрократией.

4. Я уже писал ранее несколько раз про paswordless и все больше информации о компаниях, которые активно двигаются в эту сторону и развивают passkey. Это вам не metaverse, а вполне конкретный и полезный случай применения технологий и ИТ для решения проблем удобства и безопасности. "Go Passwordless Whenever You Can, Wherever You Can", Ant Allan, VP Analyst, Gartner.

5. Zoom тоже уволил 15%. Их CEO урезал себе зп и бонусы н 98 процентов и вся верхушка, урезала себе все на 20%. Все верно - чем выше, тем больнее падать.

Недавно слушал другого CEO, которому задали вопрос, про урезание зп верхушки, на что он сказал, что это все маркетинг, никому не будут урезать зп, так как у компании большие планы, и чтобы их достичь нужен достойный reward. Мне кажется так честней. Так же эта компания решила сделать off site в Мексике на недельку затусить и пообщаться перед большими делами, чему я очень рад, так что скоро вывезу еще одну книжку в Мексику, но теперь 1м классом🌴

Что мы еще пропустили?
🍌9🐳4💅2🍓1🫡1
Теперь я знаю, что должен уметь крутой power bi разработчик.
🌚26🫡18👻6🗿3🍓2
Внес свой небольшой вклад в "УПРАВЛЕНИЕ ДАННЫМИ В ГОССЕКТОРЕ, НАВИГАТОР ДЛЯ НАЧИНАЮЩИХ" для Центра подготовки руководителей цифровой трансформации ВШГУ РАНХиГС🥸

Нашел в яндексе саму книгу
🍾67🫡16🐳7❤‍🔥6🌚4🍌3
Всем привет! Приветствую вас на бесплатном образовательном проекте DATALEARN! Как говорится никакого bullshit, все по делу;)

Это новая версия вступления, на котором я расскажу про идею, про ресурсы, про история и много других организационных моментов!

В этом видео:
📌 Что такое Datalearn
📌 Как появился
📌 Как записаться
📌Какие перспективы
📌 Все наши ресурсы, которые мы создали за 3 года
📌 И многое другое!

Must have смотреть!

Ссылка на материалы:
🔥Самые актуальные новости про аналитику в Telegram канале: https://news.1rj.ru/str/rockyourdata
🔥Канал для студентов datalearn https://news.1rj.ru/str/datalearn_chat
🔥Чат Инжиниринг данных https://news.1rj.ru/str/dataengineering_chat_ru
🔥Мои статья на хабре https://habr.com/ru/users/dimoobraznii/posts/
🔥GitHub учебник https://github.com/Data-Learn/data-engineering
🔥Подкасты https://anchor.fm/dmitry23/
❤‍🔥85🍾22👨‍💻5🐳4🍌4🫡1
Видя очередной стартап или продукт про STEM (обычно используется в контексте раннего воспитания и изучения технологий для детей, и все чаще просто программирования), я задаюсь вопросом, а детям это вообще надо? интересно ли им? Я лет 7 в сфере обучения детей, подростков и взрослых (и это не обязательно дателерн) и все чаще задаюсь вопросом, а кто же детей научит использовать пилу и молоток? Как забить гвоздь? И далее по списку. Зато все знают Scratch, слышали про роботов и алгоритмы и умеют нажимать кнопки на различных девайсов, а некоторые даже знают питон лучше меня в 5 лет=)

Как вы считаете, какова реальная ценность программирования, STEM игрушек (они могут стоит 5 долларов, а могут 5000 долларов) для детей в раннем возрасте?

Недавно был забавный случай, собирали с товарищем кухню икея, позвали подростка 18 лет помочь, попросили распилить доску пополам, а он в жизни пилу в руках не держал!)))

Если бы я создавал компанию в сфере обучения, я бы хотел учить детей работать руками (хотя у самого они растут не из того место), но все таки - забить гвоздь, просверлить дырку в стене и тп))

Может уже есть такие ресурсы?
❤‍🔥39💅5🗿4🐳3
Forwarded from Вастрик.Пынь
🤖 ChatGPT. Когда уже нейросети наконец-то заменят кожаных ублюдков?

Много меня просили написать свои мысли по поводу ChatGPT. Написал пока три.

1. ChatGPT заменит людей, но только тех, которые не осилят сам ChatGPT. А для остальных он станет просто ежедневным компаньоном (уже стал)

2. «Большие дядьки» обосрутся и побегут скорее запрещать и ограничивать нейросети. А у простых людей просто прокачается новый скилл: детектор, что перед тобой нейросеть

3. Да, поисковики умрут, но не потому что ChatGPT их заменит

Развернул тут: https://vas3k.blog/notes/chatgpt/
❤‍🔥4🫡4
Как можно уволить разработчика хранилищ данных с такой фамилией?! Я с ним даже знаком был, когда Xbox купил Zenimax я вызвался добровольцем помогать им понять как в Xbox мы делали инжиниринг данных. А у них был AWS Databricks на Scala, и в отличие от. Xbox центральная команда, которая делает единое решение для всех игр, а у Xbox каждая игра содержит свою команду (кто в лес, кто по дрова).
🐳28🌚6
https://motherduck.com/blog/big-data-is-dead/

За последнюю неделю эту статью обсудили везде где только можно: во всех чатах, линкединах и пабликах. Если что, автор - один из founding engineers BigQuery, поэтому его слова, как минимум, не стоит игнорировать. Решил перечитать ее пару раз, вот на какие мысли наткнулся в своей головушке, в целом соглашаясь с автором:

Бигдата на самом деле не такая большая
Тут я с автором согласен. Подавляющее большинство компаний и команд, с которыми я общался, считают, что у них очень много данных и они обрабатывают петагигамегабайты, но на деле все сильно меньше. В погоне за хайпом и “у нас хранилище 400 Террабайт!” мы потеряли главный смысл - данные должны приносить пользу, а не лежать в json-гробах.

Compute нужно сильно меньше, даже когда растет Storage
Тут все тоже довольно просто: с легкой барской руки мы накидываем ворверов и экзекьюторов, потому что у нас хранилище увеличилось в 2 раза, но на деле нет прямой пропорциональной зависимости compute (вычислительные мощности) от storage (наших объемов хранилищ).

Данных много, а анализируем всего лишь небольшую часть
Тут можно разделить на две части:
- Базы данных умеют в оптимизацию достаточно хорошо, поэтому даже при плохом запросе умудряются уменьшать объем обрабатываемых данных
- Большинство данных очень важны за вчера, меньше за неделю, за месяц еще реже, за год данные нам нужны чаще всего только для больших корпоративных презентаций. Ну и сезонность / праздники иногда посчитать.

Очень порадовало определение “Big Data is when the cost of keeping data around is less than the cost of figuring out what to throw away”, проще хранить, чем тратить время и выяснять, а что можно удалить, а что по закону надо хранить 7 лет.
Ну и еще из классического: “if the date is older than 2019 use the revenue field, between 2019 and 2021 use the revenue_usd field, and after 2022 use the revenue_usd_audited field”.

В конце статьи есть прекрасный список вопросов, очень рациональный, по поводу внедрения бигдаты и всего этого красивого.

@ohmydataengineer
🐳17❤‍🔥8🫡4👨‍💻2🗿2🍾1👻1
Знакомо?🤪
🫡81👻14💅11🌚7🐳3👨‍💻3
Знакомы слова SQL, ETL, DWH?
Тогда у вас есть возможность получить оффер за выходные в команду Тинькофф!

За прошлый год экосистема Тинькофф выросла в два раза — продуктами компании пользуются уже 28 млн клиентов. В связи с этим расширяется дата-команда: нужны дата-инженеры, системные аналитики DWH и разработчики ETL с опытом работы больше двух лет.

Пройти собеседование можно онлайн за выходные — на Data Weekend Offer. Если все хорошо, вы получите оффер уже в понедельник.

Ближайшее мероприятие 11-12 марта. Успейте подать заявку до 7 марта.

#реклама
❤‍🔥11🌚8🌭3🍌1
Автор поста описывает распространенную ситуацию, когда кто-то топит за новые «инсайты» но только одобряет те, которые подтверждают его/ее собственные гипотезы, даже если они неверные. И тогда вопрос, зачем на этот цирк тратить время. У вас было такое?
🗿14🫡4🌚3👻3
Автор написал почему лучше быть дата аналитиком, чем "sexy" data scientist. В целом я согласен, если у вас не мат бэкграунд, зачем себя мучать алгеброй и статистикой, если можно быстрей вкатиться в профессию и зарабатывать столько же. Процесс должен приносить удовольствие и результат. Не знаю ни одного дата саентиста в Канаде, кто зарабатывает больше меня😂 Но к сожалению математические беседы я не смогу поддержать😒

Но в любом случае, ифоцыгане зарабатывают больше! Никто не хочет себе личного ментора по инжинирингу данных и карьере за 500$ в час?! Предложение актуально до конца недели, при покупке 20ч скидка 10%!👌
🍌19🫡17❤‍🔥8🌚6👻4
8 papers about Ai.pdf
4.2 MB
Вот все ругались что у всех Pay Wall, но нашел статью в PDF (не айс), про 8 главных papers про AI. Enjoy! PS если что за 500$ в час на сессии менторства могу и в слух почитать их😎
👻15🫡5
Так вот женам айтишников, нужно еще SQL подтягивать и Excel изучать❤️ (картинку у жены взял в иснтаграме, если вдруг не понятно😜) А я в окошке поехал в gym, надеюсь завтра закрою тикет по data mapping😝 Теперь вы знаете секрет продуктивности🤗
❤‍🔥73💅32🫡12👨‍💻5🍾4🐳2🗿2🍌1👻1
Cloud Analytics with Microsoft Azure.pdf
8.8 MB
Книга - Cloud Analytics on Microsoft Azure.

Будет очень в тему если предстоит работать на Azure.
❤‍🔥42
Forwarded from Data Nature 🕊 (Alex Barakov)
Новый год и новый заход на тему компетенций BI команды

Мы прошли очередной "операционный круг" и созрели для обновления BI Team Upgrade Guide - нашего внутреннего тула для оценки BI аналитиков и гайда для осмысленного саморазвития. Наша старая версия сильно уступала прекрасной Матрице Ромы Бунина, что очевидно недопустимо 😎

Воруют бездарности, гении заимствуют). В итоге мы:
🔹позаимствовали эксель-шаблон с отличным графиком итоговой синьорности
🔹доработали подход с self-assessment идеей - сделали шаблон более компактным за счет выпадающих списков при выборе вариантов ответа
🔹Обновили список скилов, их группировку на актуальные для нашей команды
🔹Ссылки на полезные материалы по скилам обновили и вывели в отдельную секцию "How to develop the skill". Тут удобнее кликать
🔹Добавилась менеджерская вкладка "BI Team overview" (используется отдельно), где сводится общая картина по команде: доменная экспертиза, оценка синьорности по компетенциям, оценка рисков и ценности
🔹ну и да, наш тул на английском

Делюсь этой историей как примером получения реальной пользы от opensource-подхода к инструментам в комьюнити.
Свою версию также шарим на всех. Может кто подхватит и продолжит апгрейд, фидбек-welcomed
Копирайты и слава остаются - revealthedata

👌 Еще полезные решения по теме компетенций в data/BI/Product сфере, которые стоит обозрить если вы делаете подход в вопросу:
🔗 Миро борд компетенций для ролей управления продуктом от Сергея Тихомирова
🔗
Навыки и требования к аналитикам данных на разных уровнях в «Яндексе»
🔗 Карта компетенций РМ от Дмитрия Зиновкина
❤‍🔥26🐳1
Опа, модная полиция подъехала😎 Как в песне, гоп стоп мы подошли из-за угла😝
💅41🌚10🗿10😈9🍌6🐳3🍾3🌭1👻1