Инжиниринг Данных – Telegram
Инжиниринг Данных
23.5K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Новая книга про красоту визуализации данных - Data Sketches by Nadieh Bremer and Shirley Wu. В приложение глава в pdf. Сейчас в Microsoft проходит MLADS конференция(внутренняя), где есть трек про визуализацию, как раз на ней автор и выступала.

Вообще в Microsoft столько всего происходит, вообще не понятно Когда работать🤔
Продолжаем - МОДУЛЬ 5-5 ДАННЫЕ В ОБЛАКЕ

Данные повсюду и облака не исключение. Облачные решения могут создавать или использовать данные для различных целей, например аналитика, IoT, мобильные приложения, бизнес приложения и многое другое. Все данные, которые находятся в "нашем" облаке - являются нашей собственностью и мы несем за них ответственность и должны соблюдать законодательство и все регламенты. В этом уроке мы:

📌 Характеристики данных
📌 Соответствие с законами
📌 Тип хранения данных
📌 Данные в России
📌 Персональные Данные (PII)
📌 Как работать с персональными данными в облаке по закону
📌 AWS и Azure решения для Compliances


https://youtu.be/3YCUsekrhPU
Хотим провести следующие базовые вебинары, нужны добровольцы, чтобы рассказать:
1) Что такое streaming, когда используется, демонстрация (например Apache Kafka). В каких случаях для аналитики это подходи, а в каких нет.
2) Про Hadoop - история продукта Big Data и его наследие, и немного про основы и проекты.
3) Про классическое Озеро Данных (в эпоху до Delta Lake)
4) Про Power BI - как сделать best practices для self services в Power BI, как организовать data models и всегда ли нужен Dax.
5) Про бизнес специфику - какие метрики и показатели используются, на что смотрит бизнес, какие дашборды и тп (например маркетинг, финансы, логистика, машиностроение, добыча ресурсов и тп)
6) Airflow - что это такое простым языком и демонстрация
7) AWS/Azure/GCP - обзор аналитических решений и сервисов
8 ) Spark - что это такое, зачем используется, история и применение, демонстрация
9) Про руководство дата командой или управление дата проектом

В общем и целом, всегда рады, когда вы делитесь опытом с нами!
Forwarded from Data Coffee
Бодрящий, как аромат свежеобжаренных кофейных зёрен ☕️, новый эпизод подкаста Data Coffee уже доступен к прослушиванию 🎧!

Тема выпуска сегодня — Облака и Data-Driven Culture.

А ещё у нас с вами гость! В гостях у подкаста ‘Data Coffee’ специалист по созданию аналитических решений из Канады - Дмитрий Аношин (Telegram, Linkedin, Хабр)

https://anchor.fm/data-coffee/episodes/Data-Driven-Culture-e11b8ai
1623604591886.pdf
3.6 MB
Google cloud AI adoption framework
Data Base, Data Mart, Data Warehouse, Data Lake, и даже Data Swamp, и вот теперь есть Data Acquarium
Forwarded from Kseniia Tomak
DE or DIE #7

Ребята, мы рады анонсировать митап #7 нашего сообщества DE or DIE!

Дата и время: 16 июня (среда) 18:00
Формат: Онлайн (трансляция на YouTube)

Регистрация по ссылке: https://deordie.timepad.ru/event/1669693/

Темы:
18:00-19:00. Handling late data. How to make the right choice? - Дарья Буланова
19:15-20:15. Ingestion and historization in the Data Lake? - Илья Тодор
20:15-20:45. After Show - организаторы DE or DIE и спикеры

(*): Несмотря на англоязычные названия доклады будут на русском языке.

Ждем вас в следующую среду. Ссылку на трансляцию опубликуем за час до мероприятия.
Forwarded from ✙ M
Вы уже должны знать про DBT tool (там самая Т в ELT процессе). С хранилищем все понятно, как использовать этот инструмент. Оказывается его ещё используют для Spark. 17 июня будет вебинар DBT+Databricks on AWS
Прежде чем строить дом, нам нужно нарисовать архитектуру дома и сделать много других подготовительных работ. Тоже самое и в облаке и ИТ решениях. А если мы еще вспомним про принципы Амазон и их подход к созданию новых продуктов - Working Backwards, то самый первый шаг в создании решения мы начнем с потребностей клиента и бизнеса, напишем press releases, ответим на все возможные вопросы в FAQ и создадим visuals, включая диаграмму/архитектуру нашего будущего решения или продукта.

Из модуля вы узнаете:
📌 Что такое архитектура
📌 Amazon Working Backwards и Press Releases
📌 Enterprise Architecture Frameworks
📌 TOGAF и Zachman frameworks
📌 AWS и Azure blueprint решения и шаблоны
📌 The 5 Pillars of the AWS Well-Architected Framework
📌 Примеры AWS решений
📌 Диаграммы и архитектуры аналитических решений

https://youtu.be/slfDKyMxZsU
В data learn мы максимально хотим помогать людям находить работу, особенно хорошо это работает для тех, кто меняет сферу деятельности или только начал работать. Иногда у нас появляются возможности порекомендовать самых активных студентов на хорошую позицию.

Вот и сейчас у нас есть очень классная возможность порекомендовать и менторить активного студента data learn, который выполнил первые 4 модуля и сделал домашку в компанию Работа ру (Сбер) на позицию "Аналитик Данных" на спец. проекты. Там очень классный stack и современные решения (Tableau, Clickhouse, Python, SQL).

Желателен уровень мидл или мидл-, но могут рассмотреть уровня джуна с возможностью менторства.

Если есть желающие - пишите @rspon
Хотите писать python код как инженеры и дата саентисты Minecraft, тогда вот вам отличный guide от Palantir, который очень популярен в индустрии.
Из комментария. Лишний раз показывает, каждый человек кузнец своего счастья, ставим цель и фигачим)) И я уверен, Mike офигенный специалист, потому что он прошел “огонь и воду”, и теперь ему любая задача поплечу.

Еще бы пару фраз Тони Робинса для мотивации))

Лишний раз доказывает, что идея и программа datalearn рабочие. Подход не был придуман, это реально research&development за последние 10 лет, путем проб и ошибок, не плохой вариант изменить жизнь к лучшему. “Вы все еще сомневаетесь? Тогда мы идем к вам!”(с)😎
Прям "бальзам на душу"))