DataEng – Telegram
DataEng
4.35K subscribers
40 photos
9 files
537 links
Канал про Data Engineering & Distributed Systems.

Всё, что вы хотели знать про построение инфраструктуры для хранения, обработки и эффективного анализа гигантского объёма данных.

Автор @adilkhash
Download Telegram
LAST CALL 🛎

11 ноября в robot_dreams стартует курс для начинающих BI-аналитиков, data-/product-аналитиков и SQL-разработчиков, которые хотят научиться проектировать Data Warehouse и предлагать бизнес-решения на основе аналитики.

После курса вы:
▪️ пишете и оптимизируете SQL-запросы;
▪️ проектируете хранилища данных разных типов в зависимости от задач;
▪️ умеете управлять данными и разбираетесь в отличиях ETL- и ELT-подходов;
▪️ визуализируете результаты анализа и собираете данные в понятные дашборды;
▪️ находите аномалии в данных, валидируете гипотезы и делаете прогнозы для бизнеса.

В результате ― получите полный стек знаний и навыков для развития в BI-аналитике и BI-разработке.

Чтобы зарегистрироваться на курс, перейдите по ссылке и заполните форму
🔝 https://bit.ly/2ZwUUUN 🔝
Откопал свежее видео про Dagster от его автора на очередном митапе: https://www.youtube.com/watch?v=OYNPa_xxeho
У меня никак руки не дойдут его пощупать, уж больно привлекательно он выглядит. Есть кто уже пробовал его в деле?
Компания Altinity (та, которая теперь активно развивает ClickHouse) 2 ноября провела конференцию под названием Open Source Analytics Conference, в качестве спикеров были такие звёзды как Maxime Beauchemin, Andy Pavlo, Пётр Зайцев. Доклады уже доступны в сети бесплатно и без смс.

Наиболее заметные:

Analytic Trends & Data Engineering
Do We Still Need People To Write Database Systems?
Distributed Tracing Using ClickHouse at eBay
Data Rivers — The New Analytics Architecture
Managing Transactional and Analytical Workloads with Open Source Databases
Effective Dashboard Design Using Apache Superset
Succeeding with Apache Druid and Clickstream Data
Amazon бесплатно курсы по AWS раздаёт: https://amzn.to/31XqYC8, правда для моей страны нет возможности посмотреть их. Пишет что только Kindle noscripts могу брать, но возможно для вас ситуация будет другой.
Нашел новый венчурный фонд, инвестирующий в инженеров-основателей в области данных: аналитика, инфраструктура, AI/DL.
Сайт фонда https://www.dcf1.vc/, если у вас есть идея или прототип, то можно попробовать подать заявку на получение инвестиций. Основатель фонда Pete Soderling, он же основатель Data Council. Насколько я понял, сейчас цель фонда это проинвестировать в 1 тысячу инженеров-основателей.
Устали от многоэтапных собеседований, скринингов и тестовых заданий? Тинькофф готов дать оффер за 1 день

Если вы — опытный системный аналитик DWH, работающий с базами данных и умеющий писать SQL-запросы, то присоединяйтесь к комьюнити DWH из более чем 300 человек. В Тинькофф 20 команд работают над 50 проектами, поэтому вы легко найдете интересное направление. Работайте удаленно или в офисе: комфортно пройти онбординг помогут менторы, общие встречи, внутреннее обучение и мероприятия.

Все секции пройдут онлайн в Zoom 4 декабря. Вы узнаете о проектах, задачах, условиях работы и сможете задать любые, даже самые каверзные вопросы.

Успейте оставить заявку до 1 декабря. Фидбэк об участии пришлют в течение 3 дней: https://u.tinkoff.ru/onedayoffer-dwh
Фейсбук (а ныне Мета) провели интересный саммит на тему Data Observability, так и называется Data Observability Learning Summit 2021. Доклады уже доступны в сети без регистрации и смс: https://www.facebook.com/watch/9445547199/490224945331402

Список отдельных докладов:

- Data Quality at Uber
- Data and ML observability in the public cloud
- Data observability: Through a practitioner's lens
- Observability: How to eliminate data downtime and start trusting your data
- Defining reliability: SLAs for data platform teams
- Multi-dimensional DO for modern data infra: Why today's AI and analytics workloads require E2E DO

Тема интересная и актуальная, сегодня посмотрю парочку докладов.
Учебник по машинному обучению от Школы Анализа Данных, Яндекс: https://ml-handbook.ru/
Хотел порекомендовать вам канал Олега (@oleg_agapov) — Папка "Избранное" https://news.1rj.ru/str/folder_favorites, сам также подписан на него.
Олег работает BI-инженером, делится опытом и знаниями. Я как то уже писал про его труд https://github.com/oleg-agapov/data-engineering-book, это бесплатная книга (ещё в процессе написания) про дата инжиниринг.
👍1
Всем привет! 🫂

Сегодня, в последнюю пятницу ноября, я решил сделать большие скидки на своей учебной платформе:

Введение в Data Engineering: дата-пайплайны, по промокоду BLACKFRIDAY скидка 50%, 345 RUB
Анализ медицинских изображений в Python по промокоду BLACKFRIDAY скидка 50%, 250 RUB

Промокод необходимо вводить в момент оформления заказа.
Всем приятной учебы и выходных!
Также решил сделать скидку в 35% на курс Apache Airflow 2.0: практический курс.

Промокод BLACKFRIDAY, действует до 28.11
Приглашаем Data и DevOps-специалистов уровня Middle+ принять участие в Data&DevOps Hiring Weeks и стать частью команды EPAM. Регистрация уже открыта: epa.ms/devops-hw-tg-17

Что дает участие в Hiring Weeks?

Оффер в течение 48 часов
Welcome-бонус в размере оклада, если вы примете оффер в течение 7 дней
Можно выбрать удобную дату выхода в EPAM

В числе клиентов EPAM крупнейшие международные фармацевтические и биофармацевтические компании, розничные сети и телекоммуникационные компании. Кандидатам предстоит решать масштабные задачи и использовать современный технологический стек.
Узнать более подробную информацию о проектах и вакансиях вы можете на сайте!

Что еще мы предлагаем?

📌Прозрачные условия карьерного роста: матрицы компетенций, фидбэк-сессии, ассессмент
📌Бенефиты: доступ к 1700+ курсов и тренингов, бесплатные курсы английского, ДМС со стоматологией с первого дня работы
📌Профессиональные комьюнити
📌Возможность релокации в 35+ стран

Регистрируйтесь прямо сейчас👉 epa.ms/devops-hw-tg-17
👍1
🔥 Kubernetes отлично подойдет на роль центрального звена платформы для работы с данными. Не слышали о таком подходе?

На VK Kubernetes Conference мы покажем, что K8s - это технология, которая не только способна помирить Dev, Sec и Ops, но и может быть интересна Data Scientist и инженерам данных.

Когда: 9 декабря, 10:00 MSK
📍 Регистрация: https://cutt.ly/ST99xgZ

Из докладов вы узнаете:
🔹 Какие инструменты дата инженера можно запустить в K8s и какие тонкости стоит при этом учитывать.
🔹Сравнение классических и облачных архитектур при работе с данными.
🔹 Инструменты для построения DWH и Data Lake в облаках.

В программе — доклады, воркшопы и, конечно же, нетворкинг, во время которого у самых активных зрителей будет возможность поделиться собственным крутым опытом!


👉 Зарегистрироваться: https://cutt.ly/ST99xgZ
​​Митап для сообщества MongoDB в России
9 декабря в 18:00 очно и онлайн

На митапе архитектор MongoDB Inc расскажет о новых возможностях MongoDB 5.0. Также руководители ИТ-команд из apteka.ru, kp.ru, Urent поделятся своим опытом: какую архитектуру проектов на MongoDB выбрали, с чем столкнулись при росте нагрузок. Команда Yandex.Cloud расскажет о Performance Diagnostics кластеров MongoDB и сценариях репликации и миграции данных с помощью Yandex Data Transfer.

📍Место проведения — г. Москва, ул. Льва Толстого, д. 16. Для посещения мероприятия необходимо иметь QR-код.
📡 Будет онлайн-трансляция, и для участия нужна регистрация.

🚀Программа и регистрация »
Прикольная визуализация работы pandas: https://pandastutor.com/index.html
Удобно при изучении этой крутой библиотеки.