Когда забыл проверить источник данных своего отчета 😂

Автоматизация в Python для Data Engineering с использованием библиотеки Python Prefect. Можно даже позиционировать как замену или дополнение Airflow.

Ну и традиционный вопрос, кто-то использовал?

Если кто-то захочет производить качественный видеоконтент, например для видеокурсов, то вот очень круто расписано, как можно собрать студию. У #datalearn пока бюджетный вариант на Pixel 3xl + external mic.

Буду выступать на крупнейшей Data Science конференции в Восточной Европе, где расскажу про взаимодействие команд, создании современных аналитических решений в облаке и ML решениях.

Отличный способ удивить коллег, нарисовать портрет в Табло. Все очень просто - с помощью кода можно обработать фотографию и записать координаты каждого пикселя и потом визуализировать в Табло. Пример в этом блоге.

Всем привет! Хотел с вами поделиться новостью. Себе на день рождение (у меня 10 ноября🥳) я сделал интересный подарок. Я уволился из Амазон, почти после 5 лет работы и устроился в Microsoft в Ванкувере, на позицию Senior Data Engineer в gaming. Буду строить платформу данных для студии, которая выпускает Gears of War. Теперь полностью погружаюсь и индустрию игр. Мой старший сын рад больше меня))) Да и мне тоже нравиться.

Но я все еще не люблю Power BI и SSAS кубы. В качестве решения, я хочу использовать Databricks, чтобы создать Delta Lake. В целом мне нравится, что я могу создать impact на студию и построить что-то инновационное для индустрии игр в Microsoft, осталось придумать что и как🙈

PS если есть крутые ресурсы и видосы по теме, кидайте в комменты.

Уже ни раз говорили про DBT tool, инструмент для трансформаций данных (ELT) с помощью SQL. Они получили 2й раунд инвестиций.

Вот и mail.ru выкатил свои облачные сервисы, будет у них вебинар и можно будет сравнить с Яндекс облаком. https://events.webinar.ru/mcs/bigdata1

День про Инжиниринг Данных, должно быть интересно. Как я понял есть доступ на бесплатные доклады, так что обязательно посмотрите, Алексей собрал крутецкие доклады. 😎

Андрей Осипов, в своем канале "Школа бородатого аналитика" публикует как свои материалы (в последнее время больше про bigquery и новую версию google analytics 4), так и интересные и полезные решения в целом, про веб-аналитику и инженеринг данных;

А еще он сделал группу поддержки (https://news.1rj.ru/str/firebase_app_web_bigquery), для тех, кто хочет использовать ga4, firebase analytics и bigquery в своих проектах.

Следом за мной, создатель python тоже устроился в Microsoft 🤗(или наоборот).

Databricks выпустил BI функциональность для своей платформы.

На дворе ноябрь, и многим из нас не хватает теплых летних ночей в лесу вокруг костра ✨

Ребята из ProductStar решили устроить digital-конференцию и воссоздать эту волшебную атмосферу. В чиле спикеров у цифрового костра — тим-лиды Яндекса, HH, SEMrush, DeliveryClub, Skyeng. 30 докладов, круглые столы, работающие инструменты и закрытые группы в чатах. Не хватает только вас 😉

Мероприятие будет полезно всем, кто работает в сфере IT — от новичков до профессионалов. Лучшие практики российских и зарубежных компаний проведут лекции по четырем направлениям:

— Продакт-менеджмент
— Аналитика
— Разработка
— Маркетинг

Кроме того, можно будет поучаствовать в воркшопах, спросить советы о своих проектах и принять участие в нетворкинге!

ProductStar TeamLead Festival пройдет 21 ноября онлайн и будет абсолютно бесплатным!

Не упустите возможность провести время с пользой в приятной компании топовых спикеров!

Больше подробностей по ссылке 👉 https://bit.ly/32Cjfqn

Опубликован список докладов конференции Coalesce (да-да, от тех самых создателей dbt, которые недавно вновь привлекли инвестиции).

Самое время зарегистрироваться и добавить интересующие доклады в свой календарь.

Среди наименований встречаются интересные вещи типа: «Cleaning the fish: A sushi-inspired approach to clean datasets» 🍣🧹📁

Давным давно (в 2010) я нашел курс на русском на Интуите - Проектирование хранилищ данных для приложений систем деловой осведомленности (Business Intelligence Systems). Курс содержит в себе много теории про базы данных, моделирование и особенно полезен если вы планируете строить решения в Microsoft BI и использовать OLAP кубы SSAS (что еще часто бывает требование работодателя на отечественном рынке).

В общем, если учитесь, стоит пролистать лекции, может чего полезного найдете.

Хороший пример создания аналитического решения.

Запись митапа Wrike про Data Egnineering.

Инструментов для интеграции и трансформации данных (ETL/ELT) существует огромное множество. В этом уроке мы рассмотрим самые популярные решения на рынке и разделим их на типы по цене и удобству. В этом видео вы узнаете про:

📌 Типы ETL решений
📌 Квадрант Gartner и Forrester
📌 Gui vs Non-Gui
📌 Коммерческий ETL - Microsoft Integration Services и Informatica Power Center
📌 Open Source ETL - Pentaho, Apache Nifi, Apache Airflow, DBT Tool
📌 Облачный ETL - Matillion, Fivetran, AWS Glue, Azure Data Factory

https://youtu.be/wksfXoeNO7Y