Всем привет! Хотел с вами поделиться новостью. Себе на день рождение (у меня 10 ноября🥳) я сделал интересный подарок. Я уволился из Амазон, почти после 5 лет работы и устроился в Microsoft в Ванкувере, на позицию Senior Data Engineer в gaming. Буду строить платформу данных для студии, которая выпускает Gears of War. Теперь полностью погружаюсь и индустрию игр. Мой старший сын рад больше меня))) Да и мне тоже нравиться.

Но я все еще не люблю Power BI и SSAS кубы. В качестве решения, я хочу использовать Databricks, чтобы создать Delta Lake. В целом мне нравится, что я могу создать impact на студию и построить что-то инновационное для индустрии игр в Microsoft, осталось придумать что и как🙈

PS если есть крутые ресурсы и видосы по теме, кидайте в комменты.

Уже ни раз говорили про DBT tool, инструмент для трансформаций данных (ELT) с помощью SQL. Они получили 2й раунд инвестиций.

Вот и mail.ru выкатил свои облачные сервисы, будет у них вебинар и можно будет сравнить с Яндекс облаком. https://events.webinar.ru/mcs/bigdata1

День про Инжиниринг Данных, должно быть интересно. Как я понял есть доступ на бесплатные доклады, так что обязательно посмотрите, Алексей собрал крутецкие доклады. 😎

Андрей Осипов, в своем канале "Школа бородатого аналитика" публикует как свои материалы (в последнее время больше про bigquery и новую версию google analytics 4), так и интересные и полезные решения в целом, про веб-аналитику и инженеринг данных;

А еще он сделал группу поддержки (https://news.1rj.ru/str/firebase_app_web_bigquery), для тех, кто хочет использовать ga4, firebase analytics и bigquery в своих проектах.

Следом за мной, создатель python тоже устроился в Microsoft 🤗(или наоборот).

Databricks выпустил BI функциональность для своей платформы.

На дворе ноябрь, и многим из нас не хватает теплых летних ночей в лесу вокруг костра ✨

Ребята из ProductStar решили устроить digital-конференцию и воссоздать эту волшебную атмосферу. В чиле спикеров у цифрового костра — тим-лиды Яндекса, HH, SEMrush, DeliveryClub, Skyeng. 30 докладов, круглые столы, работающие инструменты и закрытые группы в чатах. Не хватает только вас 😉

Мероприятие будет полезно всем, кто работает в сфере IT — от новичков до профессионалов. Лучшие практики российских и зарубежных компаний проведут лекции по четырем направлениям:

— Продакт-менеджмент
— Аналитика
— Разработка
— Маркетинг

Кроме того, можно будет поучаствовать в воркшопах, спросить советы о своих проектах и принять участие в нетворкинге!

ProductStar TeamLead Festival пройдет 21 ноября онлайн и будет абсолютно бесплатным!

Не упустите возможность провести время с пользой в приятной компании топовых спикеров!

Больше подробностей по ссылке 👉 https://bit.ly/32Cjfqn

Опубликован список докладов конференции Coalesce (да-да, от тех самых создателей dbt, которые недавно вновь привлекли инвестиции).

Самое время зарегистрироваться и добавить интересующие доклады в свой календарь.

Среди наименований встречаются интересные вещи типа: «Cleaning the fish: A sushi-inspired approach to clean datasets» 🍣🧹📁

Давным давно (в 2010) я нашел курс на русском на Интуите - Проектирование хранилищ данных для приложений систем деловой осведомленности (Business Intelligence Systems). Курс содержит в себе много теории про базы данных, моделирование и особенно полезен если вы планируете строить решения в Microsoft BI и использовать OLAP кубы SSAS (что еще часто бывает требование работодателя на отечественном рынке).

В общем, если учитесь, стоит пролистать лекции, может чего полезного найдете.

Хороший пример создания аналитического решения.

Запись митапа Wrike про Data Egnineering.

Инструментов для интеграции и трансформации данных (ETL/ELT) существует огромное множество. В этом уроке мы рассмотрим самые популярные решения на рынке и разделим их на типы по цене и удобству. В этом видео вы узнаете про:

📌 Типы ETL решений
📌 Квадрант Gartner и Forrester
📌 Gui vs Non-Gui
📌 Коммерческий ETL - Microsoft Integration Services и Informatica Power Center
📌 Open Source ETL - Pentaho, Apache Nifi, Apache Airflow, DBT Tool
📌 Облачный ETL - Matillion, Fivetran, AWS Glue, Azure Data Factory

https://youtu.be/wksfXoeNO7Y

У меня всегда было такое чувство, не знал как правильно словами сказать, а тут хорошо расписали как работает рынок.

В Microsoft проходит внутренняя конференция по ML. Конференция как конференция, куча непонятных штук про ML. А вот, что мне понравилось, что есть сессии для детей и родителей, например построить голосового помощника или собрать Raspberry PI и другое. Я такого вообще никогда не встречал. К сожалению все эти вещи уже booked. Это вообще супер крутая идея для онлайн конференций, организаторам на заметку)

Еще из интересного, у Microsoft есть Garage. То есть это помещение, где стоят станки, 3D принтеры и другое оборудование и все могут приходить и учавствовать и изучать новые вещи, причем с детьми. Конечно сейчас это все онлайн.

Разница в культуре между Амазоном и Майкрософт большая, хотя я тут всего неделю.

Кстати, я нашел крутой ресурс - Space Data Camp для детей и их родителей. Очень рекомендую - английский попрактикуется, с детьми будет чем заняться. И там еще много ресурсов и workshop для детей связанных с ИТ.

Согласно исследованиям MIT Sloan - How to build a data-driven company, главным катализатором является культура компании, культура по работа с данными и общая грамотность (data literacy). Одних дорогих аналитических инструментов и опытных data engineer/scientist/bi недостаточно.

Скоро начнется Data Cloud Summit (Snowflake). Очень рекомендую посмотреть keynote, чтобы понять куда движется индустрия.

Слышали про pseudo code? Это как бы код, но нет код. Отличный вариант, когда не знаем как решить задачу и написать настоящий код. Мы можем нарисовать решение использую псевдокод. Так же работает для собеседований.