Роман подготовил следующий вебинар для вас:

Друзья, новая пушка для вас заряжена!
Во вторник (24.11.2020) в 20:00 по мск для вас вебинар в прямом эфире!
Вы просили практики или реальных кейсов, да не вопрос:)
Тема вебинара: "Как построить систему маркетинговой аналитики на Google Cloud"
План вебинара:
- Архитектура решения и её ключевые элементы;
- На что обратить внимание перед построением решения;
- Преимущества Google BigQuery при построении маркетинговой аналитики;
- Как построить простой ETL с помощью Cloud Functions + Cloud Pub/Sub + Cloud Scheduler + dbt;
- Google Data Studio как средство визуализации данных;
- Пути масштабирования системы.
Спикер: Денис Соловьев.
Денис также является подписчиком нашего канала, который изучает дата инжиниринг и применяет его на практике.
Я увидел его комментарий в телеграмм канале Димы Аношина "Инжиниринг Данных" под одним из постов, плюс многие из вас его также видели и поэтому просили побольше реальных практических разборов и я просто не мог пройти мимо, написал Денису и он согласился поделиться своими знаниями, спасибо ему за это.
Да и вообще спасибо каждому из вас, радует что люди потихоньку перестают прятаться и готовы делиться знаниями среди вас очень много толковых ребят, лично я думаю что все, так что не прячьтесь со временем всех вычислю 🙂
Рекомендации как всегда: ничего не планируйте на вечер, уделите пару часов для пополнения своих знаний и заварите чаек :slightly_smiling_face:
Ну и подписывайтесь на наш ютуб канал, ставьте колокольчик и делитесь видосиками с коллегами и друзьями
https://youtu.be/mqE6Q3WmoCU

Денис Соловьев @ds_im, только что закончил доклад про аналитическое решение в облаке google. Очень крутой и современный доклад, с которым можно выступать на конференции в Америке или Европе. Денис проделал большую работу и теперь может строить масштабируемых и эффективные решения в облаке. Если вы несмотрели доклад, обязательно рекомендую! Запись осталась на ютубе https://youtu.be/mqE6Q3WmoCU

Ещё одно про hr:)

Ура! На AWS появилась возможность запускать пайплайны на Airflow.

Apache Airflow на AWS: https://aws.amazon.com/ru/blogs/aws/introducing-amazon-managed-workflows-for-apache-airflow-mwaa/

А вот и отклик комьюнити на это. Народ уже давно катит бочку на вендоров, что они берут open source, запаковывают его в сервис на облаке, и продают за денежку. То есть как то не комильфо. Макс это один из создателей Airflow и Superset (Preset - это коммерческая версия Superset). Он пишет, ребята, вы конечно молодцы, но вы хоть одну строчку кода там написали или планируете писать...

Всем привет! Я осилил статью на хабр про историю с консалтинг компанией. Это как другая жизнь, в которой не было обычных дом-работа-дом. Work Hard, Have Fun. Это было круто. Я надеюсь, что вам понравиться история, и ответит на разные вопросы, а может кому-то лично поможет. 😊

Классная вакансия https://www.amazon.jobs/en/jobs/1293185/developer-advocate-russia-cis

Обратная сторона облаков https://www.theverge.com/2020/11/25/21719396/amazon-web-services-aws-outage-down-internet

Как написали в комментарие к предыдущему посту - решение в multicloud. Но тут бы с одним облаком разобраться. Можно как вариант в Alibaba дублировать. А в России будет колаб Mail и Yandex или Yandex и Mail, если их Сбер не купит раньше или просто не выкатит свой Sber cloud😜

Re:invent 2020 для GameDev. Я теперь такие ивенты не пропускаю.

С чего начинается (маркетинговая) аналитика…

Пример аналитического решения в статье - Picnic’s Lakeless Data Warehouse

DevOps для решения аналитики это не просто. Требует время, чтобы привыкнуть. Я рад, что сейчас есть возможность использовать Azure DevOps и все data pipelines, таблицы и тп, все в git. Но пока ещё не привык как это все работает. Но это важно и это best practices. Храните ваши SQL и код в git. Сделайте это частью рутины.

А MLOps это ещё сложней. Вот будет вебинарчик с экспертами.

Для datalearn хотим сделать вебинар для новичков про git. Чтобы люди поняли как им пользоваться. На примере простых сценариев, SQL/Python, и объяснить очень простым языком, почему это удобней, чем хранить файлы с v1,v2,v2.1 и тп. Чтобы люди смогли начать использовать это каждый день. Есть желающие?! Напишите @rspon

Так, понятно всем нужен вводный урок по git. Есть ли инструктор, кто сможет рассказать? Пишите @rspon

Про внедрение BI.

Про мировые проблемы и как данные помогают с ними бороться.

Посмотрел доклад по DS от Riot, они делают League of Legends.

Выступает их Principal DS и рассказывает про Churn.

Они создали решение на Databricks. Он сказал “If you layout your data properly - solving questions is very easy”, то есть успех мероприятий по DS зависит напрямую от работы DE. Так же он привел новый для меня термин - Feature Store. Эта область специально для DS, чтобы они могла иметь доступ ко всем features, создавать новые и двигаться быстрей.