Завтра в 4:30 pm по Альберте, расскажу и покажу Snowflake+Tableau для их user group
https://lnkd.in/gNKeHxc
https://lnkd.in/gNKeHxc
Forwarded from Data Apps Design (Artemiy Kzr)
Ура! Новый пост.
2+ года dbt в продакшн в управлении Хранилищем Данных.
- Структура хранилища + бизнес-вертикали
- Оптимизация физического хранения в Redshift
- SQL + Jinja = Flexibility
- Macro: UDF, currency exchange
- Importing modules: calendar, external data, logging
- Deployment with dbt Cloud: Schedule + Webhooks, Slack notifications
Мультитул для управления Хранилищем Данных — кейс Wheely + dbt
2+ года dbt в продакшн в управлении Хранилищем Данных.
- Структура хранилища + бизнес-вертикали
- Оптимизация физического хранения в Redshift
- SQL + Jinja = Flexibility
- Macro: UDF, currency exchange
- Importing modules: calendar, external data, logging
- Deployment with dbt Cloud: Schedule + Webhooks, Slack notifications
Мультитул для управления Хранилищем Данных — кейс Wheely + dbt
Хабр
Мультитул для управления Хранилищем Данных — кейс Wheely + dbt
Уже более двух лет data build tool активно используется в компании Wheely для управления Хранилищем Данных. За это время накоплен немалый опыт, мы на тернистом пути проб и ошибок к совершенству в...
👍1
Forwarded from DataEng
Про data engineering для тех, кто не в теме: https://www.youtube.com/watch?v=qWru-b6m030
Классное вводное видео.
Классное вводное видео.
YouTube
How Data Engineering Works
So, the sole purpose of data engineering is to take data from the source and save it to make it available for analysis. Sounds simple, but it’s the matter of the system that works under the hood.
Watch our video to find out more about data engineering:
00:00…
Watch our video to find out more about data engineering:
00:00…
У Tableau есть свой онлайн магазин, и цены там совсем не высокие. https://bdasites.com/tableau/Main/Default
Конечно заказать в Россию не просто, но наверно возможно, через службы, которые делают вам американский адрес. Я себе маску Data Rock Star заказал, будут теперь из офиса работать, там нужно в маске сидеть.
Конечно заказать в Россию не просто, но наверно возможно, через службы, которые делают вам американский адрес. Я себе маску Data Rock Star заказал, будут теперь из офиса работать, там нужно в маске сидеть.
Анастасия записала урок 2 2го модуля. https://youtu.be/p2R8eK5ljAA
YouTube
ML-101 | Module 02 | Lesson 02 | Regression: Practice | Anastasia Rizzo
Курс Getting Started with Machine Learning and Data Science (ML-101).
В этом уроке мы сделаем практический регрессионный кейс.
⚠️ Для эффективного прохождения курса необходимо зарегистрироваться в Slack (наш чат) и читать гид на Github, в котором рассказывается…
В этом уроке мы сделаем практический регрессионный кейс.
⚠️ Для эффективного прохождения курса необходимо зарегистрироваться в Slack (наш чат) и читать гид на Github, в котором рассказывается…
Уже на следующей неделе пройдет первая в своем роде русскоязычная онлайн-конференция по продуктовой аналитике Aha!'21. Организаторы собрали убедительную программу:
- 20% - про монетизацию: из каких шагов состоит оптимальная воронка активации, как определить шаги (моменты) воронки, применение фреймворка от Reforge на практике и др.
- 20% - технологический стек - от работы с Power BI и Amplitude до Яндекс.Облака и Exasol.
- 20% - эксперименты: оценке долгосрочных эффектов после проведения эксперимента, этапам эволюции in-house системы экспериментов в любой компании, проверке качества систем сплитования трафика и мн. др.
- Много внимания уделено системам автоматического поиска инсайтов в данных, поиску, анализу и автоматизации процесса обнаружения аномалий, как находить инсайты по оптимизации монетизации. После этого, подходы к определению product market fit и обнаружению aha-моментов. Оргам удалось согласовать Q&A-сессию с вице-президентом Sequoia Capital (!!!) - самым успешным венчурным фондом в мире - они то уж точно знают что к чему в деньгах и продуктах + еще десяток тем и дискуссий. Подробная программа конференции.
🔥 Не пропускайте конференцию - промокод - LASTCALL - дает скидку 10% - регистрируйтесь!
❗️Важно! Все материалы — видео, презентации, мастер-классы, доступы в чаты - бессрочно доступны участникам в записи сразу после трансляции. Вещание студийного качества в формате FullHD, с возможностью поставить прямой эфир на паузу и потом ускорить. Если вы пропустили что-то в прямом эфире — не страшно! Вопросы к спикерам собираются в течение 1,5-2 недель и потом проводится общий Q&A Zoom со спикерами.
Помните - ничто не освобождает вас от знания матчасти!
- 20% - про монетизацию: из каких шагов состоит оптимальная воронка активации, как определить шаги (моменты) воронки, применение фреймворка от Reforge на практике и др.
- 20% - технологический стек - от работы с Power BI и Amplitude до Яндекс.Облака и Exasol.
- 20% - эксперименты: оценке долгосрочных эффектов после проведения эксперимента, этапам эволюции in-house системы экспериментов в любой компании, проверке качества систем сплитования трафика и мн. др.
- Много внимания уделено системам автоматического поиска инсайтов в данных, поиску, анализу и автоматизации процесса обнаружения аномалий, как находить инсайты по оптимизации монетизации. После этого, подходы к определению product market fit и обнаружению aha-моментов. Оргам удалось согласовать Q&A-сессию с вице-президентом Sequoia Capital (!!!) - самым успешным венчурным фондом в мире - они то уж точно знают что к чему в деньгах и продуктах + еще десяток тем и дискуссий. Подробная программа конференции.
🔥 Не пропускайте конференцию - промокод - LASTCALL - дает скидку 10% - регистрируйтесь!
❗️Важно! Все материалы — видео, презентации, мастер-классы, доступы в чаты - бессрочно доступны участникам в записи сразу после трансляции. Вещание студийного качества в формате FullHD, с возможностью поставить прямой эфир на паузу и потом ускорить. Если вы пропустили что-то в прямом эфире — не страшно! Вопросы к спикерам собираются в течение 1,5-2 недель и потом проводится общий Q&A Zoom со спикерами.
Помните - ничто не освобождает вас от знания матчасти!
matemarketing.timepad.ru
Aha! Лови момент / События на TimePad.ru
Aha! – международная практическая онлайн-конференция по продвинутой продуктовой аналитике. Среди спикеров конференции представители крупных российских и зарубежных компаний: Avito, Яндекс, Amplitude, Flo, MIRO и др. Целевая аудитория —продуктовые аналитики…
Свежая книга по Data Literacy, 80 баксов за твердый переплет это конечно круто!)) https://www.amazon.com/Be-Data-Literate-Literacy-Everyone/dp/1789668018/?ref_=d6k_applink_bb_marketplace
Ссылки по analytics.
ML:
A Chat with Andrew on MLOps: From Model-centric to Data-centric AI
What is MLOps? Machine Learning Operations Explained
Building a Successful Enterprise AI Platform
Nested Attributes & Functions Operating on Nested Types in PySpark
Data Scientists, don’t worry about data engineering: Viewflow has your back.
DE:
Capturing Every Change From Shopify’s Sharded Monolith
Scaling Data Culture Is a Marathon, Not a Sprint
Taming the Dependency Hell with dbt
Executing a distributed shuffle without a MapReduce system
Interview:
The New York Times is rolling out a new approach to how we hire data analysts.
ML:
A Chat with Andrew on MLOps: From Model-centric to Data-centric AI
What is MLOps? Machine Learning Operations Explained
Building a Successful Enterprise AI Platform
Nested Attributes & Functions Operating on Nested Types in PySpark
Data Scientists, don’t worry about data engineering: Viewflow has your back.
DE:
Capturing Every Change From Shopify’s Sharded Monolith
Scaling Data Culture Is a Marathon, Not a Sprint
Taming the Dependency Hell with dbt
Executing a distributed shuffle without a MapReduce system
Interview:
The New York Times is rolling out a new approach to how we hire data analysts.
Чувак рассказывает про инструменты инженера данных на Azure и про то, как можно их учить бесплатно.
Кстати я продолжаю общаться с разными студиями Xbox, и если Minecraft и Rare (создатели Sea of Thieves) +/- довольны Databricks, но еще далеки от совершенства, то вот Turn 10 (создатели Forza) решили пойти по пути Azure Synapse. Оказывается, когда вышел Synapse, то они выпустили поддержку Delta Lake и Serverless SQL Engines. Пока еще сыровато, но звучит многообещающе. Я больше всего боюсь, что в один прекрасный день, Databricks уйдет из Azure, и останется мне только Synapse. Я очень хочу попробовать кейсы для DataBricks, чтобы запускать ML модели внутри игры в режиме реального времени, пока не знаю, как это работает, но технологии позволяют так делать. Сейчас основной проект это миграция HDInsight (Azure Hadoop)+Hive на Databricks.
Кстати я продолжаю общаться с разными студиями Xbox, и если Minecraft и Rare (создатели Sea of Thieves) +/- довольны Databricks, но еще далеки от совершенства, то вот Turn 10 (создатели Forza) решили пойти по пути Azure Synapse. Оказывается, когда вышел Synapse, то они выпустили поддержку Delta Lake и Serverless SQL Engines. Пока еще сыровато, но звучит многообещающе. Я больше всего боюсь, что в один прекрасный день, Databricks уйдет из Azure, и останется мне только Synapse. Я очень хочу попробовать кейсы для DataBricks, чтобы запускать ML модели внутри игры в режиме реального времени, пока не знаю, как это работает, но технологии позволяют так делать. Сейчас основной проект это миграция HDInsight (Azure Hadoop)+Hive на Databricks.
YouTube
How to become a Data Engineer in 2021 FOR FREE!!!
I run through free tools and resources so you can become a Data Engineer for free!
LINKS:
https://www.kratosbi.com/
MICROSOFT LEARN
https://docs.microsoft.com/en-us/learn/?source=learn
DATA ENGINEERING
https://docs.microsoft.com/en-us/learn/browse/?roles=data…
LINKS:
https://www.kratosbi.com/
MICROSOFT LEARN
https://docs.microsoft.com/en-us/learn/?source=learn
DATA ENGINEERING
https://docs.microsoft.com/en-us/learn/browse/?roles=data…
Выберите fake сертификаты PART 1
Anonymous Poll
21%
SnowPro Core
13%
AWS BigData
8%
AWS Cloud Practioner
30%
DAMA CDMP
16%
Tableau Desktop
16%
Tableau Server
26%
Splunk Sales Eng
25%
Splunk Sales Rep
31%
IBM Sales Mastery
31%
IBM Teleaf
Выберите fake сертификаты Part 2
Anonymous Poll
36%
Pentaho DI
31%
SAP BO
36%
Teradata SQL
25%
Teradata Professional
Продолжаю про ценность сертификатов. У меня по ним примерно такая история:
- SnowPro Core - я даже не пытался, но у меня был купон на бесплатную сдачу. Это вводный экзамен, просто было жалко времени теорию повторять.
- AWS BigData - я прошел все тренинги и лабы, осталось только зубрить теорию бесполезную. Стало жалко времени.
- AWS Cloud Practitioner - я сдавал честно 2 раза, и какждый раз был сбой в программе онлайн экзаменов. 3й раз я просто забил.
- Pentaho DI - я набрал 73%, а нужно было минимум 75%. Пересдавать это уже дорого.
То есть эти 4 fake. Реально для себя я не ощущаю полезности их наличию. Тренинги к подготовке AWS, очень важны и полезны, а вот учить теорию наоборот. Они весят в LinkedIn и больше служат как приманка для рекрутеров. Это как ловить рыбу и вокруг насыпать приманку, чтобы ее привлечь🤫
DAMA CDMP я сдал без подготовки на конференции EDW. Причем там оплачиваете, только если успешно сдали)) Во время сдачи я очень очень быстро делал CNTR+F (search) в книги по подготовке CDMP. Вообще это сертификат какой-то древний, даже нет картинки в Linkedin.
2xTableau я сдал честно, так как нужно было стать партнером Tableau в British Columbia. К сожалению, каждые 2 года они expired. Но реально пользы в них никакой. Больше я знать не стал. Главные знания из практики.
2xSplunk я сдавал в Москве по той же причине, было требование партнерства. Тренинги были крутые, а вот сертификаты бесполезны. В 2016 году меня не взяли в Splunk в Toronto.
Я еще не указал сертификат по Microstrategy. Я его тоже получил честно, тоже бесполезный.
2xIBM тоже было требование партнерства в Москве. Полная профанация. Мне даже ответы дали из IBM😂
SAP BO сдал честно в центре SAP в Москве, было крутое ощущение. Но пользы не было.
2x Teradata сдавал честно, но готовился по dump ответов. Это было необходимо, так как работал в Терадата.
В общем, сертификаты могут быть нужны в следующих случаях:
1. У вас мало или вообще нет опыта, но вам надо показать обратное -> сдавайте сертификат
2. Вы работаете в консалтинге и вам необходим экзамен, так как это требование партнерства. Если все оплачивают и дают время на подготовку, то почему бы и нет.
3. Ваш работодатель оплачивает вам подготовку, экзамены и очень ценит сертификаты на годовой оценке, тогда конечно нужно получить парочку.
Я бы еще мог к себе добавить сертификатов по Azure и Databricks. Может быть добавлю потом. Никто, никогда не попросил меня прислать proof сертификата. Так что смело добавляйте 2-3 к себе по технологиям, которые вы хорошо знаете!
- SnowPro Core - я даже не пытался, но у меня был купон на бесплатную сдачу. Это вводный экзамен, просто было жалко времени теорию повторять.
- AWS BigData - я прошел все тренинги и лабы, осталось только зубрить теорию бесполезную. Стало жалко времени.
- AWS Cloud Practitioner - я сдавал честно 2 раза, и какждый раз был сбой в программе онлайн экзаменов. 3й раз я просто забил.
- Pentaho DI - я набрал 73%, а нужно было минимум 75%. Пересдавать это уже дорого.
То есть эти 4 fake. Реально для себя я не ощущаю полезности их наличию. Тренинги к подготовке AWS, очень важны и полезны, а вот учить теорию наоборот. Они весят в LinkedIn и больше служат как приманка для рекрутеров. Это как ловить рыбу и вокруг насыпать приманку, чтобы ее привлечь🤫
DAMA CDMP я сдал без подготовки на конференции EDW. Причем там оплачиваете, только если успешно сдали)) Во время сдачи я очень очень быстро делал CNTR+F (search) в книги по подготовке CDMP. Вообще это сертификат какой-то древний, даже нет картинки в Linkedin.
2xTableau я сдал честно, так как нужно было стать партнером Tableau в British Columbia. К сожалению, каждые 2 года они expired. Но реально пользы в них никакой. Больше я знать не стал. Главные знания из практики.
2xSplunk я сдавал в Москве по той же причине, было требование партнерства. Тренинги были крутые, а вот сертификаты бесполезны. В 2016 году меня не взяли в Splunk в Toronto.
Я еще не указал сертификат по Microstrategy. Я его тоже получил честно, тоже бесполезный.
2xIBM тоже было требование партнерства в Москве. Полная профанация. Мне даже ответы дали из IBM😂
SAP BO сдал честно в центре SAP в Москве, было крутое ощущение. Но пользы не было.
2x Teradata сдавал честно, но готовился по dump ответов. Это было необходимо, так как работал в Терадата.
В общем, сертификаты могут быть нужны в следующих случаях:
1. У вас мало или вообще нет опыта, но вам надо показать обратное -> сдавайте сертификат
2. Вы работаете в консалтинге и вам необходим экзамен, так как это требование партнерства. Если все оплачивают и дают время на подготовку, то почему бы и нет.
3. Ваш работодатель оплачивает вам подготовку, экзамены и очень ценит сертификаты на годовой оценке, тогда конечно нужно получить парочку.
Я бы еще мог к себе добавить сертификатов по Azure и Databricks. Может быть добавлю потом. Никто, никогда не попросил меня прислать proof сертификата. Так что смело добавляйте 2-3 к себе по технологиям, которые вы хорошо знаете!
Forwarded from Pasha Finkelshteyn
Чатик, а вы знаете про конфу datalove, которая совсем скоро? https://datalove.konfy.care/
И вы только посомтрите какой там лайнап? Я не видел Холден уже больше года, например!
И вы только посомтрите какой там лайнап? Я не видел Холден уже больше года, например!