Cloud Analytics with Microsoft Azure.pdf
8.8 MB
Книга - Cloud Analytics on Microsoft Azure.
Будет очень в тему если предстоит работать на Azure.
Будет очень в тему если предстоит работать на Azure.
❤🔥42
Forwarded from Data Nature 🕊 (Alex Barakov)
Новый год и новый заход на тему компетенций BI команды
Мы прошли очередной "операционный круг" и созрели для обновления BI Team Upgrade Guide - нашего внутреннего тула для оценки BI аналитиков и гайда для осмысленного саморазвития. Наша старая версия сильно уступала прекрасной Матрице Ромы Бунина, что очевидно недопустимо 😎
Воруют бездарности, гении заимствуют). В итоге мы:
🔹позаимствовали эксель-шаблон с отличным графиком итоговой синьорности
🔹доработали подход с self-assessment идеей - сделали шаблон более компактным за счет выпадающих списков при выборе вариантов ответа
🔹Обновили список скилов, их группировку на актуальные для нашей команды
🔹Ссылки на полезные материалы по скилам обновили и вывели в отдельную секцию "How to develop the skill". Тут удобнее кликать
🔹Добавилась менеджерская вкладка "BI Team overview" (используется отдельно), где сводится общая картина по команде: доменная экспертиза, оценка синьорности по компетенциям, оценка рисков и ценности
🔹ну и да, наш тул на английском
Делюсь этой историей как примером получения реальной пользы от opensource-подхода к инструментам в комьюнити.
Свою версию также шарим на всех. Может кто подхватит и продолжит апгрейд, фидбек-welcomed
Копирайты и слава остаются - revealthedata
👌 Еще полезные решения по теме компетенций в data/BI/Product сфере, которые стоит обозрить если вы делаете подход в вопросу:
🔗 Миро борд компетенций для ролей управления продуктом от Сергея Тихомирова
🔗 Навыки и требования к аналитикам данных на разных уровнях в «Яндексе»
🔗 Карта компетенций РМ от Дмитрия Зиновкина
Мы прошли очередной "операционный круг" и созрели для обновления BI Team Upgrade Guide - нашего внутреннего тула для оценки BI аналитиков и гайда для осмысленного саморазвития. Наша старая версия сильно уступала прекрасной Матрице Ромы Бунина, что очевидно недопустимо 😎
Воруют бездарности, гении заимствуют). В итоге мы:
🔹позаимствовали эксель-шаблон с отличным графиком итоговой синьорности
🔹доработали подход с self-assessment идеей - сделали шаблон более компактным за счет выпадающих списков при выборе вариантов ответа
🔹Обновили список скилов, их группировку на актуальные для нашей команды
🔹Ссылки на полезные материалы по скилам обновили и вывели в отдельную секцию "How to develop the skill". Тут удобнее кликать
🔹Добавилась менеджерская вкладка "BI Team overview" (используется отдельно), где сводится общая картина по команде: доменная экспертиза, оценка синьорности по компетенциям, оценка рисков и ценности
🔹ну и да, наш тул на английском
Делюсь этой историей как примером получения реальной пользы от opensource-подхода к инструментам в комьюнити.
Свою версию также шарим на всех. Может кто подхватит и продолжит апгрейд, фидбек-welcomed
Копирайты и слава остаются - revealthedata
👌 Еще полезные решения по теме компетенций в data/BI/Product сфере, которые стоит обозрить если вы делаете подход в вопросу:
🔗 Миро борд компетенций для ролей управления продуктом от Сергея Тихомирова
🔗 Навыки и требования к аналитикам данных на разных уровнях в «Яндексе»
🔗 Карта компетенций РМ от Дмитрия Зиновкина
❤🔥26🐳1
Наконец-то я закончил замечательную книгу, наверно лучшую в своем роде - Python Crash Course (3rd edition).
Книга состоит из 2х частей:
1) теория + упражнения про обычные питоновские вещи, но все объяснено очень понятным языком (наверно за это очень любят эту книгу). Я давным-давно закончил часть1.
2) а вот 2ю часть все откладывалась. Это набор разных проектов на питоне.
Я загрузил свой код к себе в репо. Так же там есть популярные cheetsheets от автора.
Проекты:
- сделать игру на PyGame, используется много файлов и классов
- визуализация данных с помощью Matplotlib, Plotly, генерация данных
- работа с API на примере GitHub, HackerRank
- достаточно большой проект на Django, в котором будет много HTML.
PyGame и Django мне вряд ли понадобятся, но моя задача просто чаще использовать питон, и эти проекты отлично подошли. Даже промелькнула мысль сделать английскую версию datalearn на django, но быстро ее отбросил.
Следующая книгу по Python - Fluent Python. В ней много базовых вещей, но это как вода, которая должна заполнить пустоты в стакане с песком:)
Что вам еще по питону нравится?
Книга состоит из 2х частей:
1) теория + упражнения про обычные питоновские вещи, но все объяснено очень понятным языком (наверно за это очень любят эту книгу). Я давным-давно закончил часть1.
2) а вот 2ю часть все откладывалась. Это набор разных проектов на питоне.
Я загрузил свой код к себе в репо. Так же там есть популярные cheetsheets от автора.
Проекты:
- сделать игру на PyGame, используется много файлов и классов
- визуализация данных с помощью Matplotlib, Plotly, генерация данных
- работа с API на примере GitHub, HackerRank
- достаточно большой проект на Django, в котором будет много HTML.
PyGame и Django мне вряд ли понадобятся, но моя задача просто чаще использовать питон, и эти проекты отлично подошли. Даже промелькнула мысль сделать английскую версию datalearn на django, но быстро ее отбросил.
Следующая книгу по Python - Fluent Python. В ней много базовых вещей, но это как вода, которая должна заполнить пустоты в стакане с песком:)
Что вам еще по питону нравится?
O’Reilly Online Learning
Python Crash Course, 3rd Edition
Python Crash Course is the world's best-selling guide to the Python guide programming language, with over 1,500,000 copies sold to date! This fast-paced, thorough introduction to... - Selection from Python Crash Course, 3rd Edition [Book]
❤🔥57🐳5
Моя самая любимая картинка - The 2023 MAD (Machine Learning, Artificial Intelligence & Data) Landscape
Почему любимая? Ну потому что очевидно же, чем дальше, тем больше новых инструментов, больше хаоса.
Новичку даже с "пол литра" не въехать в это дело, столько всего надо знать?!
This year, we have a total of 1,416 logos appearing on the landscape. For comparison, there were 139 in our first version in 2012.
С чего начать, как поступить и тп. Именно поэтому такой ресурс как datalearn решает такую проблему, в этом и есть моя сильная сторона, я могу абстрагироваться от этой кучи ярких лого, и рассказывать про суть.
Ссылка на статью https://mattturck.com/mad2023/
Почему любимая? Ну потому что очевидно же, чем дальше, тем больше новых инструментов, больше хаоса.
Новичку даже с "пол литра" не въехать в это дело, столько всего надо знать?!
This year, we have a total of 1,416 logos appearing on the landscape. For comparison, there were 139 in our first version in 2012.
С чего начать, как поступить и тп. Именно поэтому такой ресурс как datalearn решает такую проблему, в этом и есть моя сильная сторона, я могу абстрагироваться от этой кучи ярких лого, и рассказывать про суть.
Ссылка на статью https://mattturck.com/mad2023/
Matt Turck
<strong>The 2023 MAD (Machine Learning, Artificial Intelligence & Data) Landscape</strong>
It has been less than 18 months since we published our last MAD landscape, and it has been full of drama. When we left, the data world was booming in the wake o
🌚9🐳6
‘Tableau has been killed by Salesforce’: Past and current Tableau employees gather at ‘Irish wake’
По заголовку статьи понятно, что табло было лучше, когда это была самостоятельная компания, так же как и BusinessObjects когда-то. Возможно и с Looker похожая история, продукт мекрнет на фоне большой компании, видение размывается, продает фокус.
Хотя с Power BI все наоборот, медлено и верно продукт развивается. Первый раз с ним познакомился в 2015 году, тогда казался каким-то кривым и смешным, а теперь клиенты кешируют сотни гигабайт в Power BI и делают классные дашборды.
Но это мнение сотрудников табло, по себе я сильно заметил как просело сообщество, кол-во крутых визуализаций в linkedin и других классных штук, за что мы все любили продукт.
А вам как кажется? Tableau скатилось на задворки SalesForce или нет?
По заголовку статьи понятно, что табло было лучше, когда это была самостоятельная компания, так же как и BusinessObjects когда-то. Возможно и с Looker похожая история, продукт мекрнет на фоне большой компании, видение размывается, продает фокус.
Хотя с Power BI все наоборот, медлено и верно продукт развивается. Первый раз с ним познакомился в 2015 году, тогда казался каким-то кривым и смешным, а теперь клиенты кешируют сотни гигабайт в Power BI и делают классные дашборды.
Но это мнение сотрудников табло, по себе я сильно заметил как просело сообщество, кол-во крутых визуализаций в linkedin и других классных штук, за что мы все любили продукт.
А вам как кажется? Tableau скатилось на задворки SalesForce или нет?
GeekWire
‘Tableau has been killed by Salesforce’: Past and current Tableau employees gather at ‘Irish wake’
On an otherwise run-of-the-mill weeknight at Fremont Brewing near Lake Union in Seattle, the line for beer stretched past the front doors and into the outdoor seating area. The reason:… Read More
😈7👨💻2
Вчера было небольшое собеседование с компанией https://www.pilotplans.com/about, мне они понравились, что там официально 4 дня рабочая неделя и они про путешествия. Типа chatgpt для планирования путешествия, пока бесплатно и в бете. Они искала дата инженера на небольшие деньги (думал как подработку).
Я реально провтыкал 2 собеседования, но на 3й раз не пропустил. Пообщался с 2мя парнями из Индии, один был одет как в фильмах боливуда. Сюдя по шумам вокруг, они были в эпицентре крупного индийского города🛺
Рассказал им, как я бы делал платформу данных и какие технологии использовал бы. Как на картинке. Так и выглядит современное аналитическое решение🙈
Но ребята реально сами не знают чего им надо, время спрашивали про ML познания, на что я им смело говорил, мне это вообще не интересно, но теорию рассказал. Спрашивали про всякие другие вещи типа web scrapping и NoSql.
Про инвестиции сказали, что их нет, только ангел инвестр. Зато не просили питон писать на white board, а то я уже открыл вкладку chatgpt.
Я реально провтыкал 2 собеседования, но на 3й раз не пропустил. Пообщался с 2мя парнями из Индии, один был одет как в фильмах боливуда. Сюдя по шумам вокруг, они были в эпицентре крупного индийского города🛺
Рассказал им, как я бы делал платформу данных и какие технологии использовал бы. Как на картинке. Так и выглядит современное аналитическое решение🙈
Но ребята реально сами не знают чего им надо, время спрашивали про ML познания, на что я им смело говорил, мне это вообще не интересно, но теорию рассказал. Спрашивали про всякие другие вещи типа web scrapping и NoSql.
Про инвестиции сказали, что их нет, только ангел инвестр. Зато не просили питон писать на white board, а то я уже открыл вкладку chatgpt.
🌚31🐳8🫡7
Подробная инструкция как читать Query Plan в Snowflake.
Один из самых популярных вопросов на собеседовании - как решать проблемы с производительностью запросов (отчетов, дашбордов). И ответ обычно начинается с изучения плана запроса и затем уже решается, что делать - compressions, partitions, indexing, bucketing, sharding и другие вещи, которые делают запросы быстрей.
В каждой базе данных свой запрос (логический план выполнения), и как правило во всех аналитических хранилищах (распределенных системах) очень много схожестей.
Поэтому этот пост будет интересен для всех.
А вы знаете еще ресурсы по оптимизации запросов? Или вопросы с собеседований.
Один из самых популярных вопросов на собеседовании - как решать проблемы с производительностью запросов (отчетов, дашбордов). И ответ обычно начинается с изучения плана запроса и затем уже решается, что делать - compressions, partitions, indexing, bucketing, sharding и другие вещи, которые делают запросы быстрей.
В каждой базе данных свой запрос (логический план выполнения), и как правило во всех аналитических хранилищах (распределенных системах) очень много схожестей.
Поэтому этот пост будет интересен для всех.
А вы знаете еще ресурсы по оптимизации запросов? Или вопросы с собеседований.
select.dev
How to use the Snowflake Query Profile
The Snowflake Query Profile is the single best resource you have to understand how Snowflake is executing your query and learn how to improve it. In this post we cover important topics like how to interpret the Query Profile and the things you should look…
🫡9🐳7❤🔥3💅2🍓1
Вдруг вам скучно!? Самое время выучить Rust для Data Engineering.
🗿19❤🔥12🍌3👻2
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.
Теперь дни быстрого найма будут проходить регулярно. Чтобы вам было удобно следить за расписанием, собрали его на отдельной странице.
Ближайшие мероприятия:
• 4-5 марта — Fast Track для разработчиков пишущих на Python и Java, офер за 2 дня в команду HR Tech Яндекса.
• 4-5 марта — Fast Track для разработчиков пишущих на С++ и Python, офер за 2 дня в команду робототехники Яндекс Маркета.
• 4-5 марта — Fast Track для дата инженеров и разработчиков платформы, аналитиков со знанием Python и SQL, офер за 2 дня в команду DWH Яндекс Маркета.
Зарегистрироваться
#реклама
Теперь дни быстрого найма будут проходить регулярно. Чтобы вам было удобно следить за расписанием, собрали его на отдельной странице.
Ближайшие мероприятия:
• 4-5 марта — Fast Track для разработчиков пишущих на Python и Java, офер за 2 дня в команду HR Tech Яндекса.
• 4-5 марта — Fast Track для разработчиков пишущих на С++ и Python, офер за 2 дня в команду робототехники Яндекс Маркета.
• 4-5 марта — Fast Track для дата инженеров и разработчиков платформы, аналитиков со знанием Python и SQL, офер за 2 дня в команду DWH Яндекс Маркета.
Зарегистрироваться
#реклама
🍌17🐳7🌭7🗿7👻6🌚5🍓1
1. FROM (выбор таблицы)
2. JOIN (комбинация с подходящими по условию данными из других таблиц)
3. WHERE (фильтрация строк)
4. GROUP BY (агрегирование данных)
5. HAVING (фильтрация агрегированных данных)
6. SELECT (возврат результирующего датасета)
7. ORDER BY (упорядочивание датасета)
8. LIMIT (лимитирование датасета)
SQL реально прост и является главным инструментом инженера или аналитика.
Вот например я, одинаково использую SQL в независимости от роли - Staff DE, Sr. DE, DE, BI. Вопрос лишь в том, что я еще использую кроме SQL и насколько могу оптимизировать запросы или писать "чистый" и "читаемый" SQL.
Всем всем всем, кто хочет начать работать с данными, выучите SQL и дальше будет легко.
2. JOIN (комбинация с подходящими по условию данными из других таблиц)
3. WHERE (фильтрация строк)
4. GROUP BY (агрегирование данных)
5. HAVING (фильтрация агрегированных данных)
6. SELECT (возврат результирующего датасета)
7. ORDER BY (упорядочивание датасета)
8. LIMIT (лимитирование датасета)
SQL реально прост и является главным инструментом инженера или аналитика.
Вот например я, одинаково использую SQL в независимости от роли - Staff DE, Sr. DE, DE, BI. Вопрос лишь в том, что я еще использую кроме SQL и насколько могу оптимизировать запросы или писать "чистый" и "читаемый" SQL.
Всем всем всем, кто хочет начать работать с данными, выучите SQL и дальше будет легко.
❤🔥98🐳11🌚1🫡1
Организуйте коллективное использование BI-системы легко и безопасно!
На вебинаре Роман Бунин, BI-евангелист Yandex DataLens и автор Telegram-канала Reveal the Data, поделится паттернами проектирования системы дашбордов и организации контента для компаний разного размера. Разберёт как теорию, так и практические советы по разработке системы отчётности в Yandex DataLens.
Темы для обсуждения:
🔹 права, доступы и сохранение нужного уровня безопасности;
🔹 работа и настройка доступа на уровне строк (RLS) в Yandex DataLens;
🔹 карта и система дашбордов для подразделений;
🔹 типы дашбордов и почему важно их разделять;
🔹 настройка кросс-ссылок между дашбордами;
🔹 будущая система управления контентом.
Участие бесплатное, нужно только ➡️ зарегистрироваться
#реклама
На вебинаре Роман Бунин, BI-евангелист Yandex DataLens и автор Telegram-канала Reveal the Data, поделится паттернами проектирования системы дашбордов и организации контента для компаний разного размера. Разберёт как теорию, так и практические советы по разработке системы отчётности в Yandex DataLens.
Темы для обсуждения:
🔹 права, доступы и сохранение нужного уровня безопасности;
🔹 работа и настройка доступа на уровне строк (RLS) в Yandex DataLens;
🔹 карта и система дашбордов для подразделений;
🔹 типы дашбордов и почему важно их разделять;
🔹 настройка кросс-ссылок между дашбордами;
🔹 будущая система управления контентом.
Участие бесплатное, нужно только ➡️ зарегистрироваться
#реклама
🍌3❤🔥1
Если вы ищете к себе в команду опытного инженера данных, то вот вам отличный кандидат. Мне кажется круче не бывает в этой области. Можете ознакомится с его списком достижений. И несмотря на такой богатый опыт, был сокращен в SalesForce.
Chris K Wensel
Data Architect with 30 year of experience focusing on the intersections of very large data, cloud infrastructure, and machine learning.
👨💻8🍓5🐳1🌚1😈1