Forwarded from Data engineering events (Николай Крупий)
Airbyte - move(data) '22
Видео с конференции
https://youtube.com/playlist?list=PLgyvStszwUHjko19Z3PxkBxApbxgVjWp8
https://news.1rj.ru/str/airbyte/50
Видео с конференции
https://youtube.com/playlist?list=PLgyvStszwUHjko19Z3PxkBxApbxgVjWp8
https://news.1rj.ru/str/airbyte/50
👍1
Forwarded from Инжиниринг Данных (Dmitry)
Кратко и по делу https://youtu.be/dBlCzEkqtLM
Если совсем кратко то учиться надо всегда, работать надо много🤓 + забота о здоровье!
Если совсем кратко то учиться надо всегда, работать надо много🤓 + забота о здоровье!
YouTube
Индикатор успеха: Олег Бартунов
Астроном, программист и бизнесмен Олег Бартунов рассказывает о том, куда идти молодому и талантливому, почему наука — только для упорных и как важно не потерять здоровье.
Forwarded from Nikolay Golov
Видео нашего рождественского круглого стола про моделирование данных. Про data mesh и все такое. https://www.youtube.com/watch?v=6GRJ3pyBD1I
YouTube
Data Modeling Meetup Munich: Ghosts of Data Warehousing Past, Present and Future
After the great success of the companion event to this year’s Knowledge Gap data modeling & data architecture conference, we’re organizing another public panel discussion on data warehousing changing over time.
Panelists include Nikolai Golov, Jody Johans…
Panelists include Nikolai Golov, Jody Johans…
Forwarded from Без aspera
Мифы и правда о поиске работы за границей
Это была второй по популярности тема в опросе, так что продолжаем. Извините, если мои тезисы больно бьют, но это так работает. Мы видим эти кейсы сотнями в месяц.
Всегда будут люди, которые скажут, а вот у меня друг подруги мамы сделал вот это, и все у него хорошо. Окей, я тут говорю про большинство и про статистику.
Миф 1: я здесь работал продактом/маркетологом/аналитиком в крупной корпорации. Значит буду работать на Западе CPO/CMO/CAO в международном стартапе.
Реальность: будет даунгрейд и/или переход в no name компанию/стартап на рядовую позицию. Чтобы прийти на повышение на Запад, надо буть ультра звездой в России, и то не факт, что выйдет.
Миф 2: буду расти на Западе так же быстро, как я это делал в России. Через три года буду директором.
Реальность: на Западе всё работает намного медленнее. Люди растут медленнее, топами становятся позже, на пенсию уходят поздно. Зайдите на Link и посмотрите на среднестатистический карьерный трек какого-нибудь VP из FMCG или даже из айти. Люди работают годами и десятками лет в одной компании и нарабатывают репутацию.
Миф 3. Через год буду получать +20-30% от того, что есть сейчас.
Реальность: В Европе (особенно в Великобритании. или Германии, например) не принято повышать зарплату сотруднику год от года. Вы договариваетесь на сумму в оффере и дальше по ней работаете ближайшие годы, пока/если не получите официальное повышение по должности.
Миф 4: получу оффер и перееду через две недели
Реальность: между оффером и вашим выходом на работу может пройти больше полугода.
Миф 5: необязательно знать язык страны, куда переезжаю
Реальность: без знания первого языка страны пробиваться наверх будет крайне сложно. Язык — это часть культуры, шуток, слов между строк. Формально можете знать только английский. Неформально — без языка никогда не стать полностью своим.
Миф 6: работодатель меня перевезет
Реальность: работодателю совсем не в кайф заниматься визами, и это доп.сигнал, чтобы выбрать того кандидата, у которого есть виза (при прочих равных)
Миф 7: за пару месяцев найду работу
Реальность: статистика нашей карьерной поддержки говорит, что поиск работы за рубежом занимает 6-12 месяцев
Миф 8: откликнусь на 100 вакансий, процентов 10 позовут на интервью
Реальность: процент положительного ответа (то есть вас приглашают на следующий этап) равен 1%. То есть, чтобы у вас было 10 приглашений, вам надо откликнуться на 1.000 вакансий, а не на 100.
Миф 9: ладно, на Западе всё сложно, но в ОАЭ и арабском мире, в целом, я буду нарасхват
Реальность: будете, если у вас есть местный знакомый или русский, который вас куда-нибудь посоветует и представит.
Миф 10: переехать можно по любой профессии, если я большой спец
Реальность: релокация открыта для технических специальностей где hard намного важнее soft в ежедневной работе и у которых четко очерчен круг навыков: разрабы, продуктовые аналитики, дата сайнтисты, UX дизайнеры, тестировщики, девопсы, дата инженеры. И, конечно, от уровня middle и выше.
P.S. Кстати, лучший курс по релокации на рынке ждет вас по ссылке на новогодней распродаже🐶
#релокация
Это была второй по популярности тема в опросе, так что продолжаем. Извините, если мои тезисы больно бьют, но это так работает. Мы видим эти кейсы сотнями в месяц.
Всегда будут люди, которые скажут, а вот у меня друг подруги мамы сделал вот это, и все у него хорошо. Окей, я тут говорю про большинство и про статистику.
Миф 1: я здесь работал продактом/маркетологом/аналитиком в крупной корпорации. Значит буду работать на Западе CPO/CMO/CAO в международном стартапе.
Реальность: будет даунгрейд и/или переход в no name компанию/стартап на рядовую позицию. Чтобы прийти на повышение на Запад, надо буть ультра звездой в России, и то не факт, что выйдет.
Миф 2: буду расти на Западе так же быстро, как я это делал в России. Через три года буду директором.
Реальность: на Западе всё работает намного медленнее. Люди растут медленнее, топами становятся позже, на пенсию уходят поздно. Зайдите на Link и посмотрите на среднестатистический карьерный трек какого-нибудь VP из FMCG или даже из айти. Люди работают годами и десятками лет в одной компании и нарабатывают репутацию.
Миф 3. Через год буду получать +20-30% от того, что есть сейчас.
Реальность: В Европе (особенно в Великобритании. или Германии, например) не принято повышать зарплату сотруднику год от года. Вы договариваетесь на сумму в оффере и дальше по ней работаете ближайшие годы, пока/если не получите официальное повышение по должности.
Миф 4: получу оффер и перееду через две недели
Реальность: между оффером и вашим выходом на работу может пройти больше полугода.
Миф 5: необязательно знать язык страны, куда переезжаю
Реальность: без знания первого языка страны пробиваться наверх будет крайне сложно. Язык — это часть культуры, шуток, слов между строк. Формально можете знать только английский. Неформально — без языка никогда не стать полностью своим.
Миф 6: работодатель меня перевезет
Реальность: работодателю совсем не в кайф заниматься визами, и это доп.сигнал, чтобы выбрать того кандидата, у которого есть виза (при прочих равных)
Миф 7: за пару месяцев найду работу
Реальность: статистика нашей карьерной поддержки говорит, что поиск работы за рубежом занимает 6-12 месяцев
Миф 8: откликнусь на 100 вакансий, процентов 10 позовут на интервью
Реальность: процент положительного ответа (то есть вас приглашают на следующий этап) равен 1%. То есть, чтобы у вас было 10 приглашений, вам надо откликнуться на 1.000 вакансий, а не на 100.
Миф 9: ладно, на Западе всё сложно, но в ОАЭ и арабском мире, в целом, я буду нарасхват
Реальность: будете, если у вас есть местный знакомый или русский, который вас куда-нибудь посоветует и представит.
Миф 10: переехать можно по любой профессии, если я большой спец
Реальность: релокация открыта для технических специальностей где hard намного важнее soft в ежедневной работе и у которых четко очерчен круг навыков: разрабы, продуктовые аналитики, дата сайнтисты, UX дизайнеры, тестировщики, девопсы, дата инженеры. И, конечно, от уровня middle и выше.
P.S. Кстати, лучший курс по релокации на рынке ждет вас по ссылке на новогодней распродаже
#релокация
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from Reveal the Data
Три года назад я придумал сделать шаблон сбора требований для дашборда. За это время его использовали много раз, а видео с рассказом про него на канале DataLearn от Димы Аношина посмотрели более 20 тысяч раз. За это время я получил много обратной связи и сам часто использовал шаблон, поэтому смог конструктивно его улучшить. Представляю новую версию!
Подробно, почему он стал таким, я недавно рассказал на конференции Flow, 👉 вот запись 👈, получилась интересная история развития фреймворка. Спасибо организаторам, они согласились выложить доклад в общий доступ сильно раньше, чем планировали.
А вот ссылка на Miro, где теперь есть инструкция, примеры и новая версия в pptx (ещё приложу её в комментарии). Совместно с идеей построения карты дашбордов получается полноценный алгоритм построения системы дашбордов в компании. Делитесь обратной связью и используйте в работе!
@revealthedata
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Роман Бунин — Dashboard Canvas 2.0
Подробнее о конференции Flow: https://jrg.su/CAm5kF
— —
Проектирование дашбордов — дисциплина на стыке аналитики и дизайна. Роман не верит в процесс, когда заказчик дашборда сам составляет ТЗ для разработчика, ведь в итоге разработчик становится просто «руками».…
— —
Проектирование дашбордов — дисциплина на стыке аналитики и дизайна. Роман не верит в процесс, когда заказчик дашборда сам составляет ТЗ для разработчика, ведь в итоге разработчик становится просто «руками».…
Forwarded from Инжиниринг Данных (Dmitry)
На Хабре вышла статья о разных способах развёртывания Apache Superset (Docker, ВМ, Kubernetes). Автор рассказал обо всех плюсах и минусах и поделился подробной инструкцией на примере облака VK Cloud.
Это очень актуально, учитывая вставшую перед компаниями задачу по полному перестраиванию системы бизнес-аналитики. В современных реалиях развитие BI-решений российских вендоров осуществляются максимально быстро и качественно. У них есть лицензионная поддержка, регулярные обновления и возможность влиять на roadmap.
Читать
#реклама
Это очень актуально, учитывая вставшую перед компаниями задачу по полному перестраиванию системы бизнес-аналитики. В современных реалиях развитие BI-решений российских вендоров осуществляются максимально быстро и качественно. У них есть лицензионная поддержка, регулярные обновления и возможность влиять на roadmap.
Читать
#реклама
Очень неплохая статья на английском для тех, кто хочет погрузиться в основное различие Data Vault 1 и Data Vault 2 - использование hash ключей. Разобраны вероятности появления коллизий, способы обхода и много всего интересного https://www.just-bi.nl/talk-about-data-vault-2-0/
Just - BI
Do we still need to talk about Data Vault 2.0 Hash keys? - Just - BI
Do we still need to talk about Data Vault 2.0 Hash keys? Read in 15 min A few days ago, I ran into the article “Hash Keys In The Data Vault”, published recently (2017-04-28) on the the Scalefree Company blog. Scalefree is a company, founded by Dan Linstedt…
Начался data engineering zoomcamp https://www.youtube.com/watch?v=-zpVha7bw5A
YouTube
Data Engineering Zoomcamp 2023
Free data engineering course: https://github.com/DataTalksClub/data-engineering-zoomcamp
🔗 CONNECT WITH DataTalksClub
Join the community - https://datatalks-club.slack.com/join/shared_invite/zt-2hu0sjeic-ESN7uHt~aVWc8tD3PefSlA#/shared-invite/email
Subscribe…
🔗 CONNECT WITH DataTalksClub
Join the community - https://datatalks-club.slack.com/join/shared_invite/zt-2hu0sjeic-ESN7uHt~aVWc8tD3PefSlA#/shared-invite/email
Subscribe…
Forwarded from 🦦
Отличный доклад, особенно будет полезен джунам и мидлам https://youtu.be/UNMF5AS4SLg
YouTube
"Expert Software Developers' Approach to Error" by Marian Petre (Strange Loop 2022)
Drawing on decades of research with professional software developers, this talk will summarise insights about how experts and high-performing teams use 'error as opportunity' – leading to better software.
Marian Petre
Centre for Research in Computing, The…
Marian Petre
Centre for Research in Computing, The…
Forwarded from Время Валеры
Мой друг Игорь написал подробную статью про ChatGPT - которая скорее является полноценным обзором, который зайдет как новичкам, так и спецам. Советую прочитать
Еще у него есть Телеграм Канал, но это уже на ваш страх и риск
Еще у него есть Телеграм Канал, но это уже на ваш страх и риск
Хабр
ChatGPT как инструмент для поиска: решаем основную проблему
Вышедшая чуть больше месяца назад ChatGPT уже успела нашуметь: школьникам в Нью-Йорке запрещают использовать нейросеть в качестве помощника, её же ответы теперь не принимаются на StackOverflow, а...
Forwarded from Инжиниринг Данных (Dmitry)
Если вы только начинаете работать с Microsoft Azure, то вот вам отличная подборка про продукты Azure для аналитики:
Основной продукт это Synapse Analytics, внутри вы найдете все основные сервисы:
- Serverless SQL (аналог Amazon Athena)
- Dedicated SQL Pool (MPP SQL хранилище данных, аналог Redshift)
- Azure Data Explorer (возможно ближайший это ElasticSearch и Splunk)
- Power BI
- Spark Pool (аналог databricks) и замена Azure Databricks
- Synapse ML notebooks (аналог Spark MLlib) и как замена Azure ML
- Azure DevOps (аналог GitHub, Gitlab)
- Azure Data Factory (аналог Airflow, выполняет задачи оркестратора, есть UI или код)
Вот вводные видео:
Synapse Serverless и Synapse Dedicated:
🛵Synapse Espresso: Introduction into Synapse - Serverless SQL Pools
🛵Synapse Espresso: Introduction to Dedicated SQL Pools
🛵Azure Synapse Serverless vs Dedicated SQL Pool
🛵Azure Synapse Analytics - Source Control with Git Integration
Delta Lake (Lakehouse):
🛵Delta Tables 101: What is a delta table? And how to build one?
🛵Synapse Espresso: Introduction to Delta Tables
🛵What is this delta lake thing?
🛵Explaining what a Lakehouse is!
🛵Get started with SPARK in Azure Synapse Analytics
🛵Talking DATA end to end with Buck Woody
Azure Data Explorer (Kusto):
🛵What is Azure Data Explorer (ADX, aka Kusto) ?
🛵FAST - Billions of rows with Azure Data Explorer (ADX)
🛵How to start with KQL?
🛵KQL - The Next Query Language You Need to Learn | Data Exposed: MVP Edition
Azure Data Factory (ELT)
🛵Introduction to Azure Data Factory
BI слой:
🛵What is Power BI?
🛵An introduction to Azure Analysis Services
ML:
🛵Machine Learning Experiences in Azure Synapse
🛵Machine learning with Apache Spark | Machine 🛵Learning Essentials
🛵Introduction To MLflow-An Open Source Platform for the Machine Learning Lifecycle
🛵Introduction to SynapseML
Задача Microsoft интегрировать все решения в единый интерфейс и возможно скоро мы узнаем про новый продукт🛺
Основной продукт это Synapse Analytics, внутри вы найдете все основные сервисы:
- Serverless SQL (аналог Amazon Athena)
- Dedicated SQL Pool (MPP SQL хранилище данных, аналог Redshift)
- Azure Data Explorer (возможно ближайший это ElasticSearch и Splunk)
- Power BI
- Spark Pool (аналог databricks) и замена Azure Databricks
- Synapse ML notebooks (аналог Spark MLlib) и как замена Azure ML
- Azure DevOps (аналог GitHub, Gitlab)
- Azure Data Factory (аналог Airflow, выполняет задачи оркестратора, есть UI или код)
Вот вводные видео:
Synapse Serverless и Synapse Dedicated:
🛵Synapse Espresso: Introduction into Synapse - Serverless SQL Pools
🛵Synapse Espresso: Introduction to Dedicated SQL Pools
🛵Azure Synapse Serverless vs Dedicated SQL Pool
🛵Azure Synapse Analytics - Source Control with Git Integration
Delta Lake (Lakehouse):
🛵Delta Tables 101: What is a delta table? And how to build one?
🛵Synapse Espresso: Introduction to Delta Tables
🛵What is this delta lake thing?
🛵Explaining what a Lakehouse is!
🛵Get started with SPARK in Azure Synapse Analytics
🛵Talking DATA end to end with Buck Woody
Azure Data Explorer (Kusto):
🛵What is Azure Data Explorer (ADX, aka Kusto) ?
🛵FAST - Billions of rows with Azure Data Explorer (ADX)
🛵How to start with KQL?
🛵KQL - The Next Query Language You Need to Learn | Data Exposed: MVP Edition
Azure Data Factory (ELT)
🛵Introduction to Azure Data Factory
BI слой:
🛵What is Power BI?
🛵An introduction to Azure Analysis Services
ML:
🛵Machine Learning Experiences in Azure Synapse
🛵Machine learning with Apache Spark | Machine 🛵Learning Essentials
🛵Introduction To MLflow-An Open Source Platform for the Machine Learning Lifecycle
🛵Introduction to SynapseML
Задача Microsoft интегрировать все решения в единый интерфейс и возможно скоро мы узнаем про новый продукт🛺
Forwarded from Yandex Cloud: Data Platform
Приглашаем на вебинар «Как готовить данные в Greenplum®»
🗓 Когда: 7 февраля в 12:00 (МСК)
Архитектор Yandex Cloud расскажет о том:
🔹как выбрать оптимальную модель данных для хранилища;
🔹как хранить, загружать и обрабатывать данные в Greenplum: heap и append-optimized таблицы, индексы, сжатие, партицирование и шардирование данных, подключение к внешним источникам с помощью механизма PXF;
🔹как выявлять типовые проблемы производительности: анализ мониторинга и настроек кластера, чтение и анализ планов запросов;
🔹как оптимизировать производительность;
🔹как выполнять обслуживание кластера Greenplum.
Также спикер проведёт короткую Q&A-сессию. Присылайте вопросы в чат трансляции — спикер ответит на них в прямом эфире.
Участие бесплатное.
➡️ Регистрируйтесь
🗓 Когда: 7 февраля в 12:00 (МСК)
Архитектор Yandex Cloud расскажет о том:
🔹как выбрать оптимальную модель данных для хранилища;
🔹как хранить, загружать и обрабатывать данные в Greenplum: heap и append-optimized таблицы, индексы, сжатие, партицирование и шардирование данных, подключение к внешним источникам с помощью механизма PXF;
🔹как выявлять типовые проблемы производительности: анализ мониторинга и настроек кластера, чтение и анализ планов запросов;
🔹как оптимизировать производительность;
🔹как выполнять обслуживание кластера Greenplum.
Также спикер проведёт короткую Q&A-сессию. Присылайте вопросы в чат трансляции — спикер ответит на них в прямом эфире.
Участие бесплатное.
➡️ Регистрируйтесь
Forwarded from Data People
GlowByte приглашает всех 16 февраля на первый митап Data people junior 2023!
Место проведения: Нижний Сусальный переулок, дом 5с19
На митапе мы выясним, что же удобнее для работы с данными?
Михаил Жиляков расскажет о противостоянии “Pandas vs. SQL”. Обсудим особенности работы с этими технологиями, и разберем на примерах какие ошибки часто встречаются.
А специалист по работе с персоналом Марина Сухоруких раскроет непростую тему: "Подготовиться нельзя проиграть - куда ты поставишь запятую?", где обсудим, как подготовиться к собеседованию так, чтобы тебя запомнили и пригласили на следующий этап!
И завершим наш вечер вкусным мексиканским фуршетом и теплым общением со специалистами компании GlowByte
Вход свободный по регистрации ✔️
Место проведения: Нижний Сусальный переулок, дом 5с19
На митапе мы выясним, что же удобнее для работы с данными?
Михаил Жиляков расскажет о противостоянии “Pandas vs. SQL”. Обсудим особенности работы с этими технологиями, и разберем на примерах какие ошибки часто встречаются.
А специалист по работе с персоналом Марина Сухоруких раскроет непростую тему: "Подготовиться нельзя проиграть - куда ты поставишь запятую?", где обсудим, как подготовиться к собеседованию так, чтобы тебя запомнили и пригласили на следующий этап!
И завершим наш вечер вкусным мексиканским фуршетом и теплым общением со специалистами компании GlowByte
Вход свободный по регистрации ✔️
datapeople.ru
Data People Junior, 16 февраля 2023
Yandex Cloud: Data Platform
Приглашаем на вебинар «Как готовить данные в Greenplum®» 🗓 Когда: 7 февраля в 12:00 (МСК) Архитектор Yandex Cloud расскажет о том: 🔹как выбрать оптимальную модель данных для хранилища; 🔹как хранить, загружать и обрабатывать данные в Greenplum: heap и append…
Можно сейчас посмотреть трансляцию или потом запись https://www.youtube.com/watch?v=70PdnQEklG0
YouTube
Как готовить данные в Greenplum®
Yandex Managed Service for Greenplum® позволяет быстро развернуть и настроить кластер Greenplum, готовый для создания корпоративного хранилища данных (DWH). Однако, при проектировании DWH важно учитывать особенности СУБД и руководствоваться общепринятыми…
Крайне занимательная статья про бэкапирование MS SQL Server, который работает в Always On режиме, из неё можно узнать, например, что:
1) Если делать бэкапы с Secondary сервера, то его нужно лицензировать.
2) С Secondary сервера нельзя делать differential бэкапы, потому что для них нужен NON-COPY-ONLY основной бэкап
3) Все сервера в Always On кластере знают о точке, от которой делался бэкап транзакционного лога, так что если делать его на Primary и Secondary серверах, то они будут в шахматном порядке.
https://www.tallan.com/blog/2018/06/06/alwayson-backup-and-other-tips
1) Если делать бэкапы с Secondary сервера, то его нужно лицензировать.
2) С Secondary сервера нельзя делать differential бэкапы, потому что для них нужен NON-COPY-ONLY основной бэкап
3) Все сервера в Always On кластере знают о точке, от которой делался бэкап транзакционного лога, так что если делать его на Primary и Secondary серверах, то они будут в шахматном порядке.
https://www.tallan.com/blog/2018/06/06/alwayson-backup-and-other-tips
Tallan
AlwaysOn Backup and Other Tips | Tallan
Introduction SQL Server’s AlwaysOn technology (available since SQL Server 2012) provides high-availability and disaster-recovery database functionality which largely supplants mirroring and log-shipping – in fact, mirroring is now deprecated. Exactly what…
Заголовок кликбейтный, конечно, нужно будет почитать https://motherduck.com/blog/big-data-is-dead/
MotherDuck
Big Data is Dead - MotherDuck Blog
Big data is dead. Long live easy data.