Forwarded from Sergey Ufocoder
https://www.techinterviewhandbook.org/grind75
https://neetcode.io/practice
UPD:
У neetcode есть еще ютуб канал, там много чего еще интересного есть, видео про system design, например
https://neetcode.io/practice
UPD:
У neetcode есть еще ютуб канал, там много чего еще интересного есть, видео про system design, например
www.techinterviewhandbook.org
Grind 75 - A better Blind 75 you can customize, by the author of Blind 75
Grind 75 is a better version of Blind 75 which goes beyond 75 questions. You can customize the available time you have, difficulty, topics, etc. The possibilities are endless.
бесплатные курсы от Яндекс Облака https://cloud.yandex.ru/training/training-pro
yandex.cloud
Курсы по Cloud Base, ML & AI, DevOps, Data, Business & Management и Security
Помогаем специалистам быстро освоить новые инструменты и внедрить технологии, а менеджерам и руководителям — улучшить процессы и эффективно управлять командой.
Forwarded from SmartData — конференция по инженерии данных
Cоздание сквозных логов, настройка ETL в Apache NiFi и конфигурация Apache Flink. Обсудим инструменты дата-инженера на бесплатном митапе от билайна при поддержке JUG Ru Group.
20 декабря, 17:00, онлайн, бесплатно.
В программе:
— Сергей Евсеев — «Как настроить ETL с JSON'ами в Apache NiFi». Сергей расскажет, как в Apache NiFi настроить пайплайн трансформации и сохранения JSON в хранилище данных и как с помощью Jolt и Avro уменьшить время и трудозатраты на его построение.
— Никита Хилов — «Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами Airflow». Организовать систему пользовательских логов для периодических процессов несложно. Сложнее, когда ключ прекращает быть однозначным идентификатором процесса расчета. Никита расскажет, почему так бывает и как в команде создавали сквозные пользовательские логи в продукте.
— Александр Булатов — «Apache Flink: Flink Table API & SQL». Александр расскажет, что такое Table API в Apache Flink, как выглядит создание Source и Sink для Table API & SQL и как Table API взаимодействует с DataStream API.
После каждого доклада вы сможете подискутировать с другими участниками и задать вопросы спикерам. Авторы лучших вопросов получат в подарок мерч от билайна — классные поясные сумки.
Регистрируйтесь и участвуйте — это бесплатно.
20 декабря, 17:00, онлайн, бесплатно.
В программе:
— Сергей Евсеев — «Как настроить ETL с JSON'ами в Apache NiFi». Сергей расскажет, как в Apache NiFi настроить пайплайн трансформации и сохранения JSON в хранилище данных и как с помощью Jolt и Avro уменьшить время и трудозатраты на его построение.
— Никита Хилов — «Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами Airflow». Организовать систему пользовательских логов для периодических процессов несложно. Сложнее, когда ключ прекращает быть однозначным идентификатором процесса расчета. Никита расскажет, почему так бывает и как в команде создавали сквозные пользовательские логи в продукте.
— Александр Булатов — «Apache Flink: Flink Table API & SQL». Александр расскажет, что такое Table API в Apache Flink, как выглядит создание Source и Sink для Table API & SQL и как Table API взаимодействует с DataStream API.
После каждого доклада вы сможете подискутировать с другими участниками и задать вопросы спикерам. Авторы лучших вопросов получат в подарок мерч от билайна — классные поясные сумки.
Регистрируйтесь и участвуйте — это бесплатно.
Forwarded from karpov.courses
Вы интересовались, когда выйдет Симулятор SQL, а мы обещали запустить его до Нового года. Хорошие новости: этот день наступил!
Симулятор будет полезен всем, кто работает или планирует работать с данными: от аналитиков и менеджеров до тестировщиков и разработчиков. Вы будете решать задачи на реальной инфраструктуре, составлять запросы к базе данных PostgreSQL, строить дашборды в Redash, а также проверять гипотезы и рассчитывать продуктовые метрики (и это далеко не всё!).
Знакомьтесь с программой и присоединяйтесь :)
Симулятор будет полезен всем, кто работает или планирует работать с данными: от аналитиков и менеджеров до тестировщиков и разработчиков. Вы будете решать задачи на реальной инфраструктуре, составлять запросы к базе данных PostgreSQL, строить дашборды в Redash, а также проверять гипотезы и рассчитывать продуктовые метрики (и это далеко не всё!).
Знакомьтесь с программой и присоединяйтесь :)
Forwarded from Data engineering events (Николай Крупий)
Airbyte - move(data) '22
Видео с конференции
https://youtube.com/playlist?list=PLgyvStszwUHjko19Z3PxkBxApbxgVjWp8
https://news.1rj.ru/str/airbyte/50
Видео с конференции
https://youtube.com/playlist?list=PLgyvStszwUHjko19Z3PxkBxApbxgVjWp8
https://news.1rj.ru/str/airbyte/50
👍1
Forwarded from Инжиниринг Данных (Dmitry)
Кратко и по делу https://youtu.be/dBlCzEkqtLM
Если совсем кратко то учиться надо всегда, работать надо много🤓 + забота о здоровье!
Если совсем кратко то учиться надо всегда, работать надо много🤓 + забота о здоровье!
YouTube
Индикатор успеха: Олег Бартунов
Астроном, программист и бизнесмен Олег Бартунов рассказывает о том, куда идти молодому и талантливому, почему наука — только для упорных и как важно не потерять здоровье.
Forwarded from Nikolay Golov
Видео нашего рождественского круглого стола про моделирование данных. Про data mesh и все такое. https://www.youtube.com/watch?v=6GRJ3pyBD1I
YouTube
Data Modeling Meetup Munich: Ghosts of Data Warehousing Past, Present and Future
After the great success of the companion event to this year’s Knowledge Gap data modeling & data architecture conference, we’re organizing another public panel discussion on data warehousing changing over time.
Panelists include Nikolai Golov, Jody Johans…
Panelists include Nikolai Golov, Jody Johans…
Forwarded from Без aspera
Мифы и правда о поиске работы за границей
Это была второй по популярности тема в опросе, так что продолжаем. Извините, если мои тезисы больно бьют, но это так работает. Мы видим эти кейсы сотнями в месяц.
Всегда будут люди, которые скажут, а вот у меня друг подруги мамы сделал вот это, и все у него хорошо. Окей, я тут говорю про большинство и про статистику.
Миф 1: я здесь работал продактом/маркетологом/аналитиком в крупной корпорации. Значит буду работать на Западе CPO/CMO/CAO в международном стартапе.
Реальность: будет даунгрейд и/или переход в no name компанию/стартап на рядовую позицию. Чтобы прийти на повышение на Запад, надо буть ультра звездой в России, и то не факт, что выйдет.
Миф 2: буду расти на Западе так же быстро, как я это делал в России. Через три года буду директором.
Реальность: на Западе всё работает намного медленнее. Люди растут медленнее, топами становятся позже, на пенсию уходят поздно. Зайдите на Link и посмотрите на среднестатистический карьерный трек какого-нибудь VP из FMCG или даже из айти. Люди работают годами и десятками лет в одной компании и нарабатывают репутацию.
Миф 3. Через год буду получать +20-30% от того, что есть сейчас.
Реальность: В Европе (особенно в Великобритании. или Германии, например) не принято повышать зарплату сотруднику год от года. Вы договариваетесь на сумму в оффере и дальше по ней работаете ближайшие годы, пока/если не получите официальное повышение по должности.
Миф 4: получу оффер и перееду через две недели
Реальность: между оффером и вашим выходом на работу может пройти больше полугода.
Миф 5: необязательно знать язык страны, куда переезжаю
Реальность: без знания первого языка страны пробиваться наверх будет крайне сложно. Язык — это часть культуры, шуток, слов между строк. Формально можете знать только английский. Неформально — без языка никогда не стать полностью своим.
Миф 6: работодатель меня перевезет
Реальность: работодателю совсем не в кайф заниматься визами, и это доп.сигнал, чтобы выбрать того кандидата, у которого есть виза (при прочих равных)
Миф 7: за пару месяцев найду работу
Реальность: статистика нашей карьерной поддержки говорит, что поиск работы за рубежом занимает 6-12 месяцев
Миф 8: откликнусь на 100 вакансий, процентов 10 позовут на интервью
Реальность: процент положительного ответа (то есть вас приглашают на следующий этап) равен 1%. То есть, чтобы у вас было 10 приглашений, вам надо откликнуться на 1.000 вакансий, а не на 100.
Миф 9: ладно, на Западе всё сложно, но в ОАЭ и арабском мире, в целом, я буду нарасхват
Реальность: будете, если у вас есть местный знакомый или русский, который вас куда-нибудь посоветует и представит.
Миф 10: переехать можно по любой профессии, если я большой спец
Реальность: релокация открыта для технических специальностей где hard намного важнее soft в ежедневной работе и у которых четко очерчен круг навыков: разрабы, продуктовые аналитики, дата сайнтисты, UX дизайнеры, тестировщики, девопсы, дата инженеры. И, конечно, от уровня middle и выше.
P.S. Кстати, лучший курс по релокации на рынке ждет вас по ссылке на новогодней распродаже🐶
#релокация
Это была второй по популярности тема в опросе, так что продолжаем. Извините, если мои тезисы больно бьют, но это так работает. Мы видим эти кейсы сотнями в месяц.
Всегда будут люди, которые скажут, а вот у меня друг подруги мамы сделал вот это, и все у него хорошо. Окей, я тут говорю про большинство и про статистику.
Миф 1: я здесь работал продактом/маркетологом/аналитиком в крупной корпорации. Значит буду работать на Западе CPO/CMO/CAO в международном стартапе.
Реальность: будет даунгрейд и/или переход в no name компанию/стартап на рядовую позицию. Чтобы прийти на повышение на Запад, надо буть ультра звездой в России, и то не факт, что выйдет.
Миф 2: буду расти на Западе так же быстро, как я это делал в России. Через три года буду директором.
Реальность: на Западе всё работает намного медленнее. Люди растут медленнее, топами становятся позже, на пенсию уходят поздно. Зайдите на Link и посмотрите на среднестатистический карьерный трек какого-нибудь VP из FMCG или даже из айти. Люди работают годами и десятками лет в одной компании и нарабатывают репутацию.
Миф 3. Через год буду получать +20-30% от того, что есть сейчас.
Реальность: В Европе (особенно в Великобритании. или Германии, например) не принято повышать зарплату сотруднику год от года. Вы договариваетесь на сумму в оффере и дальше по ней работаете ближайшие годы, пока/если не получите официальное повышение по должности.
Миф 4: получу оффер и перееду через две недели
Реальность: между оффером и вашим выходом на работу может пройти больше полугода.
Миф 5: необязательно знать язык страны, куда переезжаю
Реальность: без знания первого языка страны пробиваться наверх будет крайне сложно. Язык — это часть культуры, шуток, слов между строк. Формально можете знать только английский. Неформально — без языка никогда не стать полностью своим.
Миф 6: работодатель меня перевезет
Реальность: работодателю совсем не в кайф заниматься визами, и это доп.сигнал, чтобы выбрать того кандидата, у которого есть виза (при прочих равных)
Миф 7: за пару месяцев найду работу
Реальность: статистика нашей карьерной поддержки говорит, что поиск работы за рубежом занимает 6-12 месяцев
Миф 8: откликнусь на 100 вакансий, процентов 10 позовут на интервью
Реальность: процент положительного ответа (то есть вас приглашают на следующий этап) равен 1%. То есть, чтобы у вас было 10 приглашений, вам надо откликнуться на 1.000 вакансий, а не на 100.
Миф 9: ладно, на Западе всё сложно, но в ОАЭ и арабском мире, в целом, я буду нарасхват
Реальность: будете, если у вас есть местный знакомый или русский, который вас куда-нибудь посоветует и представит.
Миф 10: переехать можно по любой профессии, если я большой спец
Реальность: релокация открыта для технических специальностей где hard намного важнее soft в ежедневной работе и у которых четко очерчен круг навыков: разрабы, продуктовые аналитики, дата сайнтисты, UX дизайнеры, тестировщики, девопсы, дата инженеры. И, конечно, от уровня middle и выше.
P.S. Кстати, лучший курс по релокации на рынке ждет вас по ссылке на новогодней распродаже
#релокация
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from Reveal the Data
Три года назад я придумал сделать шаблон сбора требований для дашборда. За это время его использовали много раз, а видео с рассказом про него на канале DataLearn от Димы Аношина посмотрели более 20 тысяч раз. За это время я получил много обратной связи и сам часто использовал шаблон, поэтому смог конструктивно его улучшить. Представляю новую версию!
Подробно, почему он стал таким, я недавно рассказал на конференции Flow, 👉 вот запись 👈, получилась интересная история развития фреймворка. Спасибо организаторам, они согласились выложить доклад в общий доступ сильно раньше, чем планировали.
А вот ссылка на Miro, где теперь есть инструкция, примеры и новая версия в pptx (ещё приложу её в комментарии). Совместно с идеей построения карты дашбордов получается полноценный алгоритм построения системы дашбордов в компании. Делитесь обратной связью и используйте в работе!
@revealthedata
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Роман Бунин — Dashboard Canvas 2.0
Подробнее о конференции Flow: https://jrg.su/CAm5kF
— —
Проектирование дашбордов — дисциплина на стыке аналитики и дизайна. Роман не верит в процесс, когда заказчик дашборда сам составляет ТЗ для разработчика, ведь в итоге разработчик становится просто «руками».…
— —
Проектирование дашбордов — дисциплина на стыке аналитики и дизайна. Роман не верит в процесс, когда заказчик дашборда сам составляет ТЗ для разработчика, ведь в итоге разработчик становится просто «руками».…
Forwarded from Инжиниринг Данных (Dmitry)
На Хабре вышла статья о разных способах развёртывания Apache Superset (Docker, ВМ, Kubernetes). Автор рассказал обо всех плюсах и минусах и поделился подробной инструкцией на примере облака VK Cloud.
Это очень актуально, учитывая вставшую перед компаниями задачу по полному перестраиванию системы бизнес-аналитики. В современных реалиях развитие BI-решений российских вендоров осуществляются максимально быстро и качественно. У них есть лицензионная поддержка, регулярные обновления и возможность влиять на roadmap.
Читать
#реклама
Это очень актуально, учитывая вставшую перед компаниями задачу по полному перестраиванию системы бизнес-аналитики. В современных реалиях развитие BI-решений российских вендоров осуществляются максимально быстро и качественно. У них есть лицензионная поддержка, регулярные обновления и возможность влиять на roadmap.
Читать
#реклама
Очень неплохая статья на английском для тех, кто хочет погрузиться в основное различие Data Vault 1 и Data Vault 2 - использование hash ключей. Разобраны вероятности появления коллизий, способы обхода и много всего интересного https://www.just-bi.nl/talk-about-data-vault-2-0/
Just - BI
Do we still need to talk about Data Vault 2.0 Hash keys? - Just - BI
Do we still need to talk about Data Vault 2.0 Hash keys? Read in 15 min A few days ago, I ran into the article “Hash Keys In The Data Vault”, published recently (2017-04-28) on the the Scalefree Company blog. Scalefree is a company, founded by Dan Linstedt…
Начался data engineering zoomcamp https://www.youtube.com/watch?v=-zpVha7bw5A
YouTube
Data Engineering Zoomcamp 2023
Free data engineering course: https://github.com/DataTalksClub/data-engineering-zoomcamp
🔗 CONNECT WITH DataTalksClub
Join the community - https://datatalks-club.slack.com/join/shared_invite/zt-2hu0sjeic-ESN7uHt~aVWc8tD3PefSlA#/shared-invite/email
Subscribe…
🔗 CONNECT WITH DataTalksClub
Join the community - https://datatalks-club.slack.com/join/shared_invite/zt-2hu0sjeic-ESN7uHt~aVWc8tD3PefSlA#/shared-invite/email
Subscribe…
Forwarded from 🦦
Отличный доклад, особенно будет полезен джунам и мидлам https://youtu.be/UNMF5AS4SLg
YouTube
"Expert Software Developers' Approach to Error" by Marian Petre (Strange Loop 2022)
Drawing on decades of research with professional software developers, this talk will summarise insights about how experts and high-performing teams use 'error as opportunity' – leading to better software.
Marian Petre
Centre for Research in Computing, The…
Marian Petre
Centre for Research in Computing, The…
Forwarded from Время Валеры
Мой друг Игорь написал подробную статью про ChatGPT - которая скорее является полноценным обзором, который зайдет как новичкам, так и спецам. Советую прочитать
Еще у него есть Телеграм Канал, но это уже на ваш страх и риск
Еще у него есть Телеграм Канал, но это уже на ваш страх и риск
Хабр
ChatGPT как инструмент для поиска: решаем основную проблему
Вышедшая чуть больше месяца назад ChatGPT уже успела нашуметь: школьникам в Нью-Йорке запрещают использовать нейросеть в качестве помощника, её же ответы теперь не принимаются на StackOverflow, а...
Forwarded from Инжиниринг Данных (Dmitry)
Если вы только начинаете работать с Microsoft Azure, то вот вам отличная подборка про продукты Azure для аналитики:
Основной продукт это Synapse Analytics, внутри вы найдете все основные сервисы:
- Serverless SQL (аналог Amazon Athena)
- Dedicated SQL Pool (MPP SQL хранилище данных, аналог Redshift)
- Azure Data Explorer (возможно ближайший это ElasticSearch и Splunk)
- Power BI
- Spark Pool (аналог databricks) и замена Azure Databricks
- Synapse ML notebooks (аналог Spark MLlib) и как замена Azure ML
- Azure DevOps (аналог GitHub, Gitlab)
- Azure Data Factory (аналог Airflow, выполняет задачи оркестратора, есть UI или код)
Вот вводные видео:
Synapse Serverless и Synapse Dedicated:
🛵Synapse Espresso: Introduction into Synapse - Serverless SQL Pools
🛵Synapse Espresso: Introduction to Dedicated SQL Pools
🛵Azure Synapse Serverless vs Dedicated SQL Pool
🛵Azure Synapse Analytics - Source Control with Git Integration
Delta Lake (Lakehouse):
🛵Delta Tables 101: What is a delta table? And how to build one?
🛵Synapse Espresso: Introduction to Delta Tables
🛵What is this delta lake thing?
🛵Explaining what a Lakehouse is!
🛵Get started with SPARK in Azure Synapse Analytics
🛵Talking DATA end to end with Buck Woody
Azure Data Explorer (Kusto):
🛵What is Azure Data Explorer (ADX, aka Kusto) ?
🛵FAST - Billions of rows with Azure Data Explorer (ADX)
🛵How to start with KQL?
🛵KQL - The Next Query Language You Need to Learn | Data Exposed: MVP Edition
Azure Data Factory (ELT)
🛵Introduction to Azure Data Factory
BI слой:
🛵What is Power BI?
🛵An introduction to Azure Analysis Services
ML:
🛵Machine Learning Experiences in Azure Synapse
🛵Machine learning with Apache Spark | Machine 🛵Learning Essentials
🛵Introduction To MLflow-An Open Source Platform for the Machine Learning Lifecycle
🛵Introduction to SynapseML
Задача Microsoft интегрировать все решения в единый интерфейс и возможно скоро мы узнаем про новый продукт🛺
Основной продукт это Synapse Analytics, внутри вы найдете все основные сервисы:
- Serverless SQL (аналог Amazon Athena)
- Dedicated SQL Pool (MPP SQL хранилище данных, аналог Redshift)
- Azure Data Explorer (возможно ближайший это ElasticSearch и Splunk)
- Power BI
- Spark Pool (аналог databricks) и замена Azure Databricks
- Synapse ML notebooks (аналог Spark MLlib) и как замена Azure ML
- Azure DevOps (аналог GitHub, Gitlab)
- Azure Data Factory (аналог Airflow, выполняет задачи оркестратора, есть UI или код)
Вот вводные видео:
Synapse Serverless и Synapse Dedicated:
🛵Synapse Espresso: Introduction into Synapse - Serverless SQL Pools
🛵Synapse Espresso: Introduction to Dedicated SQL Pools
🛵Azure Synapse Serverless vs Dedicated SQL Pool
🛵Azure Synapse Analytics - Source Control with Git Integration
Delta Lake (Lakehouse):
🛵Delta Tables 101: What is a delta table? And how to build one?
🛵Synapse Espresso: Introduction to Delta Tables
🛵What is this delta lake thing?
🛵Explaining what a Lakehouse is!
🛵Get started with SPARK in Azure Synapse Analytics
🛵Talking DATA end to end with Buck Woody
Azure Data Explorer (Kusto):
🛵What is Azure Data Explorer (ADX, aka Kusto) ?
🛵FAST - Billions of rows with Azure Data Explorer (ADX)
🛵How to start with KQL?
🛵KQL - The Next Query Language You Need to Learn | Data Exposed: MVP Edition
Azure Data Factory (ELT)
🛵Introduction to Azure Data Factory
BI слой:
🛵What is Power BI?
🛵An introduction to Azure Analysis Services
ML:
🛵Machine Learning Experiences in Azure Synapse
🛵Machine learning with Apache Spark | Machine 🛵Learning Essentials
🛵Introduction To MLflow-An Open Source Platform for the Machine Learning Lifecycle
🛵Introduction to SynapseML
Задача Microsoft интегрировать все решения в единый интерфейс и возможно скоро мы узнаем про новый продукт🛺
Forwarded from Yandex Cloud: Data Platform
Приглашаем на вебинар «Как готовить данные в Greenplum®»
🗓 Когда: 7 февраля в 12:00 (МСК)
Архитектор Yandex Cloud расскажет о том:
🔹как выбрать оптимальную модель данных для хранилища;
🔹как хранить, загружать и обрабатывать данные в Greenplum: heap и append-optimized таблицы, индексы, сжатие, партицирование и шардирование данных, подключение к внешним источникам с помощью механизма PXF;
🔹как выявлять типовые проблемы производительности: анализ мониторинга и настроек кластера, чтение и анализ планов запросов;
🔹как оптимизировать производительность;
🔹как выполнять обслуживание кластера Greenplum.
Также спикер проведёт короткую Q&A-сессию. Присылайте вопросы в чат трансляции — спикер ответит на них в прямом эфире.
Участие бесплатное.
➡️ Регистрируйтесь
🗓 Когда: 7 февраля в 12:00 (МСК)
Архитектор Yandex Cloud расскажет о том:
🔹как выбрать оптимальную модель данных для хранилища;
🔹как хранить, загружать и обрабатывать данные в Greenplum: heap и append-optimized таблицы, индексы, сжатие, партицирование и шардирование данных, подключение к внешним источникам с помощью механизма PXF;
🔹как выявлять типовые проблемы производительности: анализ мониторинга и настроек кластера, чтение и анализ планов запросов;
🔹как оптимизировать производительность;
🔹как выполнять обслуживание кластера Greenplum.
Также спикер проведёт короткую Q&A-сессию. Присылайте вопросы в чат трансляции — спикер ответит на них в прямом эфире.
Участие бесплатное.
➡️ Регистрируйтесь