Делаю домашнее задание для одной компании, решил оформить большой док (потом расшарю), пока вот есть пару MindMaps (scope = AWS, другие не включал облака)
👍39🔥9❤5🤔5😁1
Простая задачка - прочитать матрицу по часовой стрелке. Даже есть решение, и не одно, а много. Задачка типа Leetcode. Но мозг со скрежетом решает такие вещи🦥
Есть интересный сайт - https://pythontutor.com/ там можно посмотреть пошаговое выполнение программы, как на картинке.
Есть интересный сайт - https://pythontutor.com/ там можно посмотреть пошаговое выполнение программы, как на картинке.
👍28🔥4🤔4😁2👏1
Walt Disney Big Data Architecture Slides.pdf
1.8 MB
Traditional #Lambda architectures ingest live events, transform and cache these #transformations, and then store them in a data warehouse for #batch-based ML training or BI reporting.
Lambda requires two codebases:
1️⃣ Streaming code base is used to optimize for latency
2️⃣ Batch codebase is used for correctness.
However, #Kappa in general, it is easier to maintain a single code base than to keep up with changing business logic for batch and streaming. Many companies embraced Kappa #architecture such as Uber, Linkedin, Disney and Twitter with different adoption levels
Here is The Walt Disney Company journey to Kappa and the lessons learned. it is a good use that identifies the limitations of Lambda and the journey towards Kappa with its challenges.
Lambda requires two codebases:
1️⃣ Streaming code base is used to optimize for latency
2️⃣ Batch codebase is used for correctness.
However, #Kappa in general, it is easier to maintain a single code base than to keep up with changing business logic for batch and streaming. Many companies embraced Kappa #architecture such as Uber, Linkedin, Disney and Twitter with different adoption levels
Here is The Walt Disney Company journey to Kappa and the lessons learned. it is a good use that identifies the limitations of Lambda and the journey towards Kappa with its challenges.
👍10
Онлайн книга - Efficient Python Tricks and Tools for Data Scientists (написанная в git). В книге много примеров.
The goal of this book is to spread the awareness of efficient ways to do Python. They include:
- efficient methods and libraries to work with iterator, dictionary, function, and class
- efficient methods to work with popular data science libraries such as pandas and NumPy
- efficient tools to incorporate in a data science project
- efficient tools to incorporate in any project
- efficient tools to work with Jupyter Notebook.
The goal of this book is to spread the awareness of efficient ways to do Python. They include:
- efficient methods and libraries to work with iterator, dictionary, function, and class
- efficient methods to work with popular data science libraries such as pandas and NumPy
- efficient tools to incorporate in a data science project
- efficient tools to incorporate in any project
- efficient tools to work with Jupyter Notebook.
🔥33👍8
Мама у меня явно преуспела в телеграмме, пост, где она кормит пеликанов в Московском зоопарке - 500т просмотров, мой пост про Big Data архитектуру 3т просмотров. Надо не данными заниматься, а пеликанами! Папа у меня тоже с пеликанами работает, но работает над изучение поведения пеликанов, их среды обитания и сохранения как вида, вот небольшая статья и видео про экспедицию к пеликанам - Орнитологи Московского зоопарка в гостях у пеликанов
Кстати, если есть энтузиасты ML, то есть задачка - посчитать кол-во пеликанов по фотографиям. Это если кому-то важны научные статьи, то есть вариант сделать такой research, таким образом можно отслеживать численность колонии, отличный и полезный проект.
PS Именно на этот пруд я водил свою будущую жену на свидание, покормить пеликанов, такое вот эксклюзивное свидание было😊
Кстати, если есть энтузиасты ML, то есть задачка - посчитать кол-во пеликанов по фотографиям. Это если кому-то важны научные статьи, то есть вариант сделать такой research, таким образом можно отслеживать численность колонии, отличный и полезный проект.
PS Именно на этот пруд я водил свою будущую жену на свидание, покормить пеликанов, такое вот эксклюзивное свидание было😊
Telegram
Новости Москвы
🐦Завтрак пеликанов Московского зоопарка
👍120🥰51🔥36😁15❤4🤩4
Forwarded from Stanislav Lysikov
Всем привет.
В рамках развития сообщества @dbt_users мы проводим второй митап, затрагивающий уже более технические подробности инструмента.
14 июня в 19-00 в онлайне ребята из Wheely, ADV/web-engineering co., Space307 и NabuMinds расскажут:
- надежанная дружба clickhouse и dbt
- data quality в modern data stack
- куда расти в зрелых dbt-проектах
- dbt для байтовозов с маленьким t в elt
Слоты фиксированы по времени, можно подключаться на любой доклад. Ссылка на ютуб придет как обычно перед началом митапа.
До встречи :)
https://space307.team/dbtmeetup
В рамках развития сообщества @dbt_users мы проводим второй митап, затрагивающий уже более технические подробности инструмента.
14 июня в 19-00 в онлайне ребята из Wheely, ADV/web-engineering co., Space307 и NabuMinds расскажут:
- надежанная дружба clickhouse и dbt
- data quality в modern data stack
- куда расти в зрелых dbt-проектах
- dbt для байтовозов с маленьким t в elt
Слоты фиксированы по времени, можно подключаться на любой доклад. Ссылка на ютуб придет как обычно перед началом митапа.
До встречи :)
https://space307.team/dbtmeetup
👍23🔥9
Amazon_SQL_and_Python_Task.pdf
79 KB
Phone Screening из Amazon - 2 задачки SQL + 1 Python.
🔥43👍16😁7🤩5🤬1
Новости из мира аналитики
The evolution of event data collection at Vimeo, part 1: the Fatal Attraction era - статья про аналитическое решение для сбора данные в Vimeo, используют Looker, Snowflake, Kafka, Airflow.
Software Architectural Patterns in Data Engineering - попытка натянуть Software Development практики и архитектуры на аналитические решения.
Meet Dash-AB — The Statistics Engine of Experimentation at DoorDash - культура экспериментирования очень важна, door dash рассказывает про свою реализацию.
This is how I onboarded more than 10 Data Engineers and got excellent reviews and feedback. - менеджер рассказывает про свой подход в развитии команды и найме инженеров.
A PySpark style guide for real-world data scientists - примеры оформления и написания читаемого PySpark кода.
Data Science on AWS - множество примеров для AWS на питоне.
The evolution of event data collection at Vimeo, part 1: the Fatal Attraction era - статья про аналитическое решение для сбора данные в Vimeo, используют Looker, Snowflake, Kafka, Airflow.
Software Architectural Patterns in Data Engineering - попытка натянуть Software Development практики и архитектуры на аналитические решения.
Meet Dash-AB — The Statistics Engine of Experimentation at DoorDash - культура экспериментирования очень важна, door dash рассказывает про свою реализацию.
This is how I onboarded more than 10 Data Engineers and got excellent reviews and feedback. - менеджер рассказывает про свой подход в развитии команды и найме инженеров.
A PySpark style guide for real-world data scientists - примеры оформления и написания читаемого PySpark кода.
Data Science on AWS - множество примеров для AWS на питоне.
👍31🔥7😢1🤩1
Comix about goals and fails.pdf
12.6 MB
Классный комикс про друзей, которые решили встретится через 10 лет после окончанию универа и обсудили свои провалившиеся мечты - Why most of us won't achieve Financial Independence early.
👍16