Подкаст с автором книги Database Internals Алексом Петровым: https://www.se-radio.net/2020/07/episode-417-alex-petrov-on-database-storage-engines/

Бесплатные лекции про распределённые системы от профессора Lindsey Kuper: https://www.youtube.com/playlist?list=PLNPUF5QyWU8O0Wd8QDh9KaM1ggsxspJ31

В сети стали доступны доклады с прошедшего Airflow Summit 2020.
Безусловно все докладчики выступали удалённо (мы этот год запомним навсегда)
Из докладов, которые хотелось бы отметить:

- Advanced Apache Superset for Data Engineers
- Data engineering hierarchy of needs
- Airflow the perfect match in our analytics pipeline
- Data flow with Airflow @ PayPal

Смотреть весь плейлист

делюсь бесплатной книгой https://get.oreilly.com/ind_rebuilding-reliable-data-pipelines-through-modern-tools.html

Интересный пост от подписчика @bryzgaloff про построение своего веб-трекера на ClickHouse: https://tproger.ru/articles/tproger-tracker-yandex-cloud/

В блоге Confluent появился пост-кейс с компанией Tencent по использованию Apache Kafka: https://www.confluent.io/blog/tencent-kafka-process-10-trillion-messages-per-day/
Tencent, к слову, причастна к PUBG, Call of Duty, WeChat и многим другим творениям. Нагрузка на кафку составляет 4 миллиона сообщений в секунду 😲

В 2016 году во время PyCon US 2016 в Портленде я встретил Гвидо ван Россума во время networking-сессии в холле. Первый вопрос, который я ему тогда задал относился к реализации интерфейсов в Python (just like in Java). Есть ли шанс, что в будущих версиях Python мы увидим реализацию интерфейсов? На что был получен однозначный ответ, что этого не стоит ждать, для таких целей можно использовать абстрактные классы (модуль abc). После я поинтересовался его мнением про zope.interfaces, на что также была получена рекомендация их не использовать 😢

Но не так давно, шерстя просторы официальной документации, я наткнулся на интересную штуку, а именно на typing.Protocol. По своей сущности это самый настоящий интерфейс. А не так давно нашел и обзор этой штуки, статья must read: I Want A New Duck.

Если кратко, то Protocol в первую очередь нужен, если вы активно используете mypy для статического анализа кода. Наверняка вы могли сталкиваться с аннотациями на кастомные классы, когда в функцию или метод могут передаваться разные объекты, протокол/интерфейс (читай, общие методы) которых одинаковый.

Сравнение Kafka и AWS Kinesis: https://medium.com/flo-engineering/kinesis-vs-kafka-6709c968813

Компания Amazon открыла доступ к курсам по машинному обучению для всех желающих: https://www.amazon.science/latest-news/machine-learning-course-free-online-from-amazon-machine-learning-university

Пример работы с aws-data-wrangler: https://aws.amazon.com/ru/blogs/big-data/optimize-python-etl-by-extending-pandas-with-aws-data-wrangler/

CAP теорема для дата инженеров: https://www.analyticsvidhya.com/blog/2020/08/a-beginners-guide-to-cap-theorem-for-data-engineering/

Mastering a data pipeline with Python / Robson Luis Monteiro Junior (Microsoft)

https://youtu.be/25fUlUsmg38

DataCamp в очередной раз устраивают бесплатную неделю: https://www.datacamp.com/freeweek

Карта навыков современного дата инженера: https://github.com/datastacktv/data-engineer-roadmap

Неплохо дополняет мою статью: https://khashtamov.com/ru/data-engineer/

Диалог @a_nikushin и @data_karpov о доступном образовании для аналитиков на Youtube вдохновил меня рассказать одну свою историю и поделиться ссылками.

Так сложилось, что в Университете мне очень повезло с преподавателями (от линейной алгебры до баз данных и языков программирования). Один из них, В. Л. Аббакумов, разжег настоящую страсть к методам анализа данных своими лекциями и лабораторными заданиями. В. Л. — практик и был моим научным руководителем по дипломной работе (мы делали кластеризацию данных Ленты), а затем и по кандидатской диссертации (строили нейронную сеть специальной архитектуры, тогда еще в Matlab).

Уже несколько лет назад в рамках ШАД и Computer Science Яндекса у него был записан курс Анализ данных на Python в примерах и задачах в двух частях. Настало время поделиться ссылками на первый и второй плейлисты на Youtube.

Первая часть посвящена описательным статистикам, проверке статистических гипотез, иерархическому кластерному анализу и кластерному анализу методом к-средних, классификационным моделям (деревья, Random Forest, GBM). В целом, весь плейлист достоин внимания без отрыва 🤓
Во второй части более глубокое погружение в нейронные сети, keras, deep learning, xgboost и снова все лекции крайне рекомендованы.🎖
Смотреть можно смело на 1.5x.

Материалы к видео:
— Часть 1. Занятия и материалы
— Часть 2. Занятия и материалы