В блоге Pragmatic Engineer вышла крутая статья про подход в проектировании ПО. Gergely Orosz, Engineering Manager из Uber, поделился своим опытом и мыслями на счёт паттернов проектирования, новомодых инструментов для рисования диаграмм и создания документации. Автор пришел к выводу, что не нужно искать серебрянную пулю и пытаться подогнать паттерн под конкретный кейс. Вместо этого необходимо стремиться к простоте.

Мне особенно понравились его рекомендации, так сказать, пошаговые инструкции, при разработке новой архитектуры системы.

Не пожалейте своего времени, и прочтите её в оригинале: http://bit.ly/2kV9e52

Кстати, в сети стал доступен исходный код 3-й версии фронтенд фреймворка VueJS.

Примечательно, что он полностью написан на TypeScript.

Ссылка на реп: https://github.com/vuejs/vue-next

Нашел в сети бесплатный курс про Apache Druid.

Apache Druid это колоночная база данных, предназначенная для выполнения быстрых аналитических запросов. Из аналогов: Amazon Redshift, Yandex ClickHouse, HP Vertica.

Вводный курс можно посмотреть по ссылке https://imply.io/druid-university/intro-to-druid-university

Вот и состоялся релиз python 3.8. Отличный релиз с большим набором интересных фич.

Кому любопытно узнать что там нового - почитайте мой июльский пост: https://khashtamov.com/ru/python38-overview/

Скачать релиз https://www.python.org/downloads/release/python-380/

Гвидо Ван Россум ушел на пенсию: http://bit.ly/2C9JR4N

Друзья!

На платформе Stepik я запустил продажи курса Введение в data engineering: дата-пайплайны. Речь в курсе идёт о замечательном инструменте Luigi о котором я неоднократно рассказывал на конференциях и в статьях.

Сейчас курс сделан наполовину, в нём есть вводная часть и каждую неделю, начиная с 18 ноября, будет открываться новый модуль с практическими материалами. Этот небольшой курс это начало интересной специализации по data engineering (будут отдельные курсы), которую я планирую создать в будущем, в неё войдут материалы про базы данных, распределенные системы, продвинутый SQL, инструменты экосистемы больших данных (Kafka, Spark, Airflow и т.д).

В курсе про дата-пайплайны я рассказываю о существующих инструментах, и детальный акцент делаю на Luigi. Курс научит вас понимать luigi и его компоненты, эффективно строить сложные зависимости между задачами, а также деплоить ваш пайплайн через Docker. Я подробно расскажу про конфигурирование и подводные камни при работе с этим инструментом.

Стоимость курса $10. Ссылка на курс: http://bit.ly/2NtOrRG

Чтобы его купить, необходимо сначала зарегистрироваться на платформе stepik.org.

Нашел в сети увесистый гайд по разработке веб-приложений на базе serverless технологий. Конкретно в этом гайде разбирают Amazon Web Services, AWS Lambda, React.js: http://bit.ly/2XJmgBW

От университета ETH Zürich в Швейцарии в сети стал доступен курс Computer Architecture: https://www.youtube.com/playlist?list=PL5Q2soXY2Zi-DyoI3HbqcdtUm9YWRR_z-.

Состоялся релиз 3й версии популярного веб- фреймворка Django 🥳 https://www.djangoproject.com/weblog/2019/dec/02/django-3-released/

В Amazon Redshift наконец появилась фича UNLOAD прямо в Parquet формат: https://aws.amazon.com/ru/about-aws/whats-new/2019/12/announcing-amazon-redshift-data-lake-export/

Нашел, пожалуй, лучший сайт, посвященный индексам в базе данных: https://use-the-index-luke.com/. Это лучшее, что есть в сети :)

Увидела свет первая версия pandas: pandas 1.0.0rc0. К этому знаменательному событию ребята также обновили сайт с документацией: https://pandas.pydata.org/pandas-docs/version/1.0.0/. Теперь он выглядит приятно и не вызывает рвотного рефлекса :)

Это не финальная версия релиза, а первый релиз-кандидат, поэтому библиотека может вести себя нестабильно.

Из прикольного, в версии 1.0 появился метод .to_markdown у объекта DataFrame.

Чтобы поиграться:

pip install pandas==1.0.0rc0

Всем привет!

На сайте Dice вышла статья о том, что 2020 год должен стать годом Data Engineer: 2020: The Year of the Citizen Data Engineer

В заметке есть интересная ссылка на исследование от LinkedIn: 2020 Emerging Jobs Report, где дата инженер занимает почетное 8 месте с годовым приростом спроса аж на 38%. Отчёт актуален для рынка США.

Из наиболее популярных навыков для дата инженера упоминаются:

- Apache Spark
- Hadoop
- Python
- SQL
- ETL
- Amazon Web Services

Самое время углубиться в эту интересную и важную профессию цифрового века. А узнать как стать дата инженером поможет моя прошлогодняя статья: Как стать Data Engineer.

В официальном devguide CPython обновилась информация о работе сборщика мусора: https://devguide.python.org/garbage_collector/
Выделите 20-30 минут на чтение, чтобы лучше разобраться как работает очищение памяти в Python.

Гугл выпустил новый сервис по поиску датасетов, пока в бета, но что-то годное для работы уже можно найти: https://datasetsearch.research.google.com/

Интересное в сети

Давненько я не делал постов из серии рекомендаций на интересных авторов в IT.

Рекомендую вам отличный блог девушки по имени Chelsea Troy. Она пишет регулярно (в отличии от меня).
Сейчас она в процессе написания цикла статей про реализацию алгоритма Raft на Python по мотивам мастер-класса от Дэвида Бизли: https://chelseatroy.com/2019/12/20/the-raft-algorithm-what-why-and-how/

Все слышали про знаменитый курс SICP от MIT и одноименную книгу? Челси прошла мастер-класс от того же Бизли и забабахала серию статей. Начало SICP, Introduction: On Learning the Abstract.

Другой не менее интересный автор Ruslan Spivak. Руслан в 2015 году начал серию постов о том как создать свой интерпретируемый язык программирования на Python :)
Ссылка на первый пост: Let’s Build A Simple Interpreter. Part 1.. Статья написана в июне 2015 года, а последний пост вышел в августе 2019. Недавно в твиттере Руслана появилась информация, что совсем скоро будет ещё один

Отдельных аплодисментов заслуживает Eli Bendersky, который регулярно ведёт блог с 2003 года. Не буду выделять какие-то конкретные его работы. Весь блог это сплошной must read.

На образовательной платформе edX появился бесплатный курс по контейнерам в AWS: https://www.edx.org/course/building-containerized-applications-on-aws

Если вы также как и я активно используете PyCharm для создания приложений на Python, то ребята из JetBrains совсем недавно проводили очень крутой вебинар по продвинутой отладке в PyCharm: смотреть

Нашел сайт с коллекцией видео с различных конференций. По сути это большой тематический каталог с функцией подписки на интересующие вас темы и конференции.
Вот, например, список всех доступных видео с различных Python конф: https://tulu.la/events/?past=show&search=Python&videos=true

Гвидо Ван Россум подготовил небольшую заметку для тех, кто хочет начать контрибьютить в CPython: https://paper.dropbox.com/doc/Contributing-to-CPython-JlgnduI6kw9MJIaGPpN9G