Новость по-своему печальная, но решение рациональное. Bitbucket убирает поддержку системы контроля версий Mercurial.

Известие печальное для меня в первую очередь потому что именно с Hg я начинал свой путь в распределенную работу с кодом. И до сих считаю, что меркурий дружелюбен к новичкам и концептуально проще и понятнее git.

Поддержка будет прекращена 1 июня 2020 года. Если вы ещё пользуетесь им, то сейчас подходящее время, чтобы переходить на git.

На портале RealPython появился монументальный труд про внутреннее устройство CPython — введение в исходный код CPython. Автор Anthony Shaw, активный участник Open Source сообщества.

Для тех кому этого будет мало, рекомендую посмотреть десятичасовой скринкаст — CPython internals: A ten-hour codewalk through the Python interpreter source code

Любите комиксы? Последнее время в сети стал популярен формат обучения через комиксы. Это те случаи, когда автор иллюстрациями в развлекательной форме объясняет сложные на первый взгляд концепции. Нашел сайт, объясняющий в таком формате как работает DNS: https://howdns.works/

Попробуйте, вдруг залетит 😉

Всем нам рано или поздно приходится работать с регулярными выражениями, как бы нам этого не хотелось, а некоторым даже на регулярной основе. Дабы жизнь была проще, добавляйте к себе в закладки лучший, имхо, сайт по регуляркам: https://regexr.com

У Алекса Фридмана вышло классное интервью с создателем курсов про глубокое обучение fast.ai. О них я когда-то писал в канале. К сожалению, я так и не добрался до изучения этой темы, но планирую начать хотя бы в этом году. Само же интервью можно посмотреть на ютубе: https://www.youtube.com/watch?v=J6XcP4JOHmk

Стартанул новый поток курса Database Systems от Carnegie Mellon University. Легендарный курс от легендарного преподавателя Andy Pavlo. На этот раз Энди вещает прямо из ванной 😁

Курс в первую очередь будет интересен тем, кто хочет разобраться как работают БД изнутри.

Страница курса: https://15445.courses.cs.cmu.edu/fall2019/
Плейлист на Ютубе: https://www.youtube.com/playlist?list=PLSE8ODhjZXjbohkNBWQs_otTrBTrjyohi

В сети появился документ с набором правил и подходов, которые практикуются в компании Google по code review: https://google.github.io/eng-practices/review/reviewer/

А вы практикуете code review в своей команде? Комментарий можно оставить к этому посту, нажав на кнопку Add a comment

Нашел в сети весьма объёмную коллекцию полезного материала для подготовки к интервью на позицию разработчика: https://dev.to/seattledataguy/the-interview-study-guide-for-software-engineers-764. В статье есть ссылки как на видео материал (в том числе курсы), так и на статьи и серии статей про фундаментальные темы.

В блоге Pragmatic Engineer вышла крутая статья про подход в проектировании ПО. Gergely Orosz, Engineering Manager из Uber, поделился своим опытом и мыслями на счёт паттернов проектирования, новомодых инструментов для рисования диаграмм и создания документации. Автор пришел к выводу, что не нужно искать серебрянную пулю и пытаться подогнать паттерн под конкретный кейс. Вместо этого необходимо стремиться к простоте.

Мне особенно понравились его рекомендации, так сказать, пошаговые инструкции, при разработке новой архитектуры системы.

Не пожалейте своего времени, и прочтите её в оригинале: http://bit.ly/2kV9e52

Кстати, в сети стал доступен исходный код 3-й версии фронтенд фреймворка VueJS.

Примечательно, что он полностью написан на TypeScript.

Ссылка на реп: https://github.com/vuejs/vue-next

Нашел в сети бесплатный курс про Apache Druid.

Apache Druid это колоночная база данных, предназначенная для выполнения быстрых аналитических запросов. Из аналогов: Amazon Redshift, Yandex ClickHouse, HP Vertica.

Вводный курс можно посмотреть по ссылке https://imply.io/druid-university/intro-to-druid-university

Вот и состоялся релиз python 3.8. Отличный релиз с большим набором интересных фич.

Кому любопытно узнать что там нового - почитайте мой июльский пост: https://khashtamov.com/ru/python38-overview/

Скачать релиз https://www.python.org/downloads/release/python-380/

Гвидо Ван Россум ушел на пенсию: http://bit.ly/2C9JR4N

Друзья!

На платформе Stepik я запустил продажи курса Введение в data engineering: дата-пайплайны. Речь в курсе идёт о замечательном инструменте Luigi о котором я неоднократно рассказывал на конференциях и в статьях.

Сейчас курс сделан наполовину, в нём есть вводная часть и каждую неделю, начиная с 18 ноября, будет открываться новый модуль с практическими материалами. Этот небольшой курс это начало интересной специализации по data engineering (будут отдельные курсы), которую я планирую создать в будущем, в неё войдут материалы про базы данных, распределенные системы, продвинутый SQL, инструменты экосистемы больших данных (Kafka, Spark, Airflow и т.д).

В курсе про дата-пайплайны я рассказываю о существующих инструментах, и детальный акцент делаю на Luigi. Курс научит вас понимать luigi и его компоненты, эффективно строить сложные зависимости между задачами, а также деплоить ваш пайплайн через Docker. Я подробно расскажу про конфигурирование и подводные камни при работе с этим инструментом.

Стоимость курса $10. Ссылка на курс: http://bit.ly/2NtOrRG

Чтобы его купить, необходимо сначала зарегистрироваться на платформе stepik.org.

Нашел в сети увесистый гайд по разработке веб-приложений на базе serverless технологий. Конкретно в этом гайде разбирают Amazon Web Services, AWS Lambda, React.js: http://bit.ly/2XJmgBW

От университета ETH Zürich в Швейцарии в сети стал доступен курс Computer Architecture: https://www.youtube.com/playlist?list=PL5Q2soXY2Zi-DyoI3HbqcdtUm9YWRR_z-.

Состоялся релиз 3й версии популярного веб- фреймворка Django 🥳 https://www.djangoproject.com/weblog/2019/dec/02/django-3-released/

В Amazon Redshift наконец появилась фича UNLOAD прямо в Parquet формат: https://aws.amazon.com/ru/about-aws/whats-new/2019/12/announcing-amazon-redshift-data-lake-export/

Нашел, пожалуй, лучший сайт, посвященный индексам в базе данных: https://use-the-index-luke.com/. Это лучшее, что есть в сети :)

Увидела свет первая версия pandas: pandas 1.0.0rc0. К этому знаменательному событию ребята также обновили сайт с документацией: https://pandas.pydata.org/pandas-docs/version/1.0.0/. Теперь он выглядит приятно и не вызывает рвотного рефлекса :)

Это не финальная версия релиза, а первый релиз-кандидат, поэтому библиотека может вести себя нестабильно.

Из прикольного, в версии 1.0 появился метод .to_markdown у объекта DataFrame.

Чтобы поиграться:

pip install pandas==1.0.0rc0

Всем привет!

На сайте Dice вышла статья о том, что 2020 год должен стать годом Data Engineer: 2020: The Year of the Citizen Data Engineer

В заметке есть интересная ссылка на исследование от LinkedIn: 2020 Emerging Jobs Report, где дата инженер занимает почетное 8 месте с годовым приростом спроса аж на 38%. Отчёт актуален для рынка США.

Из наиболее популярных навыков для дата инженера упоминаются:

- Apache Spark
- Hadoop
- Python
- SQL
- ETL
- Amazon Web Services

Самое время углубиться в эту интересную и важную профессию цифрового века. А узнать как стать дата инженером поможет моя прошлогодняя статья: Как стать Data Engineer.