Тема с конструированием data pipelines или в простонародье Data Engineering сейчас как никогда актуальна, а полезной информации в сети не так много как хотелось бы. В связи с чем любая инфа на вес золота. Я не так давно стал собирать материал по этой теме, и в ближайшее время сделаю небольшой анонс, ну а пока поделюсь с вами 2-мя статьями, на мой взгляд, отлично демонстрирующими перспективы и проблемы профессии Data Engineer. К слову, написал их Data Engineer из компании Airbnb, который является автором проектов Apache Airflow и Apache Superset: https://medium.freecodecamp.org/the-rise-of-the-data-engineer-91be18f1e603 и https://medium.com/@maximebeauchemin/the-downfall-of-the-data-engineer-5bfb701e5d6b

Как всё таки так получилось, что Python нынче чуть ли не lingua franca в мире анализа данных? (Data Science). Посмотрел недавно 100% концентированный и полезный материал по этой теме от Jake Vanderplas на прошедшей PyData в Сиэтле, чего и вам советую — https://goo.gl/rvL4Vj. Особенно нравится экскурс в историю развития языка в этом направлении, а также обзор ключевых инструментов и личностей благодаря которым Python стал таким популярным. Must watch!

На образовательной платформе Coursera вчера стартанул курс уровня Intermediate для изучения языка Python от Mail.RU (на русском языке) — https://goo.gl/JXNfrQ. Для получения сертификата необходимо курс купить ($79, дорого), но если он вам не нужен, а нужны знания, то курс можно пройти абсолютно бесплатно. К слову, в курсе есть материал как для новичков, так и для более продвинутых программистов на Python, а именно тема с многопроцессорной и многопоточной обработкой, асинхронное программирование (asyncio), метаклассы, дескрипторы, сопрограммы и многое другое. Преподаётся Python3.

Вчера в блоге Dropbox появилась статья про тюнинг Nginx от Dropbox SRE Алексея Иванова — https://goo.gl/RoViDm. Пост может смело претендовать на небольшую книгу, т.к. автор детально разбирает все уровни абстракции: начиная от железа и заканчивая прикладным уровнем.

Стали доступны в сети видео с прошедшей в США конференции DjangoCon US 2017 — https://goo.gl/BFYWoj

Нашел туториал по созданию БД на Си. Автор освещает в цикле статей собственный опыт создания небольшого аналога SQLite. Материал будет полезен тем, кто давно хотел разобраться как работаю B-деревья, парсеры DSL и другие полезные штуки в БД http://goo.gl/AcgMT6

Ребята из DigitalOcean открыли публичный доступ к их новому сервису Spaces. В двух словах, это аналог Amazon S3, т.е. облачное хранилище. Я был бета-тестером этой фишки некоторое время, мне понравилось. Цена $5/месяц за 250 Гб места и 1Тб исходящего трафа. Сервис полностью совместим по API с S3, поэтому библиотеки (boto, например) заводятся отлично со Spaces. Кому интересно, велком по ссылке https://goo.gl/CDJmSz

Чуть больше двух недель назад я создал небольшой скрипт-обёртку на Python для работы с сервисом по извлечению данных о криптовалютах: стоимость той или иной криптовалюты в USD, обменный курс, исторические цены. Проект маленький, но возможно будет полезен тем из вас, кто интересуется криптовалютой и/или имеет планы по реализации каких-то проектов. Ссылка на репозиторий на гитхабе — https://goo.gl/2gRBFb. Заходите, ставьте "звёздочки" 👍🏻

Победа! Кто бы что не говорил, но Open Source сообщество таки продавило Facebook (путем отказа от продуктов, включая Apache Foundation) изменить лицензию React JS, Flow, Jest и Immutable.js на MIT. Также речь идёт о возможном изменении лицензий на другие продукты компании. Вот пост от FB — https://goo.gl/6fU1vP, а вот старая новость об отказе со стороны FB менять лицензию — https://goo.gl/ShqBRH.

Компания Yahoo недавно выпустила в свет свой Big Data Engine под названием Vespa — http://vespa.ai/. Судя из описания, Vespa создавалась в первую очередь для построения поисковых и рекомендательных систем внутри Yahoo (Yahoo Mail, Flickr, Yahoo Ads). Радует подробная документация и описание архитектуры системы. В планах у компании тесная интеграция движка с TensorFlow совместно с Google. Оригинальный пост про движок можно почитать тут — http://blog.vespa.ai/post/165763618906/open-sourcing-vespa-yahoos-big-data-processing

Подготовил небольшую подборку интересных YouTube каналов для разработчиков. Зацените :) http://telegra.ph/Podborka-interesnyh-YouTube-kanalov-dlya-razrabotchikov-10-01

Наконец организаторы EuroPython 2017 разбили свой огромный livestream на отдельные доклады, сгрупировав их в отдельный плейлист. Посмотреть видео можно по ссылке

Подборка из более чем 2000+ бесплатных электронных книг для разработчиков. Особенно радует, что коллекция регулярно дополняется новым материалом. Смотреть

В сети стали доступны доклады с прошедшего 20 сентября MoscowPython 🔥 Бегом смотреть. Особенно доставил доклад про машинное обучение без PhD.

Yandex стал официальным партнёром образовательной платформы Coursera. Компания запускает очередную специализацию, на этот раз про Data Engineering. Программа состоит из 5 курсов, последним из них является Capstone проект. 24 июля в этом канале я постил ссылку на курсы про hadoop от Ивана Пузыревского, в новой специализации он ведёт 2 курса, посвященных real-time обработке. Думаю записаться самому 🤔

На днях написал обзорную статью на инструмент под названием Luigi. Он предназначен для пакетной обработки задач и построения т.н. data pipeline'ов. Как ни странно, но на русском информации по нему я не нашел. Статью можно прочитать у меня в блоге.

Нашел в своей ленте твиттера ссылку на прикольный курс про разработку микросервиса на Flask, React, Docker. Курc состоит из 6 частей, где каждая часть это набор пошаговых инструкций по созданию и настройке микросервиса. Будет особенно полезен начинающим. Вот сам туториал, а вот код микросервиса.

Нашел классное объяснение что из себя представляет нейронная сеть и технология глубокого обучения. Смотрите видео

Очень классная серия статей про устройство дисков с точки зрения файловой и операционной систем, а также разбор двух популярных структур данных на основе которых строятся движки баз данных: B-Tree и LSM-Tree.

1. On Disk IO, Part 1: Flavours of IO
2. On Disk IO, Part 2: More Flavours of IO
3. On Disk IO, Part 3: LSM Trees
4. On Disk IO, Part 4: B-Trees and RUM Conjecture

#dataengineering

Техносфера запустила очередной крутой курс про высоконагруженные системы. Ведут его технари из Одноклассников, я уже посмотрел 2 лекции и очень советую его вам. Смотреть