Классная статья с обзором сегодняшних трендов в экосистеме больших данных https://blog.insightdatascience.com/the-data-engineering-ecosystem-in-2017-2c2a3429350e. Кстати, эти ребята занимаются обучением по программам Data Engineering и Data Science бесплатно, но при условии, что у вас есть право на работу в США (мне пришел отказ в приёме по причине отсутствия рабочей визы). Помимо статьи, они запилили классную интерактивную карту с обзором технологий http://xyz.insightdataengineering.com/blog/pipeline_map/. Пожалуй, тема data engineering сейчас для меня наиболее актуальная, поэтому ждите новых постов на эту тему здесь и в блоге!

Ценители VueJS наверняка уже слышали о том, что прошла первая тематическая конференция - VueConf. На официальном канале конференции сейчас потихоньку появляются видеозаписи выступлений участников. Посмотреть можно тут https://goo.gl/FPMiTz

Прошедшая неделя порадовала нас выходом видео-лекций с SciPy 2017 и PyData Seattle 2017. Плейлист SciPy https://goo.gl/eEbny6, плейлист PyData https://goo.gl/kvV9d5. Лекций очень много и все они разнообразны по своей тематике, я лишь отмечу 6 часовой экскурс в машинное обучение на Python с использованием библиотеки scikit-learn, начало тут https://www.youtube.com/watch?v=2kT6QOVSgSg. Если вам нравится тема анализа данных на Python, то найдите время и пробегитесь по списку тем, уверен, что что-то интересное да приглянется. Хорошего вам выходного дня!

В прошлом месяце я выкладывал ссылку на цикл видео-лекций про Hadoop на русском языке от Mail.Ru, они были больше теоретические, но тем не менее полезные для вхождения в область больших данных. А вот на днях нашел плейлист с практическими лекциями про Hadoop, HDFS, парадигму Map/Reduce и экосистему Apache в области больших данных (Kafka, HBase, Cassandra, Hive и тд). Осилил пока только первое видео, но уже нравится. Вода отсутствует. Советую ознакомиться https://goo.gl/J834pT

Совсем недавно в Австралии прошел PyCon — PyCon Australia, все видео с прошедшей конференции доступны здесь https://goo.gl/42MaaR

Автостопом по машинному обучению на Python. Краткий сборник методов машинного обучения в одной статье с видео — https://goo.gl/afRE9m

В середине июля в России проходила ежегодная конференция PyCon RU 2017, видео докладов с прошедшего ивента можно посмотреть вот здесь https://goo.gl/yijbCw

А слайды с PyCon RU 2017 находятся тут https://goo.gl/pjkeLh

Нашел полезный курс из 5 лекций про СУБД в Highload проектах. Ведёт его руководитель разработки Почта Mail.RU — https://goo.gl/VXCHXL. Сейчас как раз в процессе просмотра 2-й лекции, рекомендую, т.к. раскрываются в первую очередь фундаментальные знания необходимые для построения высоконагруженных проектов.

Лекция именитого Jeff Dean в стенах Y Combinator. Jeff рассказывает про AI. Для тех, кто не знает, Jeff Dean автор таких штук как MapReduce, Tensorflow, BigTable, LevelDB и много чего другого. Работает в Google аж с 1999 года. https://www.youtube.com/watch?v=HcStlHGpjN8

Тема с конструированием data pipelines или в простонародье Data Engineering сейчас как никогда актуальна, а полезной информации в сети не так много как хотелось бы. В связи с чем любая инфа на вес золота. Я не так давно стал собирать материал по этой теме, и в ближайшее время сделаю небольшой анонс, ну а пока поделюсь с вами 2-мя статьями, на мой взгляд, отлично демонстрирующими перспективы и проблемы профессии Data Engineer. К слову, написал их Data Engineer из компании Airbnb, который является автором проектов Apache Airflow и Apache Superset: https://medium.freecodecamp.org/the-rise-of-the-data-engineer-91be18f1e603 и https://medium.com/@maximebeauchemin/the-downfall-of-the-data-engineer-5bfb701e5d6b

Как всё таки так получилось, что Python нынче чуть ли не lingua franca в мире анализа данных? (Data Science). Посмотрел недавно 100% концентированный и полезный материал по этой теме от Jake Vanderplas на прошедшей PyData в Сиэтле, чего и вам советую — https://goo.gl/rvL4Vj. Особенно нравится экскурс в историю развития языка в этом направлении, а также обзор ключевых инструментов и личностей благодаря которым Python стал таким популярным. Must watch!

На образовательной платформе Coursera вчера стартанул курс уровня Intermediate для изучения языка Python от Mail.RU (на русском языке) — https://goo.gl/JXNfrQ. Для получения сертификата необходимо курс купить ($79, дорого), но если он вам не нужен, а нужны знания, то курс можно пройти абсолютно бесплатно. К слову, в курсе есть материал как для новичков, так и для более продвинутых программистов на Python, а именно тема с многопроцессорной и многопоточной обработкой, асинхронное программирование (asyncio), метаклассы, дескрипторы, сопрограммы и многое другое. Преподаётся Python3.

Вчера в блоге Dropbox появилась статья про тюнинг Nginx от Dropbox SRE Алексея Иванова — https://goo.gl/RoViDm. Пост может смело претендовать на небольшую книгу, т.к. автор детально разбирает все уровни абстракции: начиная от железа и заканчивая прикладным уровнем.

Стали доступны в сети видео с прошедшей в США конференции DjangoCon US 2017 — https://goo.gl/BFYWoj

Нашел туториал по созданию БД на Си. Автор освещает в цикле статей собственный опыт создания небольшого аналога SQLite. Материал будет полезен тем, кто давно хотел разобраться как работаю B-деревья, парсеры DSL и другие полезные штуки в БД http://goo.gl/AcgMT6

Ребята из DigitalOcean открыли публичный доступ к их новому сервису Spaces. В двух словах, это аналог Amazon S3, т.е. облачное хранилище. Я был бета-тестером этой фишки некоторое время, мне понравилось. Цена $5/месяц за 250 Гб места и 1Тб исходящего трафа. Сервис полностью совместим по API с S3, поэтому библиотеки (boto, например) заводятся отлично со Spaces. Кому интересно, велком по ссылке https://goo.gl/CDJmSz

Чуть больше двух недель назад я создал небольшой скрипт-обёртку на Python для работы с сервисом по извлечению данных о криптовалютах: стоимость той или иной криптовалюты в USD, обменный курс, исторические цены. Проект маленький, но возможно будет полезен тем из вас, кто интересуется криптовалютой и/или имеет планы по реализации каких-то проектов. Ссылка на репозиторий на гитхабе — https://goo.gl/2gRBFb. Заходите, ставьте "звёздочки" 👍🏻

Победа! Кто бы что не говорил, но Open Source сообщество таки продавило Facebook (путем отказа от продуктов, включая Apache Foundation) изменить лицензию React JS, Flow, Jest и Immutable.js на MIT. Также речь идёт о возможном изменении лицензий на другие продукты компании. Вот пост от FB — https://goo.gl/6fU1vP, а вот старая новость об отказе со стороны FB менять лицензию — https://goo.gl/ShqBRH.

Компания Yahoo недавно выпустила в свет свой Big Data Engine под названием Vespa — http://vespa.ai/. Судя из описания, Vespa создавалась в первую очередь для построения поисковых и рекомендательных систем внутри Yahoo (Yahoo Mail, Flickr, Yahoo Ads). Радует подробная документация и описание архитектуры системы. В планах у компании тесная интеграция движка с TensorFlow совместно с Google. Оригинальный пост про движок можно почитать тут — http://blog.vespa.ai/post/165763618906/open-sourcing-vespa-yahoos-big-data-processing