Road map для тех, кто хочет связать себя с карьерой Data Scientist.

Нашел вебкаст от Gitlab, где разработчики делятся мнением почему они выбрали в качестве Web UI фреймворк Vue.js https://youtu.be/ioogrvs2Ejc

Наверняка все уже слышил, что Google официально признал Kotlin языком программирования в Android. Напомню, что Kotlin является разработкой от компании JetBrains (создатели PyCharm, WebStorm, Intellij IDEA и тд). Так вот, недавно Технострим начал активно публиковать серию видеоуроков про Kotlin — https://goo.gl/EPo85s. Технострим радует в последнее время своими публикациями, вот, например, 2 части видео про обработку больших данных на Spark — https://www.youtube.com/watch?v=kVnCncDMX68 или про основы Deep Learning и нейронных сетей — https://www.youtube.com/watch?v=db0Qxm8E2qE

Я адепт языка Python, активно пишу на нём где-то с 2011 года. В прошлом в основном использовал его для разработки веб-приложений, в частности используя веб-фреймворк Django, сейчас стал применять его в области анализа и обработки больших объёмов данных. Чтобы всегда быть в курсе всех событий, необходимо много читать. В подборке нового материала по Python мне уже не раз помогал Telegram канал, позиционирующий себя как крупная база книг по Python — @python_textbooks

Давненько не писал сюда в связи с активным изучением темы Big Data ввиду задач по работе. Сейчас активно погружаюсь в тему распределённых хранилищ данных и анализ огромного массива информации. Несомненно, что на горизонте моего внимания оказался такой гигант как Hadoop и его файловая система HDFS. В Интернете много информации по нему, но больше всего мне понравились лекции из курса на платформе stepik https://goo.gl/Xwsb7p Курс больше теоретический, но концентрация полезной информации в нём просто зашкаливает - минимум воды, максимум полезной инфы. Особенно интересно будет тем, кто только-только начинает свой путь в "биг дату" =) Помимо инструментов из экосистемы Hadoop, не менее крутым инструментом для построения аналитических систем можно считать распределённую noSQL БД Cassandra (или C*, её особенность в том, что у неё отсутствует Single point of failure). По ней мне больше всего понравилась лекция парня из DataStax https://goo.gl/STwneJ, лекция записана 3 года назад, но концепция работы БД рассказана в ней отлично.

Классная статья с обзором сегодняшних трендов в экосистеме больших данных https://blog.insightdatascience.com/the-data-engineering-ecosystem-in-2017-2c2a3429350e. Кстати, эти ребята занимаются обучением по программам Data Engineering и Data Science бесплатно, но при условии, что у вас есть право на работу в США (мне пришел отказ в приёме по причине отсутствия рабочей визы). Помимо статьи, они запилили классную интерактивную карту с обзором технологий http://xyz.insightdataengineering.com/blog/pipeline_map/. Пожалуй, тема data engineering сейчас для меня наиболее актуальная, поэтому ждите новых постов на эту тему здесь и в блоге!

Ценители VueJS наверняка уже слышали о том, что прошла первая тематическая конференция - VueConf. На официальном канале конференции сейчас потихоньку появляются видеозаписи выступлений участников. Посмотреть можно тут https://goo.gl/FPMiTz

Прошедшая неделя порадовала нас выходом видео-лекций с SciPy 2017 и PyData Seattle 2017. Плейлист SciPy https://goo.gl/eEbny6, плейлист PyData https://goo.gl/kvV9d5. Лекций очень много и все они разнообразны по своей тематике, я лишь отмечу 6 часовой экскурс в машинное обучение на Python с использованием библиотеки scikit-learn, начало тут https://www.youtube.com/watch?v=2kT6QOVSgSg. Если вам нравится тема анализа данных на Python, то найдите время и пробегитесь по списку тем, уверен, что что-то интересное да приглянется. Хорошего вам выходного дня!

В прошлом месяце я выкладывал ссылку на цикл видео-лекций про Hadoop на русском языке от Mail.Ru, они были больше теоретические, но тем не менее полезные для вхождения в область больших данных. А вот на днях нашел плейлист с практическими лекциями про Hadoop, HDFS, парадигму Map/Reduce и экосистему Apache в области больших данных (Kafka, HBase, Cassandra, Hive и тд). Осилил пока только первое видео, но уже нравится. Вода отсутствует. Советую ознакомиться https://goo.gl/J834pT

Совсем недавно в Австралии прошел PyCon — PyCon Australia, все видео с прошедшей конференции доступны здесь https://goo.gl/42MaaR

Автостопом по машинному обучению на Python. Краткий сборник методов машинного обучения в одной статье с видео — https://goo.gl/afRE9m

В середине июля в России проходила ежегодная конференция PyCon RU 2017, видео докладов с прошедшего ивента можно посмотреть вот здесь https://goo.gl/yijbCw

А слайды с PyCon RU 2017 находятся тут https://goo.gl/pjkeLh

Нашел полезный курс из 5 лекций про СУБД в Highload проектах. Ведёт его руководитель разработки Почта Mail.RU — https://goo.gl/VXCHXL. Сейчас как раз в процессе просмотра 2-й лекции, рекомендую, т.к. раскрываются в первую очередь фундаментальные знания необходимые для построения высоконагруженных проектов.

Лекция именитого Jeff Dean в стенах Y Combinator. Jeff рассказывает про AI. Для тех, кто не знает, Jeff Dean автор таких штук как MapReduce, Tensorflow, BigTable, LevelDB и много чего другого. Работает в Google аж с 1999 года. https://www.youtube.com/watch?v=HcStlHGpjN8

Тема с конструированием data pipelines или в простонародье Data Engineering сейчас как никогда актуальна, а полезной информации в сети не так много как хотелось бы. В связи с чем любая инфа на вес золота. Я не так давно стал собирать материал по этой теме, и в ближайшее время сделаю небольшой анонс, ну а пока поделюсь с вами 2-мя статьями, на мой взгляд, отлично демонстрирующими перспективы и проблемы профессии Data Engineer. К слову, написал их Data Engineer из компании Airbnb, который является автором проектов Apache Airflow и Apache Superset: https://medium.freecodecamp.org/the-rise-of-the-data-engineer-91be18f1e603 и https://medium.com/@maximebeauchemin/the-downfall-of-the-data-engineer-5bfb701e5d6b

Как всё таки так получилось, что Python нынче чуть ли не lingua franca в мире анализа данных? (Data Science). Посмотрел недавно 100% концентированный и полезный материал по этой теме от Jake Vanderplas на прошедшей PyData в Сиэтле, чего и вам советую — https://goo.gl/rvL4Vj. Особенно нравится экскурс в историю развития языка в этом направлении, а также обзор ключевых инструментов и личностей благодаря которым Python стал таким популярным. Must watch!

На образовательной платформе Coursera вчера стартанул курс уровня Intermediate для изучения языка Python от Mail.RU (на русском языке) — https://goo.gl/JXNfrQ. Для получения сертификата необходимо курс купить ($79, дорого), но если он вам не нужен, а нужны знания, то курс можно пройти абсолютно бесплатно. К слову, в курсе есть материал как для новичков, так и для более продвинутых программистов на Python, а именно тема с многопроцессорной и многопоточной обработкой, асинхронное программирование (asyncio), метаклассы, дескрипторы, сопрограммы и многое другое. Преподаётся Python3.

Вчера в блоге Dropbox появилась статья про тюнинг Nginx от Dropbox SRE Алексея Иванова — https://goo.gl/RoViDm. Пост может смело претендовать на небольшую книгу, т.к. автор детально разбирает все уровни абстракции: начиная от железа и заканчивая прикладным уровнем.

Стали доступны в сети видео с прошедшей в США конференции DjangoCon US 2017 — https://goo.gl/BFYWoj

Нашел туториал по созданию БД на Си. Автор освещает в цикле статей собственный опыт создания небольшого аналога SQLite. Материал будет полезен тем, кто давно хотел разобраться как работаю B-деревья, парсеры DSL и другие полезные штуки в БД http://goo.gl/AcgMT6