Внятных материалов по теме Data Engineering нынче днём с огнём не сыщешь, поэтому любая информация на вес золота. Не так давно наткнулся на статью с захватывающим названием A Beginner’s Guide to Data Engineering. Автор некий Robert Chang, работающий в Airbnb на позиции Data Scientist. Сейчас у него в блоге опубликована первая часть материала из 3 частей. В ней неплохо раскрыта суть професии, а также необходимый багаж знаний для погружения в область.

Образовательная платформа DataCamp не так давно анонсировала запуск подкаста DataFramed, где в одном из выпусков гостем был этот самый Robert Chang. Подкаст получился полезным, предлагаю послушать самим.

Ребят, хотел немного рассказать про второй курс специализации Машинное обучение и анализ данных от МФТИ и Яндекса. В отличие от первого курса, второй полностью посвящен непосредственно машинному обучению, а в частности обучению на размеченных данных (т.н. Supervised Learning), т.е. классическое обучение с учителем. Курс состоит из 5 недель, где вас ждёт обильное количество практических заданий в которых вас попросят реализовать алгоритм градиентного спуска, запрограммировать дерево решений, случайный лес и покажут как работает градиентный бустинг (и многое другое). Не обойдут стороной и популярную библиотеку scikit-learn, незаменимый инструмент для специалиста, использующего Python.

Помимо практической составляющей, курс также богат на теорию, а именно математический аппарат. Желательно иметь интуитивное понимание производной. По мере прохождения специализации мне очень помогает книга Введение в машинное обучение на Python от одного из авторов scikit-learn. В ней авторы постарались собрать как можно больше практических примеров при этом не вдаваясь глубоко в теорию работы алгоритмов. Книга служит неплохим дополнением к теоритическому материалу курса, а также руководством по работе с библиотекой scikit-learn (в курсе материал не настолько глубокий по ней). Советую её, если вы вдруг задумались об изучении ML.

Ну и по традиции ссылка на сертификат о прохождении.

Всем доброго дня!

Сегодняшний пост посвящаю распределённым системам. Сейчас эта тема как никогда актуальна, учитывая сложность современных приложений.

Итак, на моём горизонте появились 2 новые книги, одна из которых по праву может считаться христоматийной в своей области - Distributed Systems (уже 3-е по счёту издание) от Maarten van Steen и Andrew Tanenbaum. Для тех, кто в танке, Эндрю Таненбаум был научным руководителем у Werner Vogels, который сейчас занимает должность технического директора в Amazon и чьё детище мы знаем как Amazon Web Services. Эту книгу можно абсолютно бесплатно скачать на сайте автора, оставив заявку. Я пошел дальше и заказал бумажную копию на Amazon, обязательно после прочтения напишу рецензию. Книга объемная и легко может претендовать на справочник.

Вторая называется Designing Distributed Systems, автор один из главных архитекторов и разработчиков Microsoft Azure - Brendan Burns. Книга получилась небольшой (160+ страниц) и скорее является best practices по построению распределённых систем, описывая лучшие паттерны проектирования. Электронную версию можно скачать бесплатно на сайте Microsoft или заказать на Амазоне бумажную версию.

Обе книги достойны внимания и могу дать серьёзный толчок в продвижении в теме распределённых систем.

Желаю вам приятного чтения и отличных выходных!

Нашёл топовый гайд по AWS. Наша команда сейчас активно переносит всю инфраструктуру в облако, и приходится в режиме нон-стоп разбираться что да как. Одним словом - AWS это отдельная вселенная. Также планирую написать небольшой пост в блоге про работу с данными в Amazon Redshift. Вот материал для тех у кого нет времени читать доки.

​​Архитектура современного компьютера это основа основ. Без фундаментальных знаний в этой области сложно писать элегантный и быстрый код. Если у вас также как и у меня есть пробелы в этой теме, то вот вам на обозрение мощнейший курс от Универститета Цюриха.

Каждая лекция длится более 2-х часов, скучать не придётся 😉 Также на сайте доступны все домашние задания и экзамены.

Подъехала годнота от Гугла, а именно, Корпорация Добра выпустила в свет курс по машинному обучению на Tensorflow. Выглядит впечатляюще, планирую на выходных познакомиться поближе. Изучаем https://goo.gl/mKtCUu

​​В одном из своих постов я упоминал отличную книгу под названием Designing Data-Intensive Applications, так вот, рад сообщить, что издательство "Питер" выпустило перевод этой книги под названием "Высоконагруженные приложения". Перевод названия немного странный, но тем для кого английский язык является барьером, книга может послужить хорошим введением в тему. Заказать бумажную версию книги можно здесь.

Нашел в сети классную подборку статей сгруппированную по категориям и уровням сложности для программистов на Go. Enjoy!

​​В SkillFactory открылся набор на очный курс «Практический Machine Learning» https://goo.gl/n69Lve

За 1.5 месяца участники пройдут все этапы обработки данных и построения модели машинного обучения с помощью Python и освоят профессию Data Scientist. Преподаватели из Mail.ru используют проверенные методы обучения. Знают, что и в каком порядке изучать, чтобы быстро овладеть машинным обучением.

Подробности и регистрация → https://goo.gl/n69Lve

​​Добрый всем субботний вечер!

Хочу представить вам свой маленький, но полезный проект по поиску удалённой работы. Давно думал о том, чтобы собрать в одном месте как можно больше актуальных вакансий с возможностью работать из любой точки мира. Задумано — сделано. За пару вечеров набросал MVPшку. Получился годный агрегатор вакансий, который ходит по сайтам (сейчас на его прицеле Мой круг, Stackoverflow, vc.ru, landing.jobs, weworkremotely; новые будут активно добавляться по мере сил) и добавляет в базу свежие предложения — https://remotelist.ru

Вакансии с сайта также транслируются в телеграм-канал @remotelist в виде дайджестов (спасибо, Telegraph!) каждые 2 часа при условии наличия новых предложений. Подписывайтесь! 😀

По этому поводу написал небольшой пост у себя в блоге. Кому интересно - велкам — https://khashtamov.com/ru/remote-job-aggregator/

Всем привет! Пройдите, пожалуйста, небольшой опрос на тему сохранения ссылок. Он не займёт больше 30 секунд вашего времени. У меня есть идея небольшого проекта с закладками. Опрос можно пройти по ссылке https://goo.gl/forms/jDSxERXEG8BQJaGt2

В одном из своих постов я упоминал классную серию статей про устройство файловой системы https://news.1rj.ru/str/devbrain/145, а вчера стали доступны лекции с Devoxx, где автор этих статей выступил с полезным докладом "What Every Programmer has to know about Database Storage", смотрим — https://youtu.be/e1wbQPbFZdk

И сразу в догонку, классный доклад про построение event-driven приложений/микросервисов (они же реактивные) на основе Apache Kafka — https://www.youtube.com/watch?v=IR1NLfaq7PU. Другие доклады с Devoxx смотрите на их официальном канале на Ютубе https://www.youtube.com/channel/UCCBVCTuk6uJrN3iFV_3vurg/videos

​​14 марта в 20:00 состоится открытый вебинар в рамках набора на курс “Разработчик BigData” от OTUS.
Присоединяйтесь! https://otus.pw/CS94/

Тема урока: “Преобразование признаков. Построение процесса преобразования признаков с помощью sklearn pipeline”.
Знаниями поделится Ксения Стройкова, которая познакомит вас с основными техниками и преимуществами использования pipeline.
До встречи на занятии!

​​​​Ни для кого не секрет, что Python стал популярен во многом благодаря наличию мощнейших библиотек по анализу данных. Таких как pandas, scikit-learn, scipy, numpy и т.д. Поэтому неудивительно, что моя вводная статья в pandas стала столь популярной.

Для тех у кого нет времени разбираться самостоятельно во всём многообразии data science инструментов в экосистеме Python, ребята из SkillFactory подготовили онлайн-курс Python для анализа данных на который сейчас активно набирается группа. Дата старта — 28 марта. За месяц участники овладеют навыками анализаx данных, научатся работать с большими файлами, скрейпить веб-страницы и т.д.

Преподаватель: Константин Башевой — старший аналитик «Ростелеком».

Подробности и регистрация → https://goo.gl/oxzKjY

​​Облачные технологии меняют бизнес. Как убедиться, что перемены не проходят мимо вас, расскажут ребята из Microsoft. Участвуйте в их мероприятии Azure Атлас и узнайте всё, что нужно знать о гибридных инфраструктурах, как их строить и использовать. Кстати, участвовать можно, не выходя из дома — мероприятие пройдёт 20 марта в формате онлайн.
https://goo.gl/m2cKe6

Максим, разработчик из Facebook Лондон (раньше. работал в ВК), делится мыслями о жизни, путешествиях и своей работе на личном канале @better_dont. Тем, кому интересно как живут наши за бугром, подписывайтесь! Вот небольшая история про его путь в ФБ http://telegra.ph/O-pereezde-iz-Kanady-puteshestvii-v-SSHA-i-rabote-v-Fejsbuke-v-Londone-03-15

Сборник докладов про Python за 2018 год. Основная масса видео на русском языке https://goo.gl/3DoVoB

​​Сегодня в 20:00 по Москве День открытых дверей курса "BigData" — на встрече можно будет познакомиться с преподавателем курса Ксенией Стройковой — математиком, аналитиком, участницей проектов Mail.RU Group по обработке больших данных и наконец просто красавицей ;)

А также задать интересующие вопросы о программе курса, узнать о проекте и партнерах, трудоустройстве после курса и специальных условиях от компании Avito, готовой компенсировать выпускникам программы стоимость всего обучения.

И самый приятный бонус встречи — среди успешно прошедших вступительное тестирование будут разыграны бесплатные места на курсе.
Присоединяйтесь! https://otus.pw/BeGW/

Написал у себя в блоге пост про реализацию механизма авторизации на сайте через Telegram Login Widget. Код базируется на известном пакете python-social-auth, куда я сделал небольшой contribution. Собственно пост — https://goo.gl/Zj9Wzf

​​Каково будет вашему бизнесу, если корпоративные данные окажутся в руках хакеров? Спойлер: будет не очень. Чтобы такого не произошло, переключайтесь на облако.

29 марта присоединяйтесь к вебинару Microsoft «Простые сценарии использования облачной платформы Microsoft» и узнайте, как виртуальная платформа защищает данные и помогает решать бизнес задачи — от постройки корпоративного портала до использования 1С Bitrix в публичном облаке: https://aka.ms/azure_tg11