Занятная статья про упорство и трудолюбие, которое может привести к получению офферов от крупнейших IT компаний мира. Читаем на "Хабре" - https://goo.gl/gbfAzN

Около месяца назад начал проходить сразу 2 специализации на платформе Coursera:

- Машинное обучение и анализ данных от МФТИ
- Big Data for Data Engineers от Яндекса

Последняя специализация, к слову, была запущена чуть больше месяца назад. На сегодня закончил по 1 курсу из каждой специализации, а именно вот эти:

- Математика и Python для анализа данных (мой сертификат)
- Big Data Essentials: HDFS, MapReduce and Spark RDD (мой сертификат)

Хочу поделиться мыслями о курсах. Начнём с первого.

Цель курса "Математика и Python для анализа данных" — обозначить необходимый набор навыков для успешного прохождения всей специализации. Здесь вы найдёте небольшое введение в язык Python и его инструменты для анализа данных: pandas, numpy, scipy, остальная же часть курса посвящена математическому аппарату, а именно темам из линейной алгебры (матрицы, векторы, векторное пространство), теории вероятностей и немного затронут математический анализ — предел и производная. Особенно понравился упор на прикладные задачи, т.е. изучая, например, матрицы или векторы, понимаешь как их применять для решения прикладных задач. Но курс всё таки требует некоторой предварительной подготовки по обозначенным мною темам.

Эти материалы возможно помогут при прохождении курса:
- Essence of linear algebra
- Введение в pandas

Big Data Essentials это первый из 5 курсов, посвященных "горячей" нынче теме про построение инфраструктуры для эффективного анализа данных. Анонс специализации я делал у себя в Telegram канале в первой половине октября. Тогда я только присматривался, в итоге решил проходить. Что из себя представляет первый курс? Это плавное введение в основные инструменты анализа больших данных — Apache Hadoop и Apache Spark. Из 6 недель курса, 2 недели исключительно практические, вообще практических заданий тут хватает. Материалы курса предполагают некоторый опыт программирования, от себя добавлю, что большим плюсом будет наличие навыка в функциональном программировании. К сожалению, есть и ряд минусов. Так как материал появился относительно недавно, в нём есть ошибки из-за которых я терял время. Во-первых, встречаются задания с ошибками в формулах и коде, частенько "валился" удалённый hadoop/spark кластер. Мой совет перед выполнением заданий — активно читайте форум, тестируейте код локально на небольших кусках данных, по возможности поднимите свой docker-контейнер с hadoop или spark (в материалах есть ссылка на контейнер, а на форуме инструкция по настройке). Ещё смущает дичайший русский акцент, иногда в речи встречаются неверно составленные предложения, но к этому можно привыкнуть.

Изучение продолжается. На очереди у меня "Обучение на размеченных данных" и "Big Data Analysis: Hive, Spark SQL, DataFrames and GraphFrames". Скучно точно не будет :)

13 декабря пройдет бесплатный вебинар «Создай свою первую модель машинного обучения».

Вы соберете и проанализируете данные с сайта hh.ru, на основе которых создадите модель регрессии и оцените результаты. Также вы узнаете секреты работы с категориальными и текстовыми данными.

Ведущий — Петр Ермаков, руководитель отдела аналитики Mail.Ru Group.

Регистрация — https://goo.gl/EkXxwo.

Сегодня я подготовил небольшой дайджет свежих материалов, которые могут вас заинтересовать. Пожалуйста, поделитесь мнением, нравится ли вам такой формат? http://telegra.ph/Interesnoe-v-IT-1-12-12

Внимание! Подъехала годнота в виде докладов с прошедшего Highload++ 2017. Качаем, смотрим, комментируем. Для просмотра кликайте по ссылке https://goo.gl/X2UDRn

Ребят, соскучились?) Месяц сюда ничего не постил в связи с сильной занятостью, да и событий после праздников интересных пока не происходило. Сегодня хочу поделиться с вами книгой, которую заканчиваю читать и она, пожалуй, лучшая из тех, что я прочитал в 2017 году. Называется она Designing Data-Intensive Applications, на русском языке пока не издавалась. Чем же примечательна эта книга? Ранее я упоминал, что интересуюсь темой Data Engineering, и даже взял специализацию в Яндексе. Материала по теме очень мало в сети, поэтому собирать приходится по крупицам. Книга Designing Data-Intensive Applications поможет вам влиться в тему разработки распределённых систем, расскажет как работают транзакции, в чем отличия между Thrift, Avro и Protobuf. Особенно полезно будет тем, кто только начинает свой путь в разработке сложных бекендов, интересуется как работает репликация, что такое CAP-теорема да и вообще какие проблемы могут возникнуть при взаимодействие распределённых систем между собой.

Примечательной особенностью книги является простота с которой написан текст. Здесь вы не найдёте сложных математически формул или академического стиля повествования. Всё просто и доступно. Эта книга настоящий кладезь знаний для современного разработчика! В сети можно найти электронную версию книги, я же заказал её с Amazon в бумажном виде (это того стоит).

На днях были опубликованы видео с проходившей в ноябре конференции PiterPy № 4 — посмотреть. Каждый год PiterPy понемногу эволюционирует в международную конференцию, учитывая интересы иностранных докладчиков и гостей, поэтому в этот раз можно увидеть переводы англоязычных докладов на русский и обратно. Также в сети стали доступны доклады с конференции Highload++ Junior 2017 (HLj) — смотреть. Доклады будут интересны в первую очередь начинающих "хайлоудерам", помогут систематизировать знания.

​​​​С 13 по 15 февраля на ВДНХ пройдет MentorHack – хакатон по созданию IT-решений для развития движения наставничества в корпоративной среде, предпринимательстве и образовании.
К участию приглашаются все желающие с опытом в разработке, анализе данных и машинном обучении, product-менеджменте или HR. В рамках хакатона командам предлагается разработать решения по двум направлениям:
- Поиск и подбор наставников для специалистов и проектов, сборка команд и подбор сотрудников под проекты.
- Автоматизация процессов в рамках наставничества — менеджмент, обучение, рекрутинг и HR, трекинг и экспертиза.
Организаторы приветствуют самые разные идеи: от сервисов для подбора ментора начинающему специалисту и стартапу по его описанию или программиста по стилю кода до ассистентов по адаптации новых сотрудников или для генерации резюме встречи и рабочей переписки.
Непосредственно на работу отводится 48 часов в режиме нон-стоп с двумя чек-поинтами, во время которых участники демонстрируют прототипы и получают от них обратную связь. Команды, которые успешно пройдут оба чек-пойнта, представят проекты жюри и смогут побороться за призовой фонд в размере 500 тысяч рублей, за призы в отдельных спецноминациях с призами от партнеров и инвестиции.

Статья на Хабре: https://habrahabr.ru/company/goto/blog/347772/

Подробности: mentorhack.ru

Нашел в сети шедевральный awesome-список — awesome-scalability. Кладезь для тех, кто хочет погрузиться в тему масштабирования приложений и data engineering. Советую добавить к себе в watch-лист на гитхабе и поставить звезду, чтобы следить за обновлениями.

А ещё, Brandon Rhodes у себя в твиттере объявил о том, что каждую неделю он будет писать на сайте http://python-patterns.guide/ про новый дизайн-паттерн на Python. Уже есть 1 пост про Decorator Pattern.

Также в сети стали доступны доклады с прошедшего митапа San Francisco Python. Из всех стоит отметить основательную презентацию новой фичи в предстоящем релизе Python 3.7 — Data Classes от Raymond Hettinger. Смотрим.

​​Открыт набор на профессиональный курс разработчик Python от OTUS запускается третья группа!
Изучайте программу, сдавайте вступительное тестирование, присоединяйтесь к группе! https://otus.pw/u7s9/
Программа профессионального курса включает в себя изучение прикладных задач и освоение инструментов применяемых при разработке инфраструктурных решений, веб-приложений, систем контроля качества и аналитических систем, а также освоения искусства написания прагматичного и идеоматичного кода, который не стыдно не только запустить но и показать.
Успешным выпускникам будет предложено пройти собеседования на релевантные позиции в компаниях - партнерах проекта, топовых IT компаниях страны, а компания Avito готова предоставить специальные условия - компенсировать стоимость обучения в случае трудоустройства по окончании курса.

Внятных материалов по теме Data Engineering нынче днём с огнём не сыщешь, поэтому любая информация на вес золота. Не так давно наткнулся на статью с захватывающим названием A Beginner’s Guide to Data Engineering. Автор некий Robert Chang, работающий в Airbnb на позиции Data Scientist. Сейчас у него в блоге опубликована первая часть материала из 3 частей. В ней неплохо раскрыта суть професии, а также необходимый багаж знаний для погружения в область.

Образовательная платформа DataCamp не так давно анонсировала запуск подкаста DataFramed, где в одном из выпусков гостем был этот самый Robert Chang. Подкаст получился полезным, предлагаю послушать самим.

Ребят, хотел немного рассказать про второй курс специализации Машинное обучение и анализ данных от МФТИ и Яндекса. В отличие от первого курса, второй полностью посвящен непосредственно машинному обучению, а в частности обучению на размеченных данных (т.н. Supervised Learning), т.е. классическое обучение с учителем. Курс состоит из 5 недель, где вас ждёт обильное количество практических заданий в которых вас попросят реализовать алгоритм градиентного спуска, запрограммировать дерево решений, случайный лес и покажут как работает градиентный бустинг (и многое другое). Не обойдут стороной и популярную библиотеку scikit-learn, незаменимый инструмент для специалиста, использующего Python.

Помимо практической составляющей, курс также богат на теорию, а именно математический аппарат. Желательно иметь интуитивное понимание производной. По мере прохождения специализации мне очень помогает книга Введение в машинное обучение на Python от одного из авторов scikit-learn. В ней авторы постарались собрать как можно больше практических примеров при этом не вдаваясь глубоко в теорию работы алгоритмов. Книга служит неплохим дополнением к теоритическому материалу курса, а также руководством по работе с библиотекой scikit-learn (в курсе материал не настолько глубокий по ней). Советую её, если вы вдруг задумались об изучении ML.

Ну и по традиции ссылка на сертификат о прохождении.

Всем доброго дня!

Сегодняшний пост посвящаю распределённым системам. Сейчас эта тема как никогда актуальна, учитывая сложность современных приложений.

Итак, на моём горизонте появились 2 новые книги, одна из которых по праву может считаться христоматийной в своей области - Distributed Systems (уже 3-е по счёту издание) от Maarten van Steen и Andrew Tanenbaum. Для тех, кто в танке, Эндрю Таненбаум был научным руководителем у Werner Vogels, который сейчас занимает должность технического директора в Amazon и чьё детище мы знаем как Amazon Web Services. Эту книгу можно абсолютно бесплатно скачать на сайте автора, оставив заявку. Я пошел дальше и заказал бумажную копию на Amazon, обязательно после прочтения напишу рецензию. Книга объемная и легко может претендовать на справочник.

Вторая называется Designing Distributed Systems, автор один из главных архитекторов и разработчиков Microsoft Azure - Brendan Burns. Книга получилась небольшой (160+ страниц) и скорее является best practices по построению распределённых систем, описывая лучшие паттерны проектирования. Электронную версию можно скачать бесплатно на сайте Microsoft или заказать на Амазоне бумажную версию.

Обе книги достойны внимания и могу дать серьёзный толчок в продвижении в теме распределённых систем.

Желаю вам приятного чтения и отличных выходных!

Нашёл топовый гайд по AWS. Наша команда сейчас активно переносит всю инфраструктуру в облако, и приходится в режиме нон-стоп разбираться что да как. Одним словом - AWS это отдельная вселенная. Также планирую написать небольшой пост в блоге про работу с данными в Amazon Redshift. Вот материал для тех у кого нет времени читать доки.

​​Архитектура современного компьютера это основа основ. Без фундаментальных знаний в этой области сложно писать элегантный и быстрый код. Если у вас также как и у меня есть пробелы в этой теме, то вот вам на обозрение мощнейший курс от Универститета Цюриха.

Каждая лекция длится более 2-х часов, скучать не придётся 😉 Также на сайте доступны все домашние задания и экзамены.

Подъехала годнота от Гугла, а именно, Корпорация Добра выпустила в свет курс по машинному обучению на Tensorflow. Выглядит впечатляюще, планирую на выходных познакомиться поближе. Изучаем https://goo.gl/mKtCUu

​​В одном из своих постов я упоминал отличную книгу под названием Designing Data-Intensive Applications, так вот, рад сообщить, что издательство "Питер" выпустило перевод этой книги под названием "Высоконагруженные приложения". Перевод названия немного странный, но тем для кого английский язык является барьером, книга может послужить хорошим введением в тему. Заказать бумажную версию книги можно здесь.

Нашел в сети классную подборку статей сгруппированную по категориям и уровням сложности для программистов на Go. Enjoy!

​​В SkillFactory открылся набор на очный курс «Практический Machine Learning» https://goo.gl/n69Lve

За 1.5 месяца участники пройдут все этапы обработки данных и построения модели машинного обучения с помощью Python и освоят профессию Data Scientist. Преподаватели из Mail.ru используют проверенные методы обучения. Знают, что и в каком порядке изучать, чтобы быстро овладеть машинным обучением.

Подробности и регистрация → https://goo.gl/n69Lve

​​Добрый всем субботний вечер!

Хочу представить вам свой маленький, но полезный проект по поиску удалённой работы. Давно думал о том, чтобы собрать в одном месте как можно больше актуальных вакансий с возможностью работать из любой точки мира. Задумано — сделано. За пару вечеров набросал MVPшку. Получился годный агрегатор вакансий, который ходит по сайтам (сейчас на его прицеле Мой круг, Stackoverflow, vc.ru, landing.jobs, weworkremotely; новые будут активно добавляться по мере сил) и добавляет в базу свежие предложения — https://remotelist.ru

Вакансии с сайта также транслируются в телеграм-канал @remotelist в виде дайджестов (спасибо, Telegraph!) каждые 2 часа при условии наличия новых предложений. Подписывайтесь! 😀

По этому поводу написал небольшой пост у себя в блоге. Кому интересно - велкам — https://khashtamov.com/ru/remote-job-aggregator/

Всем привет! Пройдите, пожалуйста, небольшой опрос на тему сохранения ссылок. Он не займёт больше 30 секунд вашего времени. У меня есть идея небольшого проекта с закладками. Опрос можно пройти по ссылке https://goo.gl/forms/jDSxERXEG8BQJaGt2