Всем привет! 👋🏽

Big Data Science - канал о жизни Data Science, о его применении, эффективном использовании и просто о каких-то интересных фактах. Здесь будет размещаться самая актуальная информация, котороя поможет кому-то понять, что есть Data Science и в чем его смысл, для кого-то будет просто полезной, а кто-то найдёт, как её применить.

Поехали 💥

Чтобы сразу приоткрыть все карты, ловите на заметку инфографику🤓

Обзор Data Science профессий📜

👨🏼‍💼Data Scientist - это эксперт по аналитическим данным, который обладает техническими навыками для решения сложных задач, а также любопытством, которое помогает эти задачи ставить. Они частично математики, частично компьютерные ученые и частично трендспоттеры.
Data Scientist требует реальных и практических знаний методов статистического анализа данных, навыков построения математических моделей (от нейронных сетей до кластеризации, от факторного до корреляционного анализов), работы с большими массивами данных и уникальной способности находить закономерности.

👨🏼‍🔧Data engineer должен владеть всем необходимым инструментарием хранения и обработки больших массивов данных. Data Engineer в основном занимается вопросами оптимального и надежного хранения и преобразования данных, а также обеспечения быстрого и удобного к ним доступа. Он отвечают за архитектуру данных.
Data Scientist же почти не заморачивается этими вопросами, его главная задача — уметь проанализировать данные, извлечь из них важную информацию и инсайты, построить и провалидировать модели и выдать какие-то полезные отчеты и выводы, либо готовые приложения, позволяющие решать те или иные предиктивные задачи.

👨🏼‍💻Статистик - это специалист, который занимается сбором, обработкой, анализом и предоставлением статистической информации.
Статистики собирают эмпирические данные из таких областей, как страхование, демография, социальная работа, управление качеством, медицинские и фармацевтические исследования, исследования рынка и общественного мнения или научные исследования. Они используют модели и методы анализа данных для оценки полученных данных. Результаты могут быть основанием для принятия бизнес-решений, понимания ситуации, например, для представления поведения покупателя или с целью прогнозирования или для оценки рисков.

Или наглядное сравнение этих трёх профессий по сфере деятельности, обязанностям, карьерному росту и так далее 👐🏼.

Какие существуют инструменты автоматизированного машинного обучения (AutoML) для автоматизации машинного обучения?
Как AutoML может помочь в работе Data Scientist?

Коротко об инструментах AutoML: они упрощают процесс обработки данных, делая все возможное, используя имеющуюся информацию.

В данной статье разобраны самые интересные AutoML инструменты, которые смогут вам помочь в работе с данными.

Читайте по ссылке👇👇

https://techgrabyte.com/11-automl-tools-automate-machine-learning/

🧐Big Data Science - это не только математика и сложные алгоритмы, но и глубокая связь с компьютерным железом.
Интересная статья о том, как связано машинное обучение нейросетей с ресурсами процессора:

https://m.habr.com/ru/post/455353/

❗️до 30 августа❗️

Если кто-то давно искал возможность участия в классном мероприятии, то вот она!
До 30 августа можно подать заявку в Russian Hack Team (на базе МФТИ). Отличный шанс классно развиваться, участвовать в топовых международных хакатонах, путешествовать по миру. Поэтому очень советую поучаствовать и пройти отбор!

Для кого: студенты/выпускники технических специальностей, IT-специалистов с опытом работы в компании или фрилансеров, основателей и сотрудников IT-стартапов.

Зарегистрироваться можно по ссылке 👇🏽❗️
http://russianhackteam.com/

Хочу быть Data Scientist или прокачаться в этой сфере, что делать

Сегодня Data Science - очень трендовая тема, ведь любая компания собирает данные, поэтому за последнее время к этой сфере особенно возрос интерес. Однако, чтобы стать Data Scientist нужны так или иначе знания в этой области.
Какие есть варианты?

🏛ВУЗЫ
⁃ Факультет компьютерных наук в Высшей Школе Экономики
⁃ Факультет инноваций и высоких технологий в МФТИ
⁃ Магистерская программа «Большие Данные» на факультете ВМиК МГУ
⁃ Магистерская программа по большим данным в СПБГУ

Однако вузы занимают достаточно продолжительное время обучения, что и является в данном случае минусом, и не всегда ясно, насколько это обучение может быть полезно.

💡НЕКОММЕРЧЕСКИЕ КУРСЫ ДОПОЛНИТЕЛЬНОГО ОБРАЗОВАНИЯ
Это специальные учебные центры, которые создаются компаниями специально для увеличения кадров на рынке. Однако, чтобы поступить на эти курсы, необходимо сдать определенные экзамены.
Самые известные:
⁃ Школа Анализа Данных «Яндекса» (Срок обучения - 2 года)
⁃ Техносфера Mail.RU и факультета ВМиК МГУ (Срок обучения - 2 года)
⁃ Технопарк Mail.Ru и МГТУ им. Баумана (Срок обучения - 2 года)
⁃ Центр компьютерных наук или Computer Science Center (Срок обучения - 2 года)

⚙️КОММЕРЧЕСКИЕ КУРСЫ
Здесь уже значительно более короткие сроки обучения.
⁃ Курс «Специалист по большим данным» от «Лаборатории Новых Профессий»
⁃ «Школа данных Билайна»
⁃ Изучение профессии Data Scientist при Нетологии (формат онлайн-вебинаров
и очных лекций)

🖥ОНЛАЙН-ОБРАЗОВАНИЕ
Большинство онлайн-курсов англоязычные, однако за последнее время число русскоязычных значительно увеличилось.
Можно выделить:
⁃ Специализация «Машинное обучение и анализ данных» на Coursera
⁃ «Введение в машинное обучение на Coursera»
⁃ «Анализ данных в R» на Stepic
⁃ Курс Эндрю Ына

Помимо курсов есть также митапы, Data Science - тусовки, например, DS-завтраки, конференции и различные интересные лекции и вебинары. Этих мероприятий бесплатные и на них может прийти любой желающий.

Конечно же выбирать вам, что лучше лично для вас, в том числе учитывая все финансовые и временные моменты.

Очень важно отметить, что сегодня сфера аналитики и больших данных не стоит на месте, поэтому постоянно открываются новые возможности, появляются новые курсы и также компании вводят новые должности, которых до этого не было. Так что необходимо всегда обновлять свои знания в данной сфере.

Удачи 💫

Modern Data Scientist? Who is it?

Видео докладов секции ML economics:

🔸Алексей Чернобровов – Как подготовить бизнес для Data Science
🔸Павел Мягких – Анализ бизнес-процессов для внедрения ML
🔸Федор Лавреньтев – Как не обанкротиться на машинном обучении
🔸Евгений Лимаренко – Ожидание бизнеса от DS стартапа (в бабках)

https://www.youtube.com/playlist?list=PLXggmPzAxFwp2BmXUpNvekhgITA82f2k3

Полезные библиотеки для Data Scientist на 5 разных языках (это не R и не Python):

1️⃣SCALA:
Scala - это современный мультипарадигмальный язык программирования с открытым исходным кодом, созданный Мартином Одерским в 2003 году. Scala означает «Масштабируемый язык». Он разработан, чтобы выразить общие стандарты программирования в краткой, элегантной и безопасной для типов форме.
Top Scala Libraries for Data Science:
⁃ Breeze - https://github.com/scalanlp/breeze
⁃ Vegas - https://github.com/vegas-viz/Vegas
⁃ Smile - https://github.com/haifengl/smile
⁃ DeepLearning.scala - https://github.com/ThoughtWorksInc/DeepLearning.scala

2️⃣JULIA:
Julia – это высокоуровневый высокопроизводительный свободный язык программирования с динамической типизацией, созданный для математических вычислений.
Top Julia Libraries for Data Science:
⁃ DataFrames.jl - https://github.com/JuliaData/DataFrames.jl
⁃ Plots.jl - https://github.com/JuliaPlots/Plots.jl
⁃ ScikitLearn.jl - https://github.com/cstjean/ScikitLearn.jl

3️⃣JAVASCRIPT:
JavaScript – это мультипарадигменный язык программирования. Поддерживает объектно-ориентированный, императивный и функциональный стили. 
Top JavaScript Libraries for Data Science:
⁃ Math.js - https://github.com/josdejong/mathjs
⁃ D3.js - https://github.com/d3/d3
⁃ Tensorflow.js - https://github.com/tensorflow/tfjs

4️⃣SWIFT:
Swift - это открытый мультипарадигмальный компилируемый язык программирования общего назначения. Создан компанией Apple в первую очередь для разработчиков iOS и macOS. 
Top Swift Libraries for Data Science:
⁃ Nifty (Demo) - https://github.com/nifty-swift/Nifty-demo
⁃ Swiftplot - https://github.com/KarthikRIyer/swiftplot
⁃ Swift for TensorFlow - https://github.com/tensorflow/swift
⁃ Swift AI - https://github.com/Swift-AI/Swift-AI


5️⃣SPARK:
Spark -  фреймворк с открытым исходным кодом для реализации распределённой обработки неструктурированных и слабоструктурированных данных, входящий в экосистему проектов Hadoop. 
Top Spark Libraries for Data Science:
⁃ Spark SQL - https://github.com/apache/spark/tree/master/sql
⁃ GraphX - https://github.com/apache/spark/tree/master/graphx
⁃ MLib - https://github.com/apache/spark/tree/master/mllib
⁃ Spark NLP - https://github.com/JohnSnowLabs/spark-nlp

💥Теперь в начале каждого месяца мы будем рассказывать о конференциях, митапах, мастер-классах и прочих ивентах по Big Data, Data Science и Machine Learning.
На многие из этих конференций в качестве слушателя можно попасть бесплатно по предварительной регистрации.
В сентябре нас ждут множество событий в Москве, Санкт-Петербурге, Нижнем Новгороде, Екатеринбурге и Франкфурте-на-Майне. Всю информацию вы сможете найти в прикрепленной таблице.

Участвуйте, делитесь опытом и и повышайте свой профессиональный уровень в Big Data Science!

Запуск Академии больших данных MADE

В сообществе уже известно, что с июля я работаю в Mail.ru Group. Настало время рассказать, что это значит.

К моим образовательным проектам добавился новый, очень важный для меня проект — Академия больших данных MADE.

Что такое MADE?
Mail.ru Group запускает образовательные программы для специалистов с опытом. Уже запустилась Академия продукт менеджеров.
Последние два месяца большую часть времени я искал преподавателей и уточнял программу для аналогичного (только более продолжительного) проекта для Data scientist’ов, ML и Data инженеров — Академии больших данных.

Длительность программы - 3 семестра (1,5 года), начиная с этого октября, обучение бесплатное.

Что будет в первом семестре?

Первый семестр — «выравнивающий». Он помогает всем подтянуть машинное обучение, алгоритмы и структуры данных и что-то по выбору: либо продвинутые курсы С++/Java/Python от опытных в продакшн-разработке преподавателей, либо прикладную статистику на курсе «Статистические методы анализа данных» Михаила Борисовича Лагутина (автора той самой «Наглядной матстатистики» — она же «книжка с коровой» 🙂

В случае курсов по программированию ожидается, что вы выбираете тот язык, на котором уже умеете писать код, но хотите делать это чуть увереннее и меньше бояться продакшена. Если же вы хотите быть тем аналитиком данных, который не пишет в продакшн… нет, никто не погонит вас вон из профессии, можете просто смело выбирать статистику и прокачиваться в теории 🙂 То же самое вы можете сделать, если в программировании вы уже сами можете учить кого угодно и чему угодно.

В этом одна из важный особенностей Академии больших данных — мы постарались учесть, что у компаний есть потребности в различных специалистах, а у людей бывают разные таланты, и построить процесс так, чтобы дать как можно большему числу людей возможность прокачаться. Кстати, заочное обучение тоже сразу будет. И это я пока рассказал только про первый семестр, а самое интересное будет во втором и третьем: очень много практики, интересные проекты, курсы про то, как делать ML в большой IT компании для сервисов с миллионами пользователей, ну и конечно — бесподобные преподаватели.

Когда живешь каким-то проектом, можешь говорить о нем очень много, но пожалуй не буду стараться запихнуть все мысли в один пост. Просто заходите на data.mail.ru и посмотрите, а чуть позже я еще напишу про отбор в академию, преподавателей, 2-3 семестр, почему Академия больших данных — это очень важный проект для Data Science сообщества и другие интересные вещи.

Поиск по датасэтам от Google. Пока в бета-версии.

https://toolbox.google.com/datasetsearch

📚Учебный год только начался, но для тех, кто хотел бы обучаться в университетах за границей по профилям Data Science, самое время задуматься о том, в какой вуз вы хотели бы пойти, узнать сроки подачи заявлений и начать собирать необходимые документы.
Есть варианты в Германии, Испании, Франции, Бельгии, Италии и даже Финляндии:
https://www.analyticsindiamag.com/data-science-in-europe-10-masters-programmes-you-can-apply-for/