Глубокое обучение (2018)
Автор: Гудфеллоу Я., Бенджио И., Курвилль А.

#data_analysis_rus

Five video classification methods in Keras and TensorFlow
https://blog.coast.ai/five-video-classification-methods-implemented-in-keras-and-tensorflow-99cad29cc0b5

​​Подборка Телеграм-каналов по анализу данных:

@BigQuery Insights - анализ больших данных в Google BigQuery, примеры решений и советы по работе с данными.

@WebAnalyst - WebAnalytics - полезное о веб-аналитике, повышению конверсии и анализу данных в маркетинге.

@ai_machinelearning_big_data - информация из мира Машинного обучения, Нейронных сетей и Искусственного интеллекта.

@datarootlabs - DataRoot University - бесплатные курсы data science / engineering и актуальные новости из сферы.

@deeplearning_ru - материалы из области Глубокого обучения с уклоном на Машинное зрение.

@just_data_science  -  об анализе данных и машинном обучении - понятным языком.

@owoxbicis - новости и статьи, инструменты, вебинары и конференции в сфере аналитики.

@heyml - Hey Machine Learning - новости по машинному обучению и искусственному интеллекту.

via @BigQuery

Небольшая коллекция вдохновляющих ML-экспериментов:
✨ https://aijs.rocks/

Многие вы точно видели, рекомендую походить по сайту — все примеры работают прямо в браузере.

Особенно мне понравился проект «Musical Spinners From Latent Space» – ML генерирует бесконечный космо-эмбиент, его даже можно слушать.

from: @denissexy

В современных компаниях накапливается большой объем данных, из которых можно извлекать важную аналитику, строить гипотезы или модели прогнозирования.
Data Enginer — это специалист, который как раз и собирает данные из разных источников, структурирует и передает аналитикам для принятия бизнес-решений.

Потребность в специалистах Data Engineering сейчас очень высокая и, по прогнозам, будет расти. По версии кадрового агентства Glassdoor, профессия Data Engineer входит в топ-10 в рейтинге самых лучших профессий Америки.

В SkillFactory запустили специализацию "Data Engineer", программа которой ориентирована на практику и изучение главных инструментов и направлений, подходит для тех, кто имеет знания по SQL, Linux и языка Python.
За 12 месяцев вы повысите свой профессиональный уровень и освоите новую специализацию дата-инженера.

Ознакомитесь с полной программой специализации: http://bit.ly/2UzPzHW

​​​​#RESEARCHproVenture #AIproVenture

Возможно, одна из немногих причин, почему неплохо было бы посетить ПМЭФ вчера - это увидеть презентацию отчета о развитии искусственного интеллекта в России и в мире от opentalks.ai.

Для затравки фото.

$5 млрд инвестиций, почти 60 тыс патентов и 180 тыс научных публикаций.

Сам отчёт в сообщении ниже.

via @proVenture

Немного подробнее о том, где можно применить дистанционную идентификацию по сердечному ритму:

Самая очевидная сфера — маркетинг: можно будет измерять, как меняется пульс зрителей, которые смотрят рекламный ролик или изучают новую вывеску в ТЦ.

Другая перспективная цель — HR. Сейчас данные носимых кардиографов позволяют определить уровень стресса и восстановления, оценить состояние физических и ментальных ресурсов. Для этого анализируется вариабельность сердечного ритма (ВСР) — показатель, который отображает влияние симпатической и парасимпатической нервной систем на организм. Jetson тоже позволит определять ВСР: менее точно, зато на расстоянии.

Датчики можно установить в публичных местах, чтобы отслеживать опасные состояния прохожих. Если разработчики создадут для технологии медицинский функционал, она станет еще одним инструментом для диагностики сердечно-сосудистых заболеваний, наряду с ECG- и PPG-трекерами. Больше людей получат шанс вовремя выявить нарушения ритма и потенциально — спасут себе жизнь. В мире снизится уровень смертности от ССЗ. Сейчас это причина смерти № 1 в мире, более 30% всех смертей. Снизив этот показатель на треть, можно спасти до 6 млн человек в год.

Возвращаемся из отпусков и регистрируемся на хакатон в рамках недели ИИ от Nvidia и МФТИ!

Задача хакатона: предложить самое безумное и неожиданное применение ИИ

Вас ждут:
- бесплатный доступ к курсу DLI от Nvidia для всех, презентовавших свое решение;
- Jetson Nano за самую безумную идею;
- возможность презентовать свою идею инвесторам, корпоратам и лабораториям МФТИ;
- возможность попасть на очный отборочный тур в Сборную России по хакатонам Russian Hack Team без отбора по анкетам;

Мы будем рады видеть:
- Команды до 5 человек из индивидуальных разработчиков и стартапы
- Аналитиков, продуктологов, дизайнеров, маркетологов

• Место проведения: кампус МФТИ, Институтский переулок 9 стр 7
• Даты проведения: 22-23 августа

Регистрируйся:
→ bit.ly/2KqYp4D

Чат Telegram:
→ bit.ly/2YTYOVs

Освойте самую востребованную технологию искусственного интеллекта!

У вас уже есть базовое понимание машинного обучения и знание языка Python? Повысьте компетенции и получите практические навыки по программированию глубоких нейронных сетей!

В SkillFactory открыт новый набор на курс "Deep Learning и нейронные сети" https://clc.to/8Q3OKA разработанный при поддержке NVIDIA Corporation.
Проекты, над которыми вы будете работать, включают:
● создание нейронной сети для распознавания рукописных цифр;
● обучение рекурентной сети задачам прогнозирования временных рядов;
● разработку нейросетевого чат-бота;
● создание модели для идентификации лиц и генерации лиц на основе архитектуры GAN;
● разработку агента для игры на основе DQN алгоритма.

Вы познакомитесь с основными библиотеками для Deep Learning, такими как TensorFlow, Keras и другими.

Узнайте подробности: https://clc.to/8Q3OKA

В последнее время особенно набирает обороты тема с дистилляцией. Двусмысленно получилось… Ну да ладно…

BERT оказался хорошим примером сильной модели, которую хочется использовать везде, но не везде можно, так как она тяжёлая, не на все устройства влезает и инференс на ней довольно долгий, что опять же ограничивает применение.

Направление сжатия и ускорения моделей сильно актуально и дистилляция оказалась одним из хороших вариантов этого добиться.

Итак, первый лот:

DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
Victor Sanh, Lysandre Debut, Julien Chaumond, Thomas Wolf
Статья: https://arxiv.org/abs/1910.01108

Эту модель все уже давно знают по посту от Hugging Face (https://medium.com/huggingface/distilbert-8cf3380435b5) и по их же реализации в библиотеке transformers (бывшая pytorch-transformers, которая теперь стала достаточно универсальной, чтобы обеспечить interoperability моделей между как раз только что вышедшим TF 2.0 и PyTorch), тоже на днях вместе с переименованием обновившейся до версии 2.0.0 (https://github.com/huggingface/transformers/releases). Кажется, это самая популярная быблиотека, сожержащая наиболее популярные предобученные модели на трансформерах (https://github.com/huggingface/transformers#model-architectures).

В предверии NeuralIPS 2019 вышла наконец и статья на arxiv.

Собственно DistilBERT — это дистиллированный BERT, примерно на 40% меньший по размеру, на 60% более быстрый и сохраняющий 97% качества оригинального BERT’а (BERT-base на самом деле).

Идея дистиллирования весьма проста. Давайте обучим более простую модель (ученика), воспроизводящую поведение более сложной модели (учителя).

Модель-студент в DistilBERT — это модель, где слоёв в два раза меньше, а их размерность остаётся прежней (типа, все BLAS вычисления настолько оптимизированы, что это слабо влияет). Слои студента инициализируются весами из модели-учителя.

В случае DistilBERT мы воспроизводим финальное распределение вероятностей после softmax в задаче masked language modeling (MLM).

Функция потерь — это комбинация обычного MLM loss с новым кросс-энтропийным лоссом, штрафующим за непохожесть предсказаний ученика на предсказания учителя. Также добавляется косинусный лосс на эмбеддинги, чтобы вектора скрытых состояний обеих моделей смотрели в одинаковых направлениях.

Кроме того в DistilBERT применены улучшения из недавней RoBERTa: обучение на больших батчах (4К), динамические маски и отсутствие Next Sentence Prediction (NSP) задачи.

Обучали DistilBERT на том же датасете, что и BERT. 90 часов на 8xV100 (16Gb) против 1 дня на 1024xV100 (32 Gb) в случае обучения RoBERT’ы.

Дистиллировали только предобучение. Отдельным экспериментом попробовали сделать дополнительное дистиллирование для fine-tuning под SQuAD, оказалось ещё получше.

В целом результат достойный, работает хорошо, времени требует меньше (и на обучении, и на инференсе). Пробовали даже загонять модель в iPhone 7 Plus, этот код живёт тут: https://github.com/huggingface/swift-coreml-transformers.

Место DistilBERT в пантеоне

Результаты DistilBERT

PyTorch Developer Conference 2019.
Презентация мобильной версии Pytorch Mobile и версии PyTorch 1.3

https://www.youtube.com/watch?v=ivTGO6BAQG0