​​​​#RESEARCHproVenture #AIproVenture

Возможно, одна из немногих причин, почему неплохо было бы посетить ПМЭФ вчера - это увидеть презентацию отчета о развитии искусственного интеллекта в России и в мире от opentalks.ai.

Для затравки фото.

$5 млрд инвестиций, почти 60 тыс патентов и 180 тыс научных публикаций.

Сам отчёт в сообщении ниже.

via @proVenture

Немного подробнее о том, где можно применить дистанционную идентификацию по сердечному ритму:

Самая очевидная сфера — маркетинг: можно будет измерять, как меняется пульс зрителей, которые смотрят рекламный ролик или изучают новую вывеску в ТЦ.

Другая перспективная цель — HR. Сейчас данные носимых кардиографов позволяют определить уровень стресса и восстановления, оценить состояние физических и ментальных ресурсов. Для этого анализируется вариабельность сердечного ритма (ВСР) — показатель, который отображает влияние симпатической и парасимпатической нервной систем на организм. Jetson тоже позволит определять ВСР: менее точно, зато на расстоянии.

Датчики можно установить в публичных местах, чтобы отслеживать опасные состояния прохожих. Если разработчики создадут для технологии медицинский функционал, она станет еще одним инструментом для диагностики сердечно-сосудистых заболеваний, наряду с ECG- и PPG-трекерами. Больше людей получат шанс вовремя выявить нарушения ритма и потенциально — спасут себе жизнь. В мире снизится уровень смертности от ССЗ. Сейчас это причина смерти № 1 в мире, более 30% всех смертей. Снизив этот показатель на треть, можно спасти до 6 млн человек в год.

Возвращаемся из отпусков и регистрируемся на хакатон в рамках недели ИИ от Nvidia и МФТИ!

Задача хакатона: предложить самое безумное и неожиданное применение ИИ

Вас ждут:
- бесплатный доступ к курсу DLI от Nvidia для всех, презентовавших свое решение;
- Jetson Nano за самую безумную идею;
- возможность презентовать свою идею инвесторам, корпоратам и лабораториям МФТИ;
- возможность попасть на очный отборочный тур в Сборную России по хакатонам Russian Hack Team без отбора по анкетам;

Мы будем рады видеть:
- Команды до 5 человек из индивидуальных разработчиков и стартапы
- Аналитиков, продуктологов, дизайнеров, маркетологов

• Место проведения: кампус МФТИ, Институтский переулок 9 стр 7
• Даты проведения: 22-23 августа

Регистрируйся:
→ bit.ly/2KqYp4D

Чат Telegram:
→ bit.ly/2YTYOVs

Освойте самую востребованную технологию искусственного интеллекта!

У вас уже есть базовое понимание машинного обучения и знание языка Python? Повысьте компетенции и получите практические навыки по программированию глубоких нейронных сетей!

В SkillFactory открыт новый набор на курс "Deep Learning и нейронные сети" https://clc.to/8Q3OKA разработанный при поддержке NVIDIA Corporation.
Проекты, над которыми вы будете работать, включают:
● создание нейронной сети для распознавания рукописных цифр;
● обучение рекурентной сети задачам прогнозирования временных рядов;
● разработку нейросетевого чат-бота;
● создание модели для идентификации лиц и генерации лиц на основе архитектуры GAN;
● разработку агента для игры на основе DQN алгоритма.

Вы познакомитесь с основными библиотеками для Deep Learning, такими как TensorFlow, Keras и другими.

Узнайте подробности: https://clc.to/8Q3OKA

В последнее время особенно набирает обороты тема с дистилляцией. Двусмысленно получилось… Ну да ладно…

BERT оказался хорошим примером сильной модели, которую хочется использовать везде, но не везде можно, так как она тяжёлая, не на все устройства влезает и инференс на ней довольно долгий, что опять же ограничивает применение.

Направление сжатия и ускорения моделей сильно актуально и дистилляция оказалась одним из хороших вариантов этого добиться.

Итак, первый лот:

DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
Victor Sanh, Lysandre Debut, Julien Chaumond, Thomas Wolf
Статья: https://arxiv.org/abs/1910.01108

Эту модель все уже давно знают по посту от Hugging Face (https://medium.com/huggingface/distilbert-8cf3380435b5) и по их же реализации в библиотеке transformers (бывшая pytorch-transformers, которая теперь стала достаточно универсальной, чтобы обеспечить interoperability моделей между как раз только что вышедшим TF 2.0 и PyTorch), тоже на днях вместе с переименованием обновившейся до версии 2.0.0 (https://github.com/huggingface/transformers/releases). Кажется, это самая популярная быблиотека, сожержащая наиболее популярные предобученные модели на трансформерах (https://github.com/huggingface/transformers#model-architectures).

В предверии NeuralIPS 2019 вышла наконец и статья на arxiv.

Собственно DistilBERT — это дистиллированный BERT, примерно на 40% меньший по размеру, на 60% более быстрый и сохраняющий 97% качества оригинального BERT’а (BERT-base на самом деле).

Идея дистиллирования весьма проста. Давайте обучим более простую модель (ученика), воспроизводящую поведение более сложной модели (учителя).

Модель-студент в DistilBERT — это модель, где слоёв в два раза меньше, а их размерность остаётся прежней (типа, все BLAS вычисления настолько оптимизированы, что это слабо влияет). Слои студента инициализируются весами из модели-учителя.

В случае DistilBERT мы воспроизводим финальное распределение вероятностей после softmax в задаче masked language modeling (MLM).

Функция потерь — это комбинация обычного MLM loss с новым кросс-энтропийным лоссом, штрафующим за непохожесть предсказаний ученика на предсказания учителя. Также добавляется косинусный лосс на эмбеддинги, чтобы вектора скрытых состояний обеих моделей смотрели в одинаковых направлениях.

Кроме того в DistilBERT применены улучшения из недавней RoBERTa: обучение на больших батчах (4К), динамические маски и отсутствие Next Sentence Prediction (NSP) задачи.

Обучали DistilBERT на том же датасете, что и BERT. 90 часов на 8xV100 (16Gb) против 1 дня на 1024xV100 (32 Gb) в случае обучения RoBERT’ы.

Дистиллировали только предобучение. Отдельным экспериментом попробовали сделать дополнительное дистиллирование для fine-tuning под SQuAD, оказалось ещё получше.

В целом результат достойный, работает хорошо, времени требует меньше (и на обучении, и на инференсе). Пробовали даже загонять модель в iPhone 7 Plus, этот код живёт тут: https://github.com/huggingface/swift-coreml-transformers.

Место DistilBERT в пантеоне

Результаты DistilBERT

PyTorch Developer Conference 2019.
Презентация мобильной версии Pytorch Mobile и версии PyTorch 1.3

https://www.youtube.com/watch?v=ivTGO6BAQG0

ПАО "НК "Роснефть" приглашает вас принять участие в чемпионате по анализу данных. Вам предстоит разработать алгоритм для выделения сейсмических горизонтов в кубе амплитуд, решить задачу сегментации данных с помощью распознавания изображений.

Обсуждение в чате: @boosterspro

Страница чемпионата: https://boosters.pro/championship/seismic_challenge/overview

ИИ пока не успел «переизобрести» человека, но уже научился делать много хорошего. В этом ему (пока) нужна помощь специалистов по глубокому обучению.

Курс “Deep Learning” от Нетологии — отличная возможность занять место на передовой отрасли. Вы научитесь работать с многослойными нейронными сетями, компьютерным зрением, алгоритмами внимания и другими технологиями — всё на «живых» проектах от менторов курса и компаний-партнёров Нетологии.

Записывайтесь на курс до 5 ноября со скидкой 20% по промокоду DLRU20: http://netolo.gy/e6g

Польза big data для медицины: случай в Лурдском медицинском центре Богоматери в Нью-Джерси.

В то время как пациент проходил обследование из-за нового приступа судороги, вызванного пропущенным приемом лекарств, врачи обнаружили, что мужчина имеет куда более серьезную проблему со здоровьем: фибрилляция предсердий.

Диагноз удалось поставить благодаря тому, что сотрудники отделения получили доступ к телефону пациента, а именно к приложению, сопряженному с его фитнес-трекером. Данные с приложения оказались ключевым фактором в определении диагноза, ведь на момент обследования у мужчины никаких сердечных отклонений обнаружено не было.

Как еще специалисты используют большие данные?
Узнай, записавшись на полный курс по Data science в SkillFactory. Здесь для обучения уже подготовили много-много практических заданий по Python, Math&Stat, Machine Learning, менеджменту ー спустя всего год ты будешь готов к старту успешной карьеры в Data science!

🎁И, конечно, как же без новогодних желаний? В SkillFactory их уже начали исполнять – до 13 декабря скидка на курс 40%!
Если и учиться, то только на практике: https://clc.to/J3km8w

Машинному обучению сейчас не обучается только ленивый, но большинство делает это по старой университетской привычке, через боль и высшую математику. В школе Skillfactory готовы доказать, что это не единственный подход.

На практическом курсе “Machine Learning” вы научитесь решать все типовые задачи машинного обучения и познакомитесь с нейронными сетями. Совсем начинающим помогут лучше разобраться с Python и основными библиотеками.
Все полученные знания вы закрепите на финальном хакатоне на kaggle с реальными датасетами.

Хотите учиться на практике? Узнайте подробнее о программе: https://clc.to/1IYO1A
⚡️Кибернеделя в SkillFactory! Cкидка на курсы до 40% ー не упустите шанс!

Google just released a paper describing a chatbot noscriptd "Meena", and they claimed that it's the most human-like chatbot ever created
https://www.youtube.com/watch?v=JhfNJlnN_Bg