Немного подробнее о том, где можно применить дистанционную идентификацию по сердечному ритму:

Самая очевидная сфера — маркетинг: можно будет измерять, как меняется пульс зрителей, которые смотрят рекламный ролик или изучают новую вывеску в ТЦ.

Другая перспективная цель — HR. Сейчас данные носимых кардиографов позволяют определить уровень стресса и восстановления, оценить состояние физических и ментальных ресурсов. Для этого анализируется вариабельность сердечного ритма (ВСР) — показатель, который отображает влияние симпатической и парасимпатической нервной систем на организм. Jetson тоже позволит определять ВСР: менее точно, зато на расстоянии.

Датчики можно установить в публичных местах, чтобы отслеживать опасные состояния прохожих. Если разработчики создадут для технологии медицинский функционал, она станет еще одним инструментом для диагностики сердечно-сосудистых заболеваний, наряду с ECG- и PPG-трекерами. Больше людей получат шанс вовремя выявить нарушения ритма и потенциально — спасут себе жизнь. В мире снизится уровень смертности от ССЗ. Сейчас это причина смерти № 1 в мире, более 30% всех смертей. Снизив этот показатель на треть, можно спасти до 6 млн человек в год.

Возвращаемся из отпусков и регистрируемся на хакатон в рамках недели ИИ от Nvidia и МФТИ!

Задача хакатона: предложить самое безумное и неожиданное применение ИИ

Вас ждут:
- бесплатный доступ к курсу DLI от Nvidia для всех, презентовавших свое решение;
- Jetson Nano за самую безумную идею;
- возможность презентовать свою идею инвесторам, корпоратам и лабораториям МФТИ;
- возможность попасть на очный отборочный тур в Сборную России по хакатонам Russian Hack Team без отбора по анкетам;

Мы будем рады видеть:
- Команды до 5 человек из индивидуальных разработчиков и стартапы
- Аналитиков, продуктологов, дизайнеров, маркетологов

• Место проведения: кампус МФТИ, Институтский переулок 9 стр 7
• Даты проведения: 22-23 августа

Регистрируйся:
→ bit.ly/2KqYp4D

Чат Telegram:
→ bit.ly/2YTYOVs

Освойте самую востребованную технологию искусственного интеллекта!

У вас уже есть базовое понимание машинного обучения и знание языка Python? Повысьте компетенции и получите практические навыки по программированию глубоких нейронных сетей!

В SkillFactory открыт новый набор на курс "Deep Learning и нейронные сети" https://clc.to/8Q3OKA разработанный при поддержке NVIDIA Corporation.
Проекты, над которыми вы будете работать, включают:
● создание нейронной сети для распознавания рукописных цифр;
● обучение рекурентной сети задачам прогнозирования временных рядов;
● разработку нейросетевого чат-бота;
● создание модели для идентификации лиц и генерации лиц на основе архитектуры GAN;
● разработку агента для игры на основе DQN алгоритма.

Вы познакомитесь с основными библиотеками для Deep Learning, такими как TensorFlow, Keras и другими.

Узнайте подробности: https://clc.to/8Q3OKA

В последнее время особенно набирает обороты тема с дистилляцией. Двусмысленно получилось… Ну да ладно…

BERT оказался хорошим примером сильной модели, которую хочется использовать везде, но не везде можно, так как она тяжёлая, не на все устройства влезает и инференс на ней довольно долгий, что опять же ограничивает применение.

Направление сжатия и ускорения моделей сильно актуально и дистилляция оказалась одним из хороших вариантов этого добиться.

Итак, первый лот:

DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
Victor Sanh, Lysandre Debut, Julien Chaumond, Thomas Wolf
Статья: https://arxiv.org/abs/1910.01108

Эту модель все уже давно знают по посту от Hugging Face (https://medium.com/huggingface/distilbert-8cf3380435b5) и по их же реализации в библиотеке transformers (бывшая pytorch-transformers, которая теперь стала достаточно универсальной, чтобы обеспечить interoperability моделей между как раз только что вышедшим TF 2.0 и PyTorch), тоже на днях вместе с переименованием обновившейся до версии 2.0.0 (https://github.com/huggingface/transformers/releases). Кажется, это самая популярная быблиотека, сожержащая наиболее популярные предобученные модели на трансформерах (https://github.com/huggingface/transformers#model-architectures).

В предверии NeuralIPS 2019 вышла наконец и статья на arxiv.

Собственно DistilBERT — это дистиллированный BERT, примерно на 40% меньший по размеру, на 60% более быстрый и сохраняющий 97% качества оригинального BERT’а (BERT-base на самом деле).

Идея дистиллирования весьма проста. Давайте обучим более простую модель (ученика), воспроизводящую поведение более сложной модели (учителя).

Модель-студент в DistilBERT — это модель, где слоёв в два раза меньше, а их размерность остаётся прежней (типа, все BLAS вычисления настолько оптимизированы, что это слабо влияет). Слои студента инициализируются весами из модели-учителя.

В случае DistilBERT мы воспроизводим финальное распределение вероятностей после softmax в задаче masked language modeling (MLM).

Функция потерь — это комбинация обычного MLM loss с новым кросс-энтропийным лоссом, штрафующим за непохожесть предсказаний ученика на предсказания учителя. Также добавляется косинусный лосс на эмбеддинги, чтобы вектора скрытых состояний обеих моделей смотрели в одинаковых направлениях.

Кроме того в DistilBERT применены улучшения из недавней RoBERTa: обучение на больших батчах (4К), динамические маски и отсутствие Next Sentence Prediction (NSP) задачи.

Обучали DistilBERT на том же датасете, что и BERT. 90 часов на 8xV100 (16Gb) против 1 дня на 1024xV100 (32 Gb) в случае обучения RoBERT’ы.

Дистиллировали только предобучение. Отдельным экспериментом попробовали сделать дополнительное дистиллирование для fine-tuning под SQuAD, оказалось ещё получше.

В целом результат достойный, работает хорошо, времени требует меньше (и на обучении, и на инференсе). Пробовали даже загонять модель в iPhone 7 Plus, этот код живёт тут: https://github.com/huggingface/swift-coreml-transformers.

Место DistilBERT в пантеоне

Результаты DistilBERT

PyTorch Developer Conference 2019.
Презентация мобильной версии Pytorch Mobile и версии PyTorch 1.3

https://www.youtube.com/watch?v=ivTGO6BAQG0

ПАО "НК "Роснефть" приглашает вас принять участие в чемпионате по анализу данных. Вам предстоит разработать алгоритм для выделения сейсмических горизонтов в кубе амплитуд, решить задачу сегментации данных с помощью распознавания изображений.

Обсуждение в чате: @boosterspro

Страница чемпионата: https://boosters.pro/championship/seismic_challenge/overview

ИИ пока не успел «переизобрести» человека, но уже научился делать много хорошего. В этом ему (пока) нужна помощь специалистов по глубокому обучению.

Курс “Deep Learning” от Нетологии — отличная возможность занять место на передовой отрасли. Вы научитесь работать с многослойными нейронными сетями, компьютерным зрением, алгоритмами внимания и другими технологиями — всё на «живых» проектах от менторов курса и компаний-партнёров Нетологии.

Записывайтесь на курс до 5 ноября со скидкой 20% по промокоду DLRU20: http://netolo.gy/e6g

Польза big data для медицины: случай в Лурдском медицинском центре Богоматери в Нью-Джерси.

В то время как пациент проходил обследование из-за нового приступа судороги, вызванного пропущенным приемом лекарств, врачи обнаружили, что мужчина имеет куда более серьезную проблему со здоровьем: фибрилляция предсердий.

Диагноз удалось поставить благодаря тому, что сотрудники отделения получили доступ к телефону пациента, а именно к приложению, сопряженному с его фитнес-трекером. Данные с приложения оказались ключевым фактором в определении диагноза, ведь на момент обследования у мужчины никаких сердечных отклонений обнаружено не было.

Как еще специалисты используют большие данные?
Узнай, записавшись на полный курс по Data science в SkillFactory. Здесь для обучения уже подготовили много-много практических заданий по Python, Math&Stat, Machine Learning, менеджменту ー спустя всего год ты будешь готов к старту успешной карьеры в Data science!

🎁И, конечно, как же без новогодних желаний? В SkillFactory их уже начали исполнять – до 13 декабря скидка на курс 40%!
Если и учиться, то только на практике: https://clc.to/J3km8w

Машинному обучению сейчас не обучается только ленивый, но большинство делает это по старой университетской привычке, через боль и высшую математику. В школе Skillfactory готовы доказать, что это не единственный подход.

На практическом курсе “Machine Learning” вы научитесь решать все типовые задачи машинного обучения и познакомитесь с нейронными сетями. Совсем начинающим помогут лучше разобраться с Python и основными библиотеками.
Все полученные знания вы закрепите на финальном хакатоне на kaggle с реальными датасетами.

Хотите учиться на практике? Узнайте подробнее о программе: https://clc.to/1IYO1A
⚡️Кибернеделя в SkillFactory! Cкидка на курсы до 40% ー не упустите шанс!

Google just released a paper describing a chatbot noscriptd "Meena", and they claimed that it's the most human-like chatbot ever created
https://www.youtube.com/watch?v=JhfNJlnN_Bg

Big Self-Supervised Models are Strong Semi-Supervised Learners
Ting Chen, Simon Kornblith, Kevin Swersky, Mohammad Norouzi, Geoffrey Hinton
Статья: https://arxiv.org/abs/2006.10029
Код: https://github.com/google-research/simclr

Продолжаем серию про большие модели. Теперь картиночная SimCLRv2 от команды Google Brain с Хинтоном. Это пока не пиллиарды и бразиллионы параметров, как в GPT-3, но тем не менее.

В каком-то смысле это адаптация идей GPT (там работы назывались похоже — “Language Models are Unsupervised Multitask Learners”, “Language Models are Few-Shot Learners”) на картиночную область, также хитрым претрейнингом добиваемся получения большой модели, которую затем легко дообучить под конкретную задачу.

Авторы обучают глубокую и широкую модель (ResNet) в режиме self-supervised и затем файнтюнят на небольшом числе размеченных примеров (в случае ImageNet это стандартные сабсеты на 1% и 10%) и ещё потом всё дистиллируют.

Итоговый пайплайн таков:
#1. Unsupervised pretraining используя SimCLRv2 (наследник также весьма свежего SimCLR, https://ai.googleblog.com/2020/04/advancing-self-supervised-and-semi.html)
#2. Supervised fine-tuning на небольшом числе размеченных примеров.
#3. Дистилляция на неразмеченных примерах из целевой задачи.

Обо всём по порядку.

Оригинальный SimCLR первой версии (“A Simple Framework for Contrastive Learning of Visual Representations”, https://arxiv.org/abs/2002.05709) использует подход contrastive learning, когда хорошие представления выучиваются через максимизацию согласия между трансформированными изображениями. Представления картинок, произошедших от общего оригинала, должны получаться близкими, а от разных — далёкими.

Каждая картинка в батче дважды аугменируется (случайный crop, изменение цвета, Gaussian blur), прогоняется через ResNet и затем MLP, а после считается contrastive loss между всеми позитивными парами (негативные пары явно не сэмплятся, но это все остальные комбинации картинок внутри батча, они влияют на нормализацию лосса).

SimCLRv2 отличается в трёх аспектах:

1) Более глубокий и широкий ResNet (вместо ResNet-50 берём ResNet-152 с 3x больше каналов и Selective Kernels (https://arxiv.org/abs/1903.06586). Даёт +29% относительного улучшения по top-1 accuracy при файнтюнинге на 1% размеченных картинок.
2) Нелинейная часть сети, projection head (MLP после ResNet), становится глубже. SimCLR отбрасывала эту часть после предобучения, здесь делаем файн-тюнинг со среднего слоя этой части. Ещё +14% относительного улучшения.
3) Добавляется механизм памяти из MoCo (https://arxiv.org/abs/1911.05722). Ещё где-то +1%.

После предобучения и файнтюнинга делают дополнительную дистилляцию без меток, когда уже обученная сеть-учитель предсказывает метки неразмеченной части (уже новой задачи), а сеть-студент пытается к этому предсказанию приблизиться. Метки, если есть, в процедуру тоже несложно добавить. Дистиллировали в такую же архитектуру (self-distillation) или в более компактную.

Обучали на 128 Cloud TPUs, во время файнтюнинга и дистилляции делали случайные кропы и горизонтальные развороты.

Результаты хорошие.

Большие модели более label-efficient и улучшаются намного сильнее на небольшом числе примеров. Более глубокие projection heads также помогают (выучивают более качественные представления), особенно когда размеченных данных мало. Дистилляция только по неразмеченным примерам работает прекрасно, и небольшое число размеченных мало что к ней добавляет.

Из философски интересного здесь наблюдение, что более тяжёлые модели на небольшом числе размеченных примеров генерализуют лучше, хотя у них есть все шансы лучше заоверфититься. И это хорошее наблюдение, которое показывает, что в некоторых случаях, когда дополнительные данные добыть реально трудно, возможно, стоит инвестировать в обучение более тяжёлых моделей.

Ещё из интересного, ощутимо бьют 100%-supervised baseline (здесь правда может быть корректнее сравнивать по computational budget или чему-то похожему, ибо SimCLR внутри по сути делает много всякой аугментации данных)