Польза big data для медицины: случай в Лурдском медицинском центре Богоматери в Нью-Джерси.

В то время как пациент проходил обследование из-за нового приступа судороги, вызванного пропущенным приемом лекарств, врачи обнаружили, что мужчина имеет куда более серьезную проблему со здоровьем: фибрилляция предсердий.

Диагноз удалось поставить благодаря тому, что сотрудники отделения получили доступ к телефону пациента, а именно к приложению, сопряженному с его фитнес-трекером. Данные с приложения оказались ключевым фактором в определении диагноза, ведь на момент обследования у мужчины никаких сердечных отклонений обнаружено не было.

Как еще специалисты используют большие данные?
Узнай, записавшись на полный курс по Data science в SkillFactory. Здесь для обучения уже подготовили много-много практических заданий по Python, Math&Stat, Machine Learning, менеджменту ー спустя всего год ты будешь готов к старту успешной карьеры в Data science!

🎁И, конечно, как же без новогодних желаний? В SkillFactory их уже начали исполнять – до 13 декабря скидка на курс 40%!
Если и учиться, то только на практике: https://clc.to/J3km8w

Машинному обучению сейчас не обучается только ленивый, но большинство делает это по старой университетской привычке, через боль и высшую математику. В школе Skillfactory готовы доказать, что это не единственный подход.

На практическом курсе “Machine Learning” вы научитесь решать все типовые задачи машинного обучения и познакомитесь с нейронными сетями. Совсем начинающим помогут лучше разобраться с Python и основными библиотеками.
Все полученные знания вы закрепите на финальном хакатоне на kaggle с реальными датасетами.

Хотите учиться на практике? Узнайте подробнее о программе: https://clc.to/1IYO1A
⚡️Кибернеделя в SkillFactory! Cкидка на курсы до 40% ー не упустите шанс!

Google just released a paper describing a chatbot noscriptd "Meena", and they claimed that it's the most human-like chatbot ever created
https://www.youtube.com/watch?v=JhfNJlnN_Bg

Big Self-Supervised Models are Strong Semi-Supervised Learners
Ting Chen, Simon Kornblith, Kevin Swersky, Mohammad Norouzi, Geoffrey Hinton
Статья: https://arxiv.org/abs/2006.10029
Код: https://github.com/google-research/simclr

Продолжаем серию про большие модели. Теперь картиночная SimCLRv2 от команды Google Brain с Хинтоном. Это пока не пиллиарды и бразиллионы параметров, как в GPT-3, но тем не менее.

В каком-то смысле это адаптация идей GPT (там работы назывались похоже — “Language Models are Unsupervised Multitask Learners”, “Language Models are Few-Shot Learners”) на картиночную область, также хитрым претрейнингом добиваемся получения большой модели, которую затем легко дообучить под конкретную задачу.

Авторы обучают глубокую и широкую модель (ResNet) в режиме self-supervised и затем файнтюнят на небольшом числе размеченных примеров (в случае ImageNet это стандартные сабсеты на 1% и 10%) и ещё потом всё дистиллируют.

Итоговый пайплайн таков:
#1. Unsupervised pretraining используя SimCLRv2 (наследник также весьма свежего SimCLR, https://ai.googleblog.com/2020/04/advancing-self-supervised-and-semi.html)
#2. Supervised fine-tuning на небольшом числе размеченных примеров.
#3. Дистилляция на неразмеченных примерах из целевой задачи.

Обо всём по порядку.

Оригинальный SimCLR первой версии (“A Simple Framework for Contrastive Learning of Visual Representations”, https://arxiv.org/abs/2002.05709) использует подход contrastive learning, когда хорошие представления выучиваются через максимизацию согласия между трансформированными изображениями. Представления картинок, произошедших от общего оригинала, должны получаться близкими, а от разных — далёкими.

Каждая картинка в батче дважды аугменируется (случайный crop, изменение цвета, Gaussian blur), прогоняется через ResNet и затем MLP, а после считается contrastive loss между всеми позитивными парами (негативные пары явно не сэмплятся, но это все остальные комбинации картинок внутри батча, они влияют на нормализацию лосса).

SimCLRv2 отличается в трёх аспектах:

1) Более глубокий и широкий ResNet (вместо ResNet-50 берём ResNet-152 с 3x больше каналов и Selective Kernels (https://arxiv.org/abs/1903.06586). Даёт +29% относительного улучшения по top-1 accuracy при файнтюнинге на 1% размеченных картинок.
2) Нелинейная часть сети, projection head (MLP после ResNet), становится глубже. SimCLR отбрасывала эту часть после предобучения, здесь делаем файн-тюнинг со среднего слоя этой части. Ещё +14% относительного улучшения.
3) Добавляется механизм памяти из MoCo (https://arxiv.org/abs/1911.05722). Ещё где-то +1%.

После предобучения и файнтюнинга делают дополнительную дистилляцию без меток, когда уже обученная сеть-учитель предсказывает метки неразмеченной части (уже новой задачи), а сеть-студент пытается к этому предсказанию приблизиться. Метки, если есть, в процедуру тоже несложно добавить. Дистиллировали в такую же архитектуру (self-distillation) или в более компактную.

Обучали на 128 Cloud TPUs, во время файнтюнинга и дистилляции делали случайные кропы и горизонтальные развороты.

Результаты хорошие.

Большие модели более label-efficient и улучшаются намного сильнее на небольшом числе примеров. Более глубокие projection heads также помогают (выучивают более качественные представления), особенно когда размеченных данных мало. Дистилляция только по неразмеченным примерам работает прекрасно, и небольшое число размеченных мало что к ней добавляет.

Из философски интересного здесь наблюдение, что более тяжёлые модели на небольшом числе размеченных примеров генерализуют лучше, хотя у них есть все шансы лучше заоверфититься. И это хорошее наблюдение, которое показывает, что в некоторых случаях, когда дополнительные данные добыть реально трудно, возможно, стоит инвестировать в обучение более тяжёлых моделей.

Ещё из интересного, ощутимо бьют 100%-supervised baseline (здесь правда может быть корректнее сравнивать по computational budget или чему-то похожему, ибо SimCLR внутри по сути делает много всякой аугментации данных)

An illustration of the proposed SimCLR framework. The CNN and MLP layers are trained simultaneously to yield projections that are similar for augmented versions of the same image, while being dissimilar for different images, even if those images are of the same class of object. The trained model not only does well at identifying different transformations of the same image, but also learns representations of similar concepts (e.g., chairs vs. dogs), which later can be associated with labels through fine-tuning.

Towards Fast, Accurate and Stable 3D Dense Face Alignment

Генерация 3D модели лица с разверткой и текстурой на базе 1 фотографии.

https://github.com/cleardusk/3DDFA_V2

💥 Команда DeepMind отчиталась о научном прорыве. С помощью ИИ AlphaFold им удалось решить задачу прогнозирования сворачивания белков, над которой научное сообщество работало 50 лет. Тестирование показало, что AlphaFold за несколько дней вычислений может предсказать структуру белка с точностью до атома. Это открывает возможности для новых открытий в сфере медицины и разработки лекарств.

Моделирование сворачивания белков - процесса, в котором цепочки аминокислот соединяются в сложнейшие трехмерные белковые структуры - ключевая задача для исследования того, как болезни распространяются и влияют на организм человека. Понимание этого процесса может позволить блокировать распространение инфекции в организме или исправлять ошибки в сворачивании, которые приводят к нейродегенеративным и когнитивным расстройствам. Очень своевременное открытие, учитывая, что эта пандемия - явно не последняя.

https://deepmind.com/blog/article/alphafold-a-solution-to-a-50-year-old-grand-challenge-in-biology

X5 ищет дата-сайентиста, который хочет работать с по-настоящему большими данными и влиять на жизнь миллионов людей. Важно знать Python, разбираться в алгоритмах и структурах данных, ML и Hadoop — плюс. Подробности здесь

https://openai.com/blog/clip/
https://github.com/openai/CLIP

CLIP: Connecting Text and Images

We’re introducing a neural network called CLIP which efficiently learns visual concepts from natural language supervision. CLIP (Contrastive Language–Image Pre-training) can be applied to any visual classification benchmark by simply providing the names of the visual categories to be recognized, similar to the “zero-shot” capabilities of GPT-2 and 3.

https://openai.com/blog/dall-e/


DALL·E: Creating Images from Text
(Генерация изображений через текстовое описание)
We’ve trained a neural network called DALL·E that creates images from text captions for a wide range of concepts expressible in natural language.

Создание 3Д модели-аватара для игр на основе одной фотографии https://github.com/FuxiCV/MeInGame

AmpliGraph — это набор моделей машинного обучения под лицензией Apache2 для извлечения эмбеддингов из графов знаний. Такие модели кодируют узлы и ребра графа в вектором виде и объединяют их для предсказания недостающих фактов. Графовые эмбеддинги применяются в таких задачах, как в довершение графа знаний, обнаружение знаний, кластеризация на основе связей и другие.

https://github.com/Accenture/AmpliGraph

http://ai.google/education Гугл собрал крутой ресурс для обучения ML

VOGUE: Try-On by StyleGAN Interpolation Optimization

StyleGAN для виртуальной примерки одежды. Алгоритм переносит одежду с фотографии одного человека на фотографию другого человека

https://vogue-try-on.github.io/
https://youtu.be/AWd7x_3GaZk

Продолжается набор на оплачиваемую летнюю стажировку в Яндексе ⚡️

Если вы (или ваши друзья) давно хотели попробовать себя в роли разработчика, летняя стажировка — идеальный вариант.
Отлично проявившие себя стажеры получат шанс перейти в штат!

Направления: фронтенд- и бэкенд-разработка, машинное обучение, аналитика, мобильная разработка и другие — ознакомиться с ними можно здесь.
Особый формат стажировки — Deep Dive в Яндекс.Маркете.

Сколько длится: от трех до 6 месяцев.

Где: в Москве, Санкт-Петербурге, Екатеринбурге, Нижнем Новгороде, Новосибирске, Сочи, Симферополе и Минске.
Если вы из другого города — мы оплатим вам дорогу и проживание в Москве 🙌

Что нужно уметь: мы ждём отличного знания базовых алгоритмов и уверенных навыков программирования на одном из языков.

Как проходит отбор: зависит от направления, но в большинстве случаев нужно будет выполнить тестовое задание, пройти два-три технических интервью, а затем выбрать команду.

Подавайте заявку до 31 мая: https://clck.ru/TgiBN

SEER: The start of a more powerful, flexible, and accessible era for computer vision

#SEER stands for SElf-supERvised architecture which follows the vision of Yan LeCunn that real breakthrough in quality of models is possible only with #selfsupervised learning.

And here it is — model which was trained using some enormous amount of data achieves 84.2 percent top-1 accuracy on ImageNet.

Paramus: 1.3B
Dataset: 1B random images
Hardware: 512 GPUs (unspecified)

Blogpost: https://ai.facebook.com/blog/seer-the-start-of-a-more-powerful-flexible-and-accessible-era-for-computer-vision
ArXiV: https://arxiv.org/pdf/2103.01988.pdf

#facebook #fair #cv #dl

Приглашаем в эту субботу в 11 утра по мск на митап про AI, ML & Deep Learning. Расскажем про новый обучающий проект SailMapAI ⛴ Будем тренировать нейросети генерировать морские карты, используя GANs и минимум картинок. Будут эксперты, расскажем полезные техники и скинем материалы. Всех будем рады видеть!

Внимание, контент будет на английском 🏴󠁧󠁢󠁥󠁮󠁧󠁿

Hi everyone! I'd like to share a meetup with you, it's about AI, ML and Deep Learning. Thought you find it interesting.
The upcoming Saturday 10am CET we perform and introduce a SeaMapAI Project Meetup #1. The idea is to cycle GANs, utilize neural networks orchestration, evaluate images and eventually generate sea maps. Everyone is welcome to join, and thanks for your time!

https://www.eventbrite.co.uk/e/introducing-sailmapai-educational-neural-seamap-generator-project-tickets-149691925579?aff=telegram