ModelSoups: варим суп из моделей

Если вы когда-нибудь участвовали в хакатоне или пытались повысить качество продуктового решения — скорее всего, вы уже сталкивались с усреднением предсказаний нейронных сетей. Но что делать, если мы хотим улучшить точность решения, не потратив при этом дополнительного времени на инференс нескольких моделей? Ответ есть: усреднение весов моделей, а не их выходов.

В 2022 году вышла статья, поймавшая тогда большой хайп: “Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time”. Авторы показали, как можно из нескольких моделей получить одну — лучшую по качеству модель за счет усреднения весов. В нашей статье мы подробно разобрали теорию и результаты, чтобы вы могли применять этот подход в своих задачах 🙂

Сегодня мы рассмотрим:
- Model Soups подход к усреднению весов модели и его результаты
- теорию подхода, а также границы применимости и сопутствующие требования
- применение подхода в СV и NLP направлениях

Читайте новую статью по ссылке: https://www.notion.so/deepschool-pro/ModelSoups-2a26f819d3964a61ac7bdde0e48897c8?pvs=4

Как применяют CV в сейсморазведке

Есть малоизвестный (в силу своей специфики) домен, где можно применять CV — сейсморазведка. Сегодня мы познакомимся с этой наукой и расскажем, как в ней можно применить глубокие нейронные сети. А еще докажем, что многие задачи возможно представить как хорошо нам знакомые задачи компьютерного зрения.

Из статьи вы узнаете:
- что такое сейсморазведка
- как в ней применить подходы на основе глубоких нейронных сетей
- примеры открытых сейсмических данных
- как можно решить задачу их интерпретации с помощью CV
- и какие есть известные соревнования по МО на базе сейсмических датасетов

Если хотите узнать, как компьютерное зрение помогает находить нефть и другие полезные ископаемые — скорее переходите по ссылке: https://www.notion.so/deepschool-pro/CV-0ec38f8cd403420ab5570cdd4785503e?pvs=4

DETR

Для 2024 года трансформеры в различных задачах CV — частое явление, которым мало кого удивишь. Тем интереснее первые шаги ресёрчеров на пути использования знаменитой encoder-decoder архитектуры.

В середине 2020 года миру представили детектор DETR, или DEtection TRansformer. Он оказался способным решать задачу детекции напрямую: предсказывать список боксов и соответствующих им классов по изображению.

В этой статье мы:
- узнаем, как решать задачу детекции напрямую — без дополнительных методов по типу NMS (non-maximum suppression) или генерации анкоров
- детально разберем архитектуру DETR
- и посмотрим на результаты её применения в downstream задачах

Читайте новую статью по ссылке: https://www.notion.so/deepschool-pro/DETR-ce96a32c90974db5825a3b6698a9ae2b?pvs=4

Grounding Dino

Мультимодальность сегодня — одна из самых популярных вещей в глубоком обучении. В новой статье мы рассмотрим, как на основе Grounding Dino можно добавить язык к задаче детекции объектов на изображениях. А ещё узнаем, что включение дополнительной модальности позволяет не только создавать запросы вида “самая правая кошечка”, но и находить объекты классов, которых нет в обучающей выборке.

Из этой статьи вы также узнаете:
- зачем нужна “дружба” между языком и картинками и какие у неё бонусы
- какая архитектура Grounding Dino
- как соединить модальности
- каким образом можно запустить и потрогать Grounding Dino
- как запустить и потрогать модель сегментации на основе Grounding Dino
- и как с помощью сегментации и диффузии заменить объект на картинке

Читайте нашу статью по ссылке: https://www.notion.so/deepschool-pro/Grounding-DINO-054a72d301d840ec99611cd76acba169?pvs=4

Дайджест статей за март

Встречайте первый дайджест статей на канале!
Мы собрали вместе все статьи за последний месяц и получилось очень разнообразно — от обучения сетей до 3D, от разбора трансформера для детекции до составления ансамбля моделей. Надеемся, что вы не упустите то, что вам интересно 🤗

Negative learning
Рассказываем, как обучиться с хорошими результатами на неидеальных датасетах с ошибками и противоречивыми данными:
- в чём ключевая идея подхода
- его плюсы и минусы
- и как добиться очень хороших результатов на шумных данных

3D Gaussian Splatting
Разбираемся, как обеспечить высокое качество сгенерированных 3D сцен вместе с быстротой обучения и отрисовки:
- как Gaussian Splatting использует гауссианы для представления трёхмерного пространства
- как позволяет эффективно отрисовать новые изображения для сцены
- как обучается создавать детализированное представление сцены

ModelSoups: варим суп из моделей
Изучаем, как усреднение весов моделей может улучшить точность итогового ансамбля:
- Model Soups подход к усреднению весов модели и его результаты
- теория подхода, а также границы применимости и сопутствующие требования
- применение подхода в СV и NLP направлениях

Как применяют CV в сейсморазведке
Познакомимся с применением DL в прикладной науке — сейсморазведке:
- что такое сейсморазведка
- как в ней применить подходы на основе глубоких нейронных сетей
- примеры открытых сейсмических данных
- как можно решить задачу их интерпретации с помощью CV
- и какие есть известные соревнования по МО на базе сейсмических датасетов

DETR
Препарируем пионера CV детекции на базе архитектуры трансформер:
- как решать задачу детекции напрямую — без дополнительных методов по типу NMS (non-maximum suppression) или генерации анкоров
- детальный разбор архитектуры DETR
- результаты её применения в downstream задачах

Grounding Dino
Выясняем, как мультимодальность улучшает детекцию объектов с помощью Grounding Dino:
- зачем нужна “дружба” между языком и картинками и какие у неё бонусы
- какая архитектура у Grounding Dino
- как соединить модальности
- каким образом можно запустить и потрогать Grounding Dino

✌️Что вам было интересно в этом месяце? О чём вы бы хотели прочитать на канале? Пишите в комментарии!

Diffusion Models

Сегодня поговорим о моделях диффузии и их превосходстве над Generative Adversarial Networks (GANs) при создании высококачественных синтетических изображений. Познакомимся со статьёй “Diffusion Models Beat GANs on Image Synthesis”, авторы которой доказали: диффузионные модели помогают обеспечить наилучшее качество генерации изображений.

В статье также рассмотрим:
- процесс диффузии (forward и reverse)
- Denoising Diffusion Probabilistic Models (DDPM)
- большое количество ablation study
- обучение
- математику в первом приближении
- и ещё много чего :)

Читайте нашу новую статью по ссылке: https://www.notion.so/deepschool-pro/Diffusion-Models-Beat-GANs-on-Image-Synthesis-b178e701e6d44cac9df11a501067d666?pvs=4

Полезные Linux-команды

Linux — неотъемлемая часть инструментария каждого Data Scientist'а.

В этой статье мы рассмотрим полезные команды, которые позволят:
- создавать виртуальные сессии
- профилировать ресурсы
- добавлять переменные окружения

А в конце вы найдёте шпаргалку с основными Linux-командами 😊

Читайте новую статью по ссылке: https://www.notion.so/deepschool-pro/Linux-715cb84e836f402a911f28fa3c4e753a?pvs=4

Прекрасное далёко. Где мы на пути к Метавёрсу

Сегодня построение Метавёрса — приоритетное направление для многих крупных компаний, таких как Epic Games. В статье мы рассмотрим, на каком этапе развития он находится, и какие задачи стоят перед разработчиками. А ещё представим обзор 3DCV алгоритмов и инструментов. Сейчас они уже широко применяются как для строительства Метавёрса, так и для решения более прикладных задач.

Из статьи вы узнаете:
- какие недостатки и преимущества NeRF
- почему учёные создали 3D Gaussian Splatting и зачем объединили его с NeRF
- какие бывают аватары людей и чем они отличаются
- какие инструменты позволяют использовать NeRF и 3D Gaussian Splatting в ваших проектах
- и какие актуальные задачи стоят перед 3DCV исследователями

Читайте статью по ссылке: https://deepschool-pro.notion.site/c181878b1532401a801fb995ab44d4f5

Диффузия на трансформерах

До недавнего времени самые популярные диффузионные модели имели архитектуру UNet (например, всеми любимый Stable Diffusion). В феврале 2024 года OpenAI написали про свою видео-диффузию SORA, а затем и Stability анонсировали StableDiffusion3, где основной архитектурой уже выступил трансформер. Оказывается, это совсем не первый случай работы диффузионной модели на трансформере.

В нашем обзоре мы:
- вспомним, что такое Vision Transformer
- разберём несколько статей, где применили эту архитектуру для диффузионной генерации
- рассмотрим результаты улучшения качества генерации с помощью такого подхода

Читайте новую статью по ссылке: https://www.notion.so/deepschool-pro/187d749559ae4717a13f0cc8c708ced2?pvs=4

Подборка статей 3DCV от DeepSchool

Собрали коллекцию постов по теме 3D Computer Vision, опубликованных в нашем канале. Теперь в них проще ориентироваться и перечитывать интересующие 🔥

Основы
🔹 Знакомство с 3D CV: обзор основных задач и способов их решения.
🔹 Геометрия формирования изображения: обсуждение модели камеры и матриц, нужных для превращения 3D-объекта в изображение.
🔹 Калибровка камеры: анализ краеугольного камня всего CV, который играет важную роль в 3D-задачах.

Научные статьи
🔹 SIGGRAPH: обзор интересных статей по случаю самой известной конференции по 3D.
🔹 NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis: обсуждение возможности изменять освещение сцены в NeRF-представлениях.
🔹 3D Gaussian Splatting: Revolutionizing Real-Time Radiance Filed Rendering: разбор недавно нашумевшего Gaussian Splatting’а.

LiDAR
🔹 Виды представления лидарных данных. Часть 1: анализ работы лидара и видов данных, в которых мы можем их представлять.
🔹 Виды представления лидарных данных. Часть 2: разбор трансформации данных в многоканальные изображения и Bag-of-Points представление.
🔹 Виды представления лидарных данных. Часть 3: обзор представления в виде вокселей.

Решаемые задачи
🔹 Сегментация поверхности земли: туториал по тому, как определять плоскость земли с помощью лидарных данных (чтобы уверенно стоять на ногах в области 3D 😉).
🔹 Как применяют CV в сейсморазведке: изучение 3D не только вдаль, но и вглубь.
🔹 Особенности 3D медецинских данных: обзор задачи анализа 3D-данных в медицине.
🔹 Прекрасное далёко. Где мы на пути к Метавёрсу: обсуждение вызовов, которые стоят перед инженерами 3D CV при строительстве Метавёрса.