PhysGen

Диффузионные модели сейчас активно используются для генерации видео. В последнее время появляется много работ, посвящённых тому, как сделать качественный видеогенератор. Но соблюдаются ли законы физики в таких моделях? Можно ли по исходной картинке предположить движение объектов при воздействии на них определённых сил?

Авторы работы PhysGen подготовили пайплайн, который включает в себя реальную физическую симуляцию движения твёрдых тел для создания видеогенератора. В нашем обзоре мы посмотрим, как они это сделали и что у них получилось. А также узнаем:
- как проанализировать картинку, чтобы получить как можно больше знаний о физических объектах на этом изображении
- какую библиотеку использовать для качественной симуляции движения
- и как из симуляции зарендерить качественное видео

Читайте новую статью по ссылке: https://deepschool-pro.notion.site/PhysGen-e836c0895433459c82b6e36e013229a8?pvs=4

Знакомимся с авторами DeepSchool
ㅤ
В нашем канале статьи пишет целая команда авторов. Все они практикующие инженеры, которые делятся в постах экспертизой и своим опытом. Обычно процесс создания статьи выглядит так: одни пишут текст, а другие проводят кросс-ревью на фактчекинг, дополняют его полезными материалами и ссылками. На выходе получается готовая статья, которую вы уже видите в публикации :)

Ранее мы познакомились с Ильей, Сашей, Ксюшей и Марком, а сегодня о себе расскажет Саша Лекомцев, Team Lead Computer Vision Engineer из медтех стартапа oxytech.io. Саша разрабатывает системы, помогающие врачам определять диагноз по 2D и 3D-данным.

«Становление датасаентистом у меня вышло почти случайно. При поступлении в Новосибирский Государственный Университет я выбирал между биологией и математикой. В итоге выбрал математику и не прогадал) Когда пришло время лабораторных по вычислительным методам, впервые попробовал Python вместо C/C++ и сразу оценил, насколько проще и интуитивнее писать код на этом языке. Чуть позже наткнулся на курс Open Data Science, подумал: «А почему бы и не попробовать». Потом стажировка, первая работа в DS, и вот как-то так всё закрутилось.

Моим предыдущим местом работы была Золотая Корона, где я занимался задачами, связанными с верификацией пользователя по лицу (face verification / recognition, anti-spoofing, image quality assessment), и автоматизировал отбор данных и создание задач на разметку, потому что верю в data-centric подход. Там же познакомился с Тимуром, одним из основателей DeepSchool, и начал писать посты в этот канал. Сейчас я, можно сказать, один из самых ранних авторов.

Сейчас я работаю тимлидом небольшой команды компьютерного зрения в стартапе oxytech.io. Мы разрабатываем сервисы, которые помогают врачам ставить диагнозы по 2D и 3D-снимкам, например, когда они ищут артроз коленного сустава на рентгенах или рак на КТ. В нашей работе ключевую роль играют качественные данные, поэтому у меня всегда есть интересные задачи и проблемы, которые можно решить.

Ещё пара фактов обо мне:
- увлекаюсь настольно-ролевыми играми (типа «Dungeons & Dragons»). Часто играю в роли ведущего, что, как ни странно, помогает в работе — учит держать фокус на протяжении нескольких часов и модерировать беседу
- первая моя работа была не в DS, а продавцом-консультантом в секс-шопе, помогает ли это в работе — догадывайтесь сами :)
- жил год в Кыргызстане, год в Таиланде, а теперь поселился в Грузии»

В комментариях можно пообщаться с Сашей и задать интересующие вопросы :)

Посты, над которыми работал Саша в нашем канале:
- Интерпретация моделей компьютерного зрения
- Интерактивная сегментация
- SAM
- NeRV
- SIGGRAPH
- Face Image Quality Assessment
- Face Image Quality Assessment. Part 2
- MobileNet v1-v3
- Особенности 3D медицинских данных
- Адаптация SAM под 3D медицинские данные
- Адаптация Visual-Language модели для детекции аномалий

Почему RL — это сложно? И как Decision Transformer меняет правила игры

Обучение с подкреплением (RL) часто звучит как магия: агент учится решать задачи через взаимодействие с окружающей средой. Тыкнул сюда, получил минус балл, постараюсь больше так не делать. Тыкнул сюда, получил плюс балл — о, повторю!

Но в реальности всё сложнее. Представьте робота, которому нужно научиться управлять автомобилем. Для обучения требуется симулятор, который моделирует дорожные условия. Создать его — задача не из лёгких: это дорого, долго, а иногда просто невозможно. Более того, ошибки агента в симуляторе могут не просто «остаться в игре», но привести к серьёзным последствиям, если перенести их в реальный мир.

Допустим, вы хотите обучить робота доставлять посылки. Если он учится в реальном мире, то каждое «неудачное» действие — это разбитый аппарат. А симуляторы часто слишком далеки от реальности, и агент начинает пользоваться их несовершенствами, что делает результаты обучения неприменимыми.

Альтернативный способ для создания умных агентов: агент учится воспроизводить траектории, созданные человеком. Проблема в том, что он может лишь копировать, но не создавать новые стратегии для достижения лучших результатов. RL, наоборот, строит стратегии сам, но упирается в проблему сложности и дороговизны.

Decision Transformer (DT) как раз призван решить эту проблему, генерируя на основе имеющихся данных новые стратегии. Он использует идеи RL и переформулирует проблему RL как задачу генерации последовательности.

Проще говоря, вместо «учимся через ошибки», DT говорит: «Вот данные о прошлом опыте, вот цель в виде суммы будущих наград — давайте сгенерируем траекторию, которая достигнет цель».

И это совершенно новый способ решения задач по управлению роботами. Подробнее о нём мы рассказали в новой статье: https://deepschool-pro.notion.site/Decision-Transformer-92feae6bd93d42da997cd44653f92a74?pvs=4

Подкаст «Под капотом». Агенты и инструменты

Мы приглашаем в подкаст экспертов, чтобы понять, как работают сложные системы изнутри. В этом выпуске мы поговорили с Ильей Димовым, Senior NLP-инженером, о том, как сделать идеальную LLM под свои нужды и как они устроены внутри.

В этом выпуске мы узнаем:
- почему не так просто сделать из LLM друга, который будет более «живым», чем ChatGPT
- как научить LLM видеть и слышать
- кто такие агенты и в чём их главная проблема
- зачем LLM нужны инструменты
- и какие проблемы возникнут, если неправильно выбрать модель под задачу

Смотрите выпуск по ссылке! https://youtu.be/4uP7hbCbUjA

Consistency models

Диффузионные модели сейчас — популярные генераторы в различных областях, включая генерацию изображений, видео, музыки и многого другого. Однако в отличие от тех же GANs-моделей, диффузионные обычно требуют запуска большого количества forward-ов, что существенно замедляет генерацию. Мы с вами уже рассмотрели несколько способов ускорения диффузионных моделей за счёт уменьшения количества шагов (InstaFlow, Дистилляция диффузии: часть 1, часть 2). А сегодня мы познакомимся с ещё одним популярным методом для ускорения — Consistency models.

Основная идея метода — обучение модели, обладающей свойством self-consistency. Это модель, которая переводит различные точки траектории диффузионного процесса в одну: f(x, t) = f(x1, t1).

Обучив такую модель, мы получаем генератор, который сможет теперь работать как за один, так и за несколько шагов. Аналогичную модель можно построить уже для латентного пространства — так мы получим Latent consistency models. Об основных моментах, связанных с данными моделями (особенностях их обучения, результатах в картинках и метриках), мы и поговорили в новой статье: https://deepschool-pro.notion.site/Consistency-models-93c3794b38034d558208660b732e5377?pvs=4

Segment Anything Model 2

Segment Anything Model (SAM) сильно упростила процесс разметки картинок в задачах Computer Vision. Как правило, если домен похож на обучение — SAM хорошо уточняет границы объектов за несколько кликов. Такой процесс называется Interactive Object Segmentation.

Как это работает? Модель принимает на вход не только изображение, но и промпт (точку, бокс, маску), который указывает на нужный объект. Разные энкодеры обрабатывают изображение и промпт, отдельный лёгкий mask decoder переводит эмбеддинги изображения и промпта в предсказание маски объекта.

Segment Anything Model 2 (SAM 2) продолжает упрощать процесс разметки, в этот раз работая с видео. Для этого меняют архитектуру, чтобы добавить передачу информации между кадрами, а также собирают самый большой датасет для задачи Video Object Segmentation.

Сегодня мы обсудим, чем архитектура второй версии отличается от первой, а также рассмотрим проблемы текущих датасетов для Video Object Segmentation и их решение в SAM 2. Читайте новую статью по ссылке: https://deepschool-pro.notion.site/Segment-Anything-Model-2-c70a218c4484424d8d3749e383c428be?pvs=4

Продолжаем знакомиться с авторами DeepSchool
ㅤ
Недавно мы рассказали, как пишем статьи и сколько людей работает над материалами. Ранее мы познакомились с частью команды: Ксюша, Саша, Марк, Илья, Саша.
А сегодня о себе расскажет Дима Раков, CV-инженер и Head of ML в NIIAS:

«Мы делаем проекты для РЖД, где часто применяем нейросетевые подходы. Наш главный проект — разработка беспилотного электропоезда с уровнем автоматизации GoA4 (работает без машиниста в кабине).
Я занимаюсь Autonomous Driving 5 лет. За это время вместе с командой мы смогли от начального прототипа разработать уже три системы для двух электропоездов и одного маневрового локомотива. А ещё мы первыми в мире запустили поезд с системой помощи машинисту (Goa3, аналогична системам ADAS в автомобилях) в постоянную эксплуатацию на МЦК (Московское центральное кольцо). Помимо беспилотников мы делаем много других проектов, направленных на повышение безопасности на ЖД.

Впервые с ML я познакомился в 2018 году на втором курсе университета. Один из преподавателей предложил выступить на конференции, где в списке тем были BigData и нейронные сети. Я заинтересовался и начал изучать всевозможные книжки, лекции и туториалы. Так и погрузился в ML.

В CV попал тоже случайно, когда в ВУЗе предложили поучаствовать в хакатоне от IBM. Случилось это примерно через полгода. Мне хватило навыков, чтобы зафайнтюнить Faster RCNN и занять призовое место. Так я решил, что CV — то, чем хочется заниматься. Тогда же начал ходить на ML-тренировки в СПБ (пишите, кто тоже ходил!) и продолжать активно участвовать в хакатонах.
После продолжительной стажировки и летней школы HSE несколько месяцев проработал в качестве CV-инженера. Разрабатывал систему для задачи SceneTextOCR для русского языка. В начале 2020 присоединился к NIIAS, где работаю до сих пор.

На работе мы решаем perception-задачи для разных сенсоров: камер, лидаров, тепловизоров. Встречаются такие классические задачи, как классификация, детекция, сегментация и трекинг, но со своими особенностями. Например, для обнаружения на 600 метрах детектор должен хорошо обнаруживать объекты 3x5 пикселей.
Также мы решаем и специализированные задачи под автономный транспорт. Например, находим глубину по кадру и отделяем точки земли в лидарном облаке.
Ещё есть открытые задачи, которые находятся в стадии исследования как у нас, так и у научного сообщества. Одна из них — нахождение неизвестных объектов на ЖД-полотне и в габарите электропоезда.

Отдельное направление — ML Safety. В реальной эксплуатации нейронные сети внутри поезда должны быть безопасны и объяснимы. Чтобы достичь таких свойств, мы исследуем и разрабатываем алгоритмы нахождения аномалий и неопределённостей в данных и предсказаниях моделей.

В DeepSchool я пишу статьи на темы, которые связаны с моими исследованиями или, на мой взгляд, недостаточно освещены в РУ сегменте. Также я лектор на курсах «3DCV» и «Деплой DL-сервисов».

Помимо основных активностей люблю:
- Смотреть турниры по смешанным единоборствам
- Играть в CS
- Проводить "диванную аналитику"»

В комментариях можно пообщаться с Димой и задать интересующие вопросы :)

Посты Димы:
- Виды представления лидарных данных (часть 1, часть 2, часть 3)
- Сегментация поверхности земли
- Few-shot learning
- Эффективные ансамбли
- ModelSoups: варим суп из моделей
- CV-задачи над 3D-данными

CRAFT

Препарируем динозавра, чтобы лучше понять устройство актуальных моделей.

CRAFT — U-net подобная модель 2019 года, с VGG-16 внутри, которая призвана была решить проблему распознавания «in the wild» текста. В реальной жизни текст может состоять из символов разного шрифта, цвета, ориентации, с разными фонами и искажениями. Поэтому логично пробовать детектировать не целое слово за раз, а отдельные символы и промежутки между ними. Именно эту задачу и решает CRAFT.

Но как получить разметку для таких данных в большом количестве? Какие недостатки у такой модели и почему она не работает в одиночку? На эти и другие вопросы мы ответили в новой статье: https://deepschool-pro.notion.site/CRAFT-afe83ca8925041cea46c287fd3611e7d?pvs=4

Подкаст «Под Капотом». CV в медицине

Мы приглашаем в подкаст экспертов из различных областей, чтобы понять, как работают сложные системы изнутри. В этом выпуске мы поговорили с Александром Лекомцевым, Team Lead CV Engineer из oxytech.io, и обсудили:

- особенности работы в стартапе, занимающемся медицинским CV
- чем отличается медицинский CV от «обычного»
- сложности разметки данных
- сложно ли найти общий язык с врачами
- настольно-ролевые игры как способ перезагрузиться

Смотрите новый выпуск по ссылке! https://youtu.be/gX8scA7qtfI

Детекторы текста на основе трансформеров. Часть 2

Сегодня мы продолжим знакомство с детекторами текста на базе трансформеров.

Такие детекторы совмещают возможности сегментационных и регрессионных моделей, что позволяет повысить точность детектирования при сохранении высокой скорости работы. Однако каждый подход имеет свои недостатки: сегментационные сети обеспечивают высокую точность при сложных формах текста, но их скорости недостаточно, тогда как регрессионные модели быстры, но менее точны для сложных случаев. SRFormer — пример современной архитектуры, которая стремится объединить сильные стороны двух методов.

Также в статье мы рассмотрим MixNet, лидирующий на ключевых бенчмарках за счёт своей уникальной архитектуры. Его бэкбон FSNet перемешивает признаки высокого и низкого разрешения. Это помогает надёжнее детектировать мелкие объекты. Кроме того, трансформерный блок (CTBlock) улучшает выделение текстов, расположенных близко друг к другу, с помощью прогнозирования центральной линии текста.

Читайте новую статью по ссылке, чтобы познакомиться ближе с данными детекторами текста на базе трансформеров: https://deepschool-pro.notion.site/2-e3a3419463b94ae0a81545109799ecde?pvs=4