Пятничное

Вдруг вы ещё не видели, тут говорят всё, доигрались мы.
Тыц Arxiv


На всякий случай, вдруг не все выкупят - ребята просто угорают, это статья-шутка.
В посте так же обыгрывается этот мем.

О нас пишут, своеобразно, но в достаточно крупном паблике 😄
Мы не знаем, кто автор, скорее всего, это действительно частный пост.

Надеюсь, у вас уже пятничное настроение? А то тут есть новости под такое🤘

Сегодня мы снова выступали на VideoTech2023, где Александр Гордеев рассказал о нашей новой технологии: Video Highlights Detection.

Как следует из названия, речь идёт о полностью автоматической технологии детекции интересных фрагментов (они же шортсы, они же хайлайты, они же моменты и пр.) в фильме. Вы такие наверняка встречали в своих ньюсфидах - сложно не залипнуть.
Обычно они создаются людьми и это, очевидно, процесс очень трудоёмкий. Поэтому, тяжело переоценить перспективы его автоматизации.

Под капотом технологии - непростой пайплайн с мультимодальным трансформером. Насколько нам известно и насколько можно исходить из общедоступной информации - это первый такой пайплайн для русскоязычного контента.

Если интересны технические детали, то вот презентация.

🎦В качестве демо отрывочек из Один Дома. Новый Год же скоро! Естественно, он был получен без какого-либо участия человека.

Оказывается, в самый ответственный момент у нас отвалились комментарии 😅
Возвращаем! А в прошлый пост добавили демо-шортс.

Григорий Алексеенко выступает с MiVOLO прямо сейчас к конференции AIJourney.

Присоединяйтесь!

Наш паблик, по задумке, рассчитан на самую разную аудиторию: от просто сопереживающих до опытных специалистов. Чтобы эту дисперсию сгладить, иногда мы будем писать быстрые гайды для погружения в тему.

Сегодня поговорим о том, понимание чего читателю пригодится в наших будущих постах (🤫) - больших мультимодальных моделях (LMM).
Говорить будем в разрезе задачи визуального ассистента: т.е., в простейшем случае речь идёт об изображение + текст на входе -> текст на выходе.

Любой, у кого есть подписка на платную версию ChatGPT, в общем-то хорошо понимает, о чём речь.
А что происходит в опенсорсе?

17 апреля 2023 года, ещё до релиза превью мультимодальной ChatGPT-4V, вышла работа LLaVA (Large Language and Vision Assistant). В среде специалистов она наделала много шума, поскольку всё гениально - просто, и авторы, не сделав ничего недоступного другим, сумели достичь блестящих результатов.

Маленькое отступление: краеугольным камнем всех моделей-ассистентов являются инструктивные данные. В нашем случае они выглядят как картинка + инструкция. Например, можно подать изображение с тем, как человек меняет колесо автомобиля на обочине дороги на вход и попросить сеть описать, какую проблему человек решает, почему она возникла и пр. Такие данные мощно драйвят модель к глубокому пониманию сути вещей.

Так вот, в LLaVA, авторы решили собирать такие инструктивные данные для обучения через ChatGPT, поскольку это мощная модель, способная создавать и сами инструкции, и ответы к ним. А ещё потому что люди такие описания делают достаточно плохо.
Но, поскольку картинки ChatGPT съесть ещё не была способна, они хитрым образом извернулись и подавали подробные текстовые описания изображений, включающие даже баундинг боксы объектов.
Дальше всё достаточно просто: собрав качественные инструктивные данные, авторы взяли LLM Vicuna и ViT-L/14 энкодер из CLIP, и собрали всё это вместе. Таким образом, на вход LLM подаётся текст + эмбеддинги изображения. А чтобы эти визуальные эмбеддинги перевести в текстовое гиперпространство, авторы докинули простой линейный слой. Т.е., тренировка состоит из двух этапов: сначала всё, кроме проекционного слоя замораживается и обучается он, затем размораживается ещё и LLM, чтобы обучить ассистента. Визуальный энкодер остаётся в снегу на всех этапах.

Можете посмотреть демо самостоятельно. Итоговая модель оказалась весьма хороша, особенно с учётом того, как данные собирались, что их было немного и относительной простоты всей системы.
Короче, подход взлетел.

Затем была LLaVA 1.5 с небольшими улучшениями и исправлениями (например, заменили линейный слой на MLP - Multi layer perceptron, ну и много другого поправили), а в конце ноября вышла ShareGPT4V.

Авторы первыми дерзко-резко подорвались и исправили главную проблему LLaVA: они набрали данные из ChatGPT-4V, т.е. с уже нормальной мультимодальностью, а не текстовым описанием изображения. Самой большой и нераскрытой интригой статьи остаётся то, как они обошли ограничение в 100 запросов в день, которое на тот момент действовало для всех :)

Но, как бы то ни было, причесав данные и особо даже ничего больше и не меняя, ребята мощно стрельнули: сеть на данный момент или лучшая из открытых, или одна из лучших, смотря на чём смотреть.
Вот тут можно поиграть с демо (ему изредка плохеет и оно ложится).

Ну и там уже гору всяких вариаций понаделали: LLaVAR (улучшение для OCR задач), LLaVA-Grounding (детекция и сегментация), LLaVA-Interactive (для визуального взаимодействия), LLaVA-Plus (для всего на свете), Video-LLaVA и даже LLaVA-Med.

Изначально текст писался для нашего паблика, но постепенно он вылез за пределы формата Телеграма и пришлось заливать на Habr😅

В общем, TL;DR:
Наткнулся на серию интересных научных статей по теме защиты работ художников от генеративных сетей. Вероятно, это не самая обсуждаемая тема, хотя для многих людей развитие нейросетей стало уже сейчас, без преувеличения, катастрофой.

В одной из работ есть весьма любопытный опрос профессиональных художников и там всё весьма сурово: достаточно сказать, что 78% авторов ожидают, что ИИ повлияет на их трудоустройство, а 77% оценивают качество копирования стиля человека нейросетью как хорошее или очень хорошее.

Разбираю в посте очень высокоуровнево два подхода, разработанных для защиты работ от использования в генеративных моделях. Второй (Nightshade) особенно интересен - сгенерировав с его помощью всего от 25 сэмплов, можно успешно атаковать модель (в контексте авторов - защитить работы). При условии, конечно, что они в трейнсет модели попадут, например, в процессе веб-скрейпинга. И мы говорим, если что, о сетях, у которых размеры трейнсетов начинаются на сотнях миллионов примеров, а обычно речь о миллиардах. С учётом, как всё это собирается и чистится в случае открытых данных (частенько примерно никак), подобные тулы могут представлять существенную угрозу в будущем и будут стимулировать очень серьёзно подходить к фильтрации данных.

Больше деталей в фулле: https://habr.com/ru/articles/785088/

Аж 4 дня, как вышла LMM LLaVA-1.6, а времени написать о ней всё не было. А есть о чём.

Самое главное и долгожданное мной изменение, это то, что авторы называют Dynamic High Resolution – способ работы с изображениями произвольного размера на вход. Дело в том, что оригинальной работе и в версии 1.5 использовалось фиксированное разрешение (224х224 и 336х336), но это было не от хорошей жизни. Тоже самое и в большинстве альтернативных подходов.
При этом, с самого начала не скрывалось использование динамического метода в ChatGPT-V, что понятно хотя бы даже из пояснений к прайсингу. Преимущества для работы с деталями, небольшими объектами и текстом очевидны, и поэтому вопрос перехода к чему-то подобному был делом времени.

В общем, вот как авторы LLaVA это решают: они берут CLIP-ViT-L-14 и разбивают в соответствии с заданными схемами изображение на кусочки по 224х224 (что интересно, у ChatGPT разбивается на 512x512), которые процессят независимо энкодером. Параллельно, по-старинке, процессят и изображение целиком. Последнее нужно для передачи глобального контекста, а так же, чтобы компенсировать артефакты первого. В аппендиксе статьи показано на метриках, что это играет существенную роль.
Затем всё вместе загоняют в LLM.
Поскольку сетки разбиения предопределены, максимальное разрешение ограничено размерами 672x448 или 448x672.

Есть, также, ряд других улучшений и, по итогу, LLaVA-1.6 в версии 34B перформит соизмеримо с коммерческими моделями: умудрилась на нескольких бенчмарках даже обойти ChatGPT-V, на большей части Gemini Pro (предпоследняя по мощности модель от Google) и на всех представленных Qwen-VL-Plus (от Alibaba). Детальнее можно посмотреть на сайте или в обновлённой статье LLaVa-1.5.
Результаты для открытой сети с доступным трейн кодом совершенно ошеломительные и круто задрайвят развитие области.
Демка тут.