ℹ️ Вторая работа — ужас фоторедакторов: Emu Edit, многозадачная модель для редактирования изображений, задающая новый уровень развития технологии. Может делать редактирование на основе выделенного региона и без него (просто по текстовому запросу), а может делать детекцию и сегментацию — и всё это сформулировано при обучении как генеративные задачи 😱

🤔 Интересно, что для генерации «инструкций» на редактирование при тренировке использутся LLAMA-2-70B (промпт с примерами см. в статье). Похоже, уже можно считать, что мы вошли в эру тренировки моделей на синтетических данных.

😨 И видов сгенерированных задач ну просто куча: добавление и удаление предметов, замена текстуры, смена фона, исправление текста, выделение объектов, и список можно ещё прододжать!

🕸 Официальный сайт (тут больше демок)
✍️ Статья (pdf)

😎 И отдельно выделю, что был опубликован тестовый датасет для замера точности и качества редактирований — там же можно посмотреть формат описания задач. Он собран уже вручную людьми, а не сгенерирован машиной.

В общем, ждём в инстаграме!

🔥Stable Video Diffusion

Друзья из Stability.AI наконец-то зарелизили image-to-video модель! Работает на базе весов SD v2.1.

Есть две версии
- SDV, генерит 14 фреймов 576x1024
- SDV-XT, которая зафайнтюнена с SDV, чтобы генерить 25 кадров.

Фрейм рейт можно менять во время инференас от 3 fps до 30 fps, то есть можно получить видео длиной от 1 до 8 сек. Достигается это за счет дополнительного кондишенинга на фрейм-рейт, также как в SDXL был добавлен кондишенинг на разрешение выходной картинки.

По представленным бенчмаркам, SDV обходит Gen-2 и Pika.

Количество фреймов, генерируемых за раз, конечно, меньше чем у EMU-Video, но зато полный опен-соурс, и веса тоже уже доступны!

Статья с деталями.

@ai_newz