AUDIT
Это как Stable Diffusion только для звука.

Новая работа от Микрософта.
Редактирование имеющегося звука промптами или даже генерация звука с нуля текстом.
Поглядите первые пары примеров: добавление звука в трек, выкусывание голоса, замена смеха на трубу(!), интпайнтинг(расцвечивание звука), Super-resolution.
И все это текстовым промптом!
За художников чуть не спились.
Теперь за звукорежей и звукарей пить полгода.
https://audit-demo.github.io/

AI модель от Мета, которая может стать chatGPT3 в мире компьютерного зрения

Возможно это "chatGPT3-moment" для ИИ в области компьютерного зрения, посмотрим. Только что мета выкатила проект SAM - Segment Anything - модель обученная на самом большом датасете по выделению объектов на изображении. И модель и датасет выложены в открытый доступ.

🔥 SAM позволяет пользователям сегментировать объекты одним щелчком мыши.
🔥 SAM может автоматически находить и маскировать ВСЕ объекты на изображении.
🔥 SAM может генерировать маску сегментации для любой подсказки в режиме реального времени, что позволяет взаимодействовать с моделью в реальном времени.
🔥 Согласно статье работает замечательно для Zero-Shot Learning задач. То есть, когда надо настроить модель для своего датасете и очень быстро без трудоемкого обучения.

Они сделали даже демо, но оно, видимо, перегружено запросами, у меня пока не открылось.

В наших делах по интерпретации и выделению объектов - это может быть прорывна штука. Посмотрим.

DoMore.ai — каталог ИИ-инструментов с семантическим поиском

Работает как поисковик. Пишем, например, «я хочу написать статью в блог» или «нужно сгенерировать картинки для сайта».

#tools #gallery

ControlNet с человеческим лицом. И телом.
Я вот тут приподвзвывал о том, что рано или поздно вся это возня со спичками и точками в крошечном окне ControlNet должна превратиться в убодные инструменты с камерой, костями, кинематикой и прочим ригом.
И пока Автодеск, Максон и даже Миксамо корпоративно отмалчиваются, на сцену выскакивают новые игроки.
Я уже много писал про PlaskAI - это один из популярных нейромокапов. Снимаешь себя на камеру, а он выдает твой скелет в 3Д с анимацией. Примерно то, что делает OpenPose(в кишках контролнета), но только не с одним кадром, а с видео.

Ну и, конечно, они подсуетились и сварганили на базе Stable Diffusion генератор картинок с удобным(условно, на безрыбье) редактором поз.

Регистраций гуглом проходит. А дальше набор стандартных стандратных опций. Пять сэмплеров, негативный промпты. Зачатки стилей и пресетов.

Что-то типа PlaygroundAI только с редактором поз. Денег пока не берут, но сервера у них стонут и кряхтят, очень медленно.

Го тестировать

Доки и видео тут: https://docs.plask.ai/

Генерилка тут:
Иногда глючит и отправляет в корень сайта, тогда нужно выбрать готовую работу и сказать "добавить в мой воркспейс".

https://plask.ai/

Авторы StyleGAN-T поделились кодом. А весами не хотят делиться. Так что если хотите, придется тренить самостоятельно.
Один из авторов собрался присоединиться к StabilityAI и там работать над опенсорсными GAN'ами

Код

#text2image #text2video #text2animation #gan