Совершенно неочевидный способ генерировать многократно одного и того же персонажа в Automatic1111⁠⁠

Инструкция

Автор

Imagica — нейросеть создаёт другие нейронки по текстовому запросу

Кроме того, он мультимодальный: в приложении могут быть текст, изображения, видео и 3D-модели.

Пока что только в бете, лист ожидания по ссылке.

SdPaint

Скрипт для генерации изображения по эскизу "в реальном времени". На самом деле со скоростью генерации вашего Automatic1111, ведь скрипт обращается к нему по API (нужно будет прописать --api в параметры запуска). Убедитесь что у вас установлен Controlnet.

Для установки скачайте и распакуйте проект, запустите Start.bat

Видео ускорено в 4 раза.

Реддит

Продолжаем "революционировать" в SD. А точнее - в недавнем Segment Anything. Туда, как и обещали авторы, добавили ещё один инструмент - Grounding DINO!
Давайте разберём зачем вообще нужен этот Динозаврик. А поможет он ещё более чётко работать с масками и размечать датасеты под обучения. Кто уже попробовал Сегментацию могли заметить, что очень мелкие детали довольно сложно "поймать" маской. Выделить глаза или уши, например, та ещё задача. Или, если у вас на картинке много лиц, а заинпаинтить по маске надо только одно - придётся вручную править маску. Но Dino решает эти проблемы очень легко! Обновив расширение в блоке сегмент появится дополнительные опции для включения новой фитчи и промта под неё. И, например, вписав в промт Граудинга "eyes" можно поймать глаза вообще не проставляя точки позитива и негатива! В этом случае текстбокс сработает заместо этих точек. Плюс ко всему, этот инструмент ещё и разделит глаза на разные выделения, и в маску можно отправить только один глаз для инпаинта. Ну или это применимо для одного лица из множества, как я писал выше.
Как пользоваться показано на картинках выше. Пройдёмся пошагово:
1) Раскрываем блок Сегментирования в и2и (не забывайте выбрать чекпоинт, H - самый крутой, как мы помним), выбираем нужную картинку, выставляем галочку Enable GroundingDINO и ниже - I want to preview GroundingDINO detection. У Дино тоже есть свои веса, не забываем выбирать и их (скачаются автоматически). Вписываем то, что нужно найти, и обращаем внимание на ползунок Threshold - это будет ваш любимый ползунок. Он позволяет редактировать силу отсейки результатов, погоняв его туда-сюда легко получить нужное.
2) Далее - нажимаем под загруженной картинкой кнопку Генерации, смотрим что повыделял нам Dino. Если результат примерно нужный (два уха - две области выделения, примерно на тех местах), идём дальше, если нет - играем с ползунком отсейки. Выше несколько картинок, показывающие различные значения. Если слишком маленькое значение - полезут лишние коробочки, если слишком высокое- не появится ничего. Каждый раз это значение индивидуально.
3) Крутим ещё ниже (да, расширение получилось монструозное по длине). Там у нас будет выбор, какие квадраты передать в Сегментацию (отмечаются галочками), и, собственно, дальше всё как в предыдущий раз. Нажимаем Превью, чуть-чуть ждём, выбираем понравившуюся маску, выставляем галку Копировать в инпаинт-маску, и в самом низу появилась удобная кнопочка - Switch to Inpaint Upload - которая передаст нашу маску и изначальное изображение на нужную подвкладку.
4) Наконец, возвращаемся в самый верх. Там вы видим, что на нужную вкладку нас переключило, но маски и картинки, опять, не видно. Но это не беда, нажав на "генерацию" мы увидим что нужные данные подрузились и работают как надо. Не забывайте написать промт и использовать инпаинтные модели, для лучших результатов.
5) Так же, в сегментации появилась ещё одна полезная галочка - Расширить маску. Полезно, когда нужно выбрать область чуть больше, чем выделилась. Например, на скрине выше я выделил по маске глаз кролика, расширил маску, и сделал ему глазки побольше и сместил их относительно оригинала.
В общем и частном получился отличный инструмент для генерации масок. Поначалу выглядит сложно, но попробуйте - это очень легко и быстро на практике. Ещё раз ссылка на расширение, если вы её потеряли. На страничке есть несколько поясняющих видео.
Пара уточнений по установке. Во-первых, обновление/установка его займёт какое-то время, потому что Динозаврику нужно скомпилировать ядро под вашу систему. Соответственно, требования как и у иксформесов - установленный С++ компилятор и Cuda. Во-вторых, я ставил на начальных билдах и в них нужно было что бы версия Куды-торча совпадала с версией установленной в системе Куды. В автоматике, по умолчанию, Куда-торч ставится 11.7 и мне пришлось сносить свою системную 12.0 Куду и ставить 11.7 что бы всё заработало. Возможно, в текущей версии это уже поправили, но имейте ввиду - будут ошибки при перезапуске, вы знаете что делать.

Inpaint Anything

Segment Anything поженили с инпентингом. И наверняка скоро прикрутят в Automatic1111

Код

#image2image #segmentation #inpainting

Скажу сразу что я не фанат аниме, очень выборочно смотрю его, а аниме генерации меня не интересуют в принципе (если только это не пейзажи/ситискейпы уровня Макото Синкай).

Так что всякие новости про появивишиеся новые аниме-чекпойнты и аниме-модели для #text2video вроде свежей modelscope + amine я частенько игнорирую

Помните проект ICON?

Довольно давно уже авторы на замену ему сотворили ECON - следующий шаг эволюции в восстановлении 3D модели человека по одному изображению.
Ну круто, и что?

А то что уже есть плагин для Блендера
Держите туториал
Надеюсь, поделитесь результатами

Код
Демо на hf

#imageto3D #videoavatar #image2avatar #image2pose

Адобченко поднимает веки и медленно спускается с горы.

Я вот читаю анонсы предстоящего NAB 2023 и вижу, что кроме Adobe, все крупные игроки (Максон, Автодеск, Сайды, Фаундри) сидят в танке по поводу генеративного ИИ. Просто молчат.
А вот Адобченко вчера пульнул протокол о намерениях встроить ИИ во все, что шевелится, то есть не только в статичные картинки, но и в монтаж, композ и все, что связано с видео, кино и анимацией.

Список фич впечатляет, и это не просто еще один способ генерить веселые пиксели, а именно видение проступающих из диффузионного шума пайплайнов.

1. Колоркоррекция видео голосом. Цитирую: «Сделайте эту сцену теплой и привлекательной». Не шутка, кнопка сделай красиво уже здесь.

2. Про логосы и шрифты я уже писал, когда тестировал FireFly. Теперь все это хозяйство можно будет анимировать. Не думаю, что это будет дефорумная покадровая анимация. Скорее псевдо-3Д в афтере.

3. Бомба: ИИ-преобразование сценария в текст для автоматического создания раскадровок и превизов! Без комментариев.

4. Автоматическая нарезка B-Roll-ов для чернового или окончательного монтажа! (это как бы визуальные перебивки, которые (тостуемый) монтажер вставляет поверх основного видеоряда).

5. Прошенный советчик. Который расскажет, что не надо отрезать ноги, и объяснит за "восьмерки". С ним можно будет поговорить за (цитирую) "процессы от первоначального видения до создания и редактирования".

6. Генерация музыки! Пользователи "могут легко создавать бесплатные пользовательские звуки и музыку, чтобы отразить определенное чувство или сцену как для временных, так и для финальных треков".

Когда? В конце года.
Огромная, жирная, красная кнопка.
"Сделать зашибись и в ТикТок!".
https://blog.adobe.com/en/publish/2023/04/17/reimagining-video-audio-adobe-firefly

RunwayML такой, задумчиво почесывая затылок: "за сколько будем продавацца?"

DINOv2 сгенерировал карту высот крон деревьев в масштабе меньше метра

DINOv2 представляет собой модель компьютерного зрения, использующую самообучение для достижения результатов, которые превосходят стандартные подходы (судя по релизу).

Meta AI в сотрудничестве с The Global Restoration Initiative использовали DINOv2 для оценки высоты кроны деревьев по всему миру. Для этого ему скормили спутниковые данные и данные лидеров.

Картирование растительности имеет большое значение для понимания углеродного цикла. Структура леса может быть пространственно неоднородной, и оценка высоты и площади кроны позволяют наблюдать деградацию существующих лесов, естественное лесовосстановление, или внедрение устойчивых методов ведения сельского хозяйства.

Статья

Свежее видео от VOX.
Заменит ли ИИ хромакей.

Простым языком, понятным обывателю. Для перевода на русский можете пользоваться Яндекс браузером

Чистый, без примесей, text-to-3D!

Коль скоро Epic Games до сих пор выясняет этичность использования ИИ, кто-то должен был сделать ИИ-Метахьюмана!

Мне написал Макс П. из Synthesis AI и пригнал вот такую новость.

Synthesis AI, стартап из Сан-Франциско, специализирующийся на производстве синтетических данных, сегодня объявил, что разработал новый способ создания реалистичных ТРЕХМЕРНЫХ цифровых людей из текстовых подсказок.

Компания анонсирует, что ее новая технология преобразования текста в 3D, использует "пайплайны генеративного искусственного интеллекта и визуальных эффектов для создания цифровых людей с высоким разрешением кинематографического качества, которые можно использовать для различных приложений, таких как как игры, виртуальная реальность, фильмы и симуляторы".

Ну и дело не столько в качестве, а в подходе. Кто-то наконец-то сделал брутфорсный тренинг моделей на классических полигональных сетках, без всяких нерфов, 2Д-проекций, читов в духе kaedim и вот этого вот всего. На выходе реальные текстурированные 3Д-меши.

Synthesis AI сделала собственные модели, используя генеративные архитектуры на основе диффузии для создания разнообразного набора сеток, которые регулируются критическими параметрами, такими как пол, возраст, этническая принадлежность и пр. Слои текстур создаются с использованием отдельной(!) генеративной модели, которая обеспечивает детальное независимое управление(!)

Комплексная 3D-модель с высоким разрешением создается путем слияния этих двух основных компонентов.

В общем это такой ИИ-Метахьюман с голосовым(текстовым) управлением (хотя управление слайдерами тоже есть).

Еще раз - на выходе чистое, рафинированное, генетически немодифицированное 3Д!

Synthesis AI специализируется на синтетических данных, поэтому немудрено, что собственная библиотека Synthesis AI, содержащая более 100 тысяч цифровых людей, является базовыми данными, используемыми для обучения моделей. Другие продукты компании, Synthesis Humans и Synthesis Scenarios, уже используют эту библиотеку для решения задач компьютерного зрения с размеченными данными для поддержки разработки возможностей идентификации лиц, мониторинга водителей, аватаров и многого другого.

В общем, наконец-то кто-то обГАНил (обдиффузил) полигональные 3Д-сетки, пусть на определенном, но очень востребованном классе объектов - кожаные головы.

Это только начало, цитирую: "сочетая генеративный ИИ с пайплайнами кинематографических визуальных эффектов, компании смогут синтезировать мир, включая людей, окружающую среду и объекты".

Мы с Максом обсудили дальнейшее обГАНИвание 3Д, а я срочно записался в бету, благо есть административный ресурс влияния. Макс неоднократно зажигал у меня на Ивенте, а психоделические посиделки в киевском "Любимом дяде" с Дэном и Максом до сих пор оказывают на меня влияние.


https://venturebeat.com/ai/synthesis-ai-debuts-text-to-3d-technology-for-cinematic-quality-digital-human-synthesis/