ControlNet ProMax

Обновка ControlNet++ для SDXL.

Обновление ProMaх включает в себя весь существующий набор ControlNet Union, в который добавлены возможности комбинации нескольких типов ControlNet к одному исходному изображению и новые функции Tile Deblur, Tile Superresolution, Tile Variation, Inpaint и Outpaint

Гитхаб
Веса на HF

#controlnet #conditioning #text2image #image2image

InstantSplat: Sparse-view SfM-free Gaussian Splatting in Seconds

Реконструкция больших сцен на гауссианах, быстрая и качественная

Код
Демо

#gaussian #imageto3d #image2scene

VideoLLaMA 2: Advancing Spatial-Temporal Modeling and Audio Understanding in Video-LLMs

Модель понимания видео/аудио. Недавно выложены веса VideoLLaMA2-8x7B-Base и VideoLLaMA2-8x7B

Код
Демо
Веса

#VLM #video2text #assistant

Умельцы прикрутили новую Ламу 405B к Comfy UI.

Работает на хостинге Replicate. По сути, это кастомная нода, которая пишет полноценный промпт из простого описания (prompt rewrite), так же как ChatGPT для Dalle-3.

Вообще мне не очень понравился процесс генерации картинок в нашем любимом чатГПТ, потому что у тебя нет контроля над финальным промптом, который идёт в диффузионку. Даже если просишь использовать данный промпт слово в слово, гптишка нет-нет, да меняет там что-нибудь без твоего разрешения. А суть промпт-инжиниринга в том, чтобы итеративно менять промпт и смотреть, что улучшилось, но бот часто берет и всё переписывает. Хотя для новичков это, конечно, топчик. Ну и как отправная точка для профи, тоже хорошо.

Вижу такой пайплайн для генерации короткометражных фильмов:

1) Сценарист выдаёт краткое описание кадров и, может быть, скетч от руки.
2) Нодами генерим промпт для каждого кадра на вход, берём скетчи и раскадровку от сценариста.
3) Художник пишет промпт для стиля. Добавляем его после промпта каждого кадра отдельной нодой. Подбирает модельки, лоры и пр.
4) Запускаем весь батч раз 5-10, берём лучшие кадры.
5) Идем в Luma оживлять картинки.

Кстати, нужны гайды по Комфи? Ставьте 🦄

Гитхаб

@ai_newz

Вы не просили, но я нашел вам занятие на выходные.

Восьмичасовое интервью Маска у Лекса Фридмана.
Кто первый досмотрит тот красавчик

#оффтоп

Инструкция по установке и применению SAM2 для сегментации видео

#tutorial #segmentation #video2mask

А вот Flux запустили на PALLAIDIUM (плагин для Blender)


Поддержку Flux еще не релизнули, но там и так швейцарский нож нейросеток для блендера, можно не ждать, забирать сейчас

#blender #plugin

SF3D уже в #ComfyUI

ComfyUI-3D-Pack

#imageto3D

Finegrain Object Eraser

Умный удалятор объектов с изображения вместе с тенями и отражениями

#objectremoval #inpainting

#оффтоп #humor