В ускоритель видеогенерации Sparse VideoGen добавлена поддержка Wan 2.1, по картинке и по тексту

Код

Спасибо @MIXTRESH

#optimiozation #text2video #image2video

Any2Caption: Interpreting Any Condition to Caption for Controllable Video Generation

Контроль генерации видео на основе любой входной информации (текст, нормали, глубина, эскиз, сегментация, ракурс и т д) за счет использования мультимодальных языковых моделей

Эпоха зоопарка контролнетов уходит?

В работе явно указан Hunyuan, наверняка, может работать и с другими генераторами

Код ждем

#text2video #conditioning #controlnet

Hunyuan3D-2-stable-projectorz

Легкий установщик (Windows) Hunyuan3D, не требует установки CUDA. Работает на 8Гб VRAM
Для интеграции с текстуровщиком StableProjectorz.

Напоминаю, что все непроверенные штуки из интернета вы устанавливаете на свой страх и риск

#textto3d #imageto3d

В недавнем подкасте режиссёр Джеймс Кэмерон выразил мнение, что для сохранения фильмов-блокбастеров стоимость создания графики (VFX) для них нужно сократить в два раза, но на самом деле он просто не совсем верно высказал мысль, вот цитата:

Дело не в том, чтобы сокращать половину специалистов и VFX-студий. Нужно в два раза увеличить скорость их работы над определённым шотом, чтобы весь производственный цикл шёл быстрее, а художники смогли переключаться на другие интересные задачи, а скучные вещи отдать AI.

В сентябре 2024 года он объявил, что войдёт в совет директоров Stability AI, компании, стоящей за нейросетью Stable Diffusion.

При этом Кэмерон не верит, что ИИ сможет полностью заменить человека в создании фильмов: например, для создания сценариев. Кроме того, режиссёру не нравится идея, что кто-то может создать фильм в его стиле или в духе другого режиссёра, просто вбив в программу запрос.

На мой взгляд, Джеймс выбрал неудачное время для подобных разговоров, когда десятки тысяч людей теряют работу в VFX-индустрии, а низкие сметы и сжатые сроки становятся ещё более неадекватными для сотрудников студий. Стремление увеличить скорость работы абсолютно понятно, но когда ты делаешь технодемку, а по-другому Аватар я называть не могу, то есть определенные издержки в виде времени проработки шота и рендера. Те задачи, которые ставят на подобных проектах AI вряд ли выполнит качественно и подконтрольно для видения режиссера, не в обозримом будущем, тем не менее, хотелки растут, а цены просят ниже.

При этом запредельные гонорары продакшена и актерского состава никто трогать не будет, так как они защищены профсоюзами, а львиная доля бюджета уходит именно на них. Безусловно, Кэмерон разбирается в теме производства как никто иной, но мне как представителю "синих" воротничков от индустрии немного странно слышать подобные заявления, когда все эти издержки падают на обычных работяг.

Источник новости

Browserable

JS-Библиотека для создания браузерных ИИ-агентов
Для работы понадобится API ключ одного из провайдеров Gemini / Open AI / Claude

Код

#agent

HiDream-I1

Новый опенсорсный китайский генератор картинок на совете экспертов (#MoE)

Ест 16Гб на самом деле 61Гб

Демо - пожатая модель
Код
Веса

#text2image

Видеогенератор Veo 2 доступен бесплатно в AI Studio (притворитесь что вы в США)

Разумеется, есть лимиты

#text2video

Dreamina

В генератор картинок и видео от Capcut добавили оживлятор портретов с липсинком. Работает он на базе OmniHuman который мы смотрели в феврале без кода.

Загружаем фото, пишем текст для озвучки или загружаем аудио до 15 секунд, выбираем голос.

На выходе получаем анимацию с неплохой мимикой, жестами, движениями головы, глаз и тела.

Нужен аккаунт CapCut и веб-локация в США

Попробовать

#portraitanimation #audio2video #audio2motion #motion2video #talkinghead #lipsync

sd-forge-fluxtools-v2

Расширение для Forge, позволяющее полноценно использовать Controlnet и Redux c Flux-1-dev. До сих пор с этим были проблемы, в отличие от ComfyUI

#extension #flux

Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction

Еще один реконструктор 4D сцены по монокулярному (не стерео) видео. Тоже через карту глубины, а также через карту точек и карту лучей

Код

#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene

BoxDreamer: Dreaming Box Corners for Generalizable Object Pose Estimation

Трекер положения объекта в 3D с баундинг боксом в качестве промежуточного результата

Код ждем
Демо

#tracking #video2pose