Да сколько ж можно!

Хунь готовит

самую мощную открытую модель генерации картинок

Стрим назначен на воскресенье 28 сентября 14:30

Спасибо @iNevestenko

#news

FLUX.1 Kontext now in Adobe Photoshop: Powering Every Pixel

FLUX.1 Kontext [Pro] теперь доступен в бета-версии Adobe Photoshop. С 25 сентября в инструменте Generative Fill.

Утверждают что во время бета-тестирования модель можно будет использовать бесплатно. Как долго - непонятно.

#imageediting #photoshop #news

Мы еще не отошли от новых возможностей Suno V5, как они бахнули Suno Studio

И это уже серьезно.
Музыкальная монтажка в вашем браузере, но даже это не главное.

Теперь треки различных инструментов и вокала генерятся по отдельности, их видно, их можно резать и монтировать индивидуально.
Но даже это не главное.

Все это можно экспортировать в DAW.
Но даже это не главное.

Треки можно конвертировать в MIDI формат!!!
И вот это уже бомба.

Не секрет, что многие композиторы и аранжировщики уже используют Суно в качестве источника музыкальных идей и просто тырят оттуда мелодии, чтобы переаранжировать их.
Теперь это сделать совсем просто.

И вообще, теперь вы можете вытворять со своими генерациями, что хотите в плане дальнейшей доработки.

Знающие люди в коментах уже пишут, что конвертация в MIDI делает минимальное количество ошибок, и правится руками очень быстро.

Suno - продукт у которого просто нет конкуренции.

Для начала просто посмотрите, что они сами вытворяют:
https://www.youtube.com/watch?v=c8qNYyeAQBs
https://www.youtube.com/watch?v=KFfrcPmzSSo&t=998s

Пока раскатали в плане за 30 долларов в месяц, ждем дальнейших послаблений.

https://suno.com/studio-welcome

@cgevent

LongSplat: Robust Unposed 3D Gaussian Splatting for Casual Long Videos

Реконструкция 3D-сцен от NVIDIA на гауссианах из длинных видео, снятых в обычных условиях - с тряской камеры и т д

Справляется с дрейфом поз, неточной инициализацией геометрии и ограничениями по памяти.

Пригоден для стабилизации видео

Под капотом MASt3R

Код

Спасибо @m_franz

#gaussian #videoto3d #stabilization #novelview

TinyWorlds

Чел водиночку попытался воспроизвести архитектуру Genie в минималистичном виде. Потратил на это месяц. Вот что получилось.

С ним уже хотят пообщаться люди из команд разрабатывающих генераторы миров.

Твиттер
Гитхаб

#text2world #research #text2game

#3d #imageto3d #textto3d #segmentation

Ух ты, Хуньяньский опенсорснул часть Hunyuan Studio ответственную за сегментацию полигональных объектов.

Там два метода:
P3-SAM: модель сегментации деталей в формате 3D.
X-Part: модель генерации деталей, обеспечивающая топовые результаты в области управляемости и качества формы.
Код https://github.com/Tencent-Hunyuan/Hunyuan3D-Part
Веса: https://huggingface.co/tencent/Hunyuan3D-Part

Подробнее тут:
https://murcherful.github.io/P3-SAM/
https://yanxinhao.github.io/Projects/X-Part/

@cgevent

Video models are zero-shot learners and reasoners

Выяснилось что Veo 3 способен решать многие визуальные задачи без дообучения

— может сегментировать объекты

— обнаруживает края

— редактирует изображения

— понимает физические свойства объектов

— распознаёт возможности использования объектов

— симулирует использование инструментов

— решает лабиринты

— определяет симметрию

— выявляет свойства материалов (например, воспламеняемость)

— моделирует преобразования жёстких и мягких тел

— работает с оптическими свойствами материалов (стекло, зеркала)

— удаляет фон

— выполняет перенос стиля

— раскрашивает изображения

— занимается дорисовкой и созданием новых видов сцен

— синтезирует новые ракурсы

— управляет манипуляциями с объектами (например, с банкой, при броске и ловле, с шарами Баодинг)

— распознаёт действия по визуальным инструкциям

Примеры по ссылке

Выходит, видеогенераторы могут стать базовой визуальной моделью подобно тому как LLM стали основой для обработки естественного языка

Исследование от Deepmind

#news #research

Audio2Face-3D

NVIDIA выпустила в опенсорс свой аниматор говорящих 3D голов по звуку из 2022 года

Насколько помню, раньше она была доступна в Onmiverse
Видимо, технология уже не сильно актуальна?

В SDK есть плагины для #Maya и #UE

HF

#talkinghead #audio2animation #head #speech2animation #lipsync

Опубликованы модели и код видеоперсонализатора Lynx

Репозиторий содержит два варианта модели:

Модель Lynx Full (lynx_full): полная версия со всеми расширенными функциями и наилучшей производительностью

Модель Lynx Lite (lynx_lite): Облегченная версия, оптимизированная для сред с ограниченными ресурсами, с поддержкой видео со скоростью 24 кадра в секунду.

Гитхаб
HF

#personalization #referenceing #text2video #imge2video