NEW BOT Телеграм, страница

Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)

1:13

Media is too big

Мы еще не отошли от новых возможностей Suno V5, как они бахнули Suno Studio

И это уже серьезно.
Музыкальная монтажка в вашем браузере, но даже это не главное.

Теперь треки различных инструментов и вокала генерятся по отдельности, их видно, их можно резать и монтировать индивидуально.
Но даже это не главное.

Все это можно экспортировать в DAW.
Но даже это не главное.

Треки можно конвертировать в MIDI формат!!!
И вот это уже бомба.

Не секрет, что многие композиторы и аранжировщики уже используют Суно в качестве источника музыкальных идей и просто тырят оттуда мелодии, чтобы переаранжировать их.
Теперь это сделать совсем просто.

И вообще, теперь вы можете вытворять со своими генерациями, что хотите в плане дальнейшей доработки.

Знающие люди в коментах уже пишут, что конвертация в MIDI делает минимальное количество ошибок, и правится руками очень быстро.

Suno - продукт у которого просто нет конкуренции.

Для начала просто посмотрите, что они сами вытворяют:
https://www.youtube.com/watch?v=c8qNYyeAQBs
https://www.youtube.com/watch?v=KFfrcPmzSSo&t=998s

Пока раскатали в плане за 30 долларов в месяц, ждем дальнейших послаблений.

https://suno.com/studio-welcome

@cgevent

🤯9👍3👎1🔥1

1K views05:46

0:23

LongSplat: Robust Unposed 3D Gaussian Splatting for Casual Long Videos

Реконструкция 3D-сцен от NVIDIA на гауссианах из длинных видео, снятых в обычных условиях - с тряской камеры и т д

Справляется с дрейфом поз, неточной инициализацией геометрии и ограничениями по памяти.

Пригоден для стабилизации видео

Под капотом MASt3R

Код

Спасибо @m_franz

#gaussian #videoto3d #stabilization #novelview

👍6🔥5

2.03K viewsedited 06:07

0:03

HuMo & Chroma1-Radiance Native Support in ComfyUI

HuMo и Chroma1-Radiance завезли в #ComfyUI

Обычно диффузные модели используют латентное пространство для генерации изображений, а VAE - для кодирования/декодирования изображений из/в пиксельное пространство. Radiance генерирует изображение непосредственно в пиксели. То есть, VAE не требуется. Модели VAE оценивают, как должно выглядеть изображение при декодировании, что означает неизбежные потери. При генерации сразу в пиксели этого не происходит. Предварительный просмотр в реальном времени также будет более точным по мере создания изображения.

Воркфлоу по ссылке в блоге

#workflow #image2video #text2image

👍13❤1🤔1😈1

2.05K views07:09

1:45

Media is too big

4KAgent: Agentic Any Image to 4K Super-Resolution

Думающий агентный апскейл изображений до 4K при участии Topaz Labs

Анализирует изображение, создает его детальное описание и выбирает стратегию в зависимости от домена, типа и степени повреждений.

Природа выглядит так себе, как фрактальный апскейл

Аэрофотосъемка - линии кривые, в остальном хорошо

Фэнтези - норм

Для установки требуется 50 ГБ на диске. От 2 GPU (>=24 GB VRAM - непонятно каждый или всего)

Код

#upscale #agent

😁7👍3😱1

1.77K views08:12

0:30

TinyWorlds

Чел водиночку попытался воспроизвести архитектуру Genie в минималистичном виде. Потратил на это месяц. Вот что получилось.

С ним уже хотят пообщаться люди из команд разрабатывающих генераторы миров.

Твиттер
Гитхаб

#text2world #research #text2game

🔥8❤1

1.79K views09:12

#3d #imageto3d #textto3d #segmentation

1.51K views09:27

Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)

0:39

Media is too big

Ух ты, Хуньяньский опенсорснул часть Hunyuan Studio ответственную за сегментацию полигональных объектов.

Там два метода:
P3-SAM: модель сегментации деталей в формате 3D.
X-Part: модель генерации деталей, обеспечивающая топовые результаты в области управляемости и качества формы.
Код https://github.com/Tencent-Hunyuan/Hunyuan3D-Part
Веса: https://huggingface.co/tencent/Hunyuan3D-Part

Подробнее тут:
https://murcherful.github.io/P3-SAM/
https://yanxinhao.github.io/Projects/X-Part/

@cgevent

👍7

1.17K views09:27

Video models are zero-shot learners and reasoners

Выяснилось что Veo 3 способен решать многие визуальные задачи без дообучения

— может сегментировать объекты

— обнаруживает края

— редактирует изображения

— понимает физические свойства объектов

— распознаёт возможности использования объектов

— симулирует использование инструментов

— решает лабиринты

— определяет симметрию

— выявляет свойства материалов (например, воспламеняемость)

— моделирует преобразования жёстких и мягких тел

— работает с оптическими свойствами материалов (стекло, зеркала)

— удаляет фон

— выполняет перенос стиля

— раскрашивает изображения

— занимается дорисовкой и созданием новых видов сцен

— синтезирует новые ракурсы

— управляет манипуляциями с объектами (например, с банкой, при броске и ловле, с шарами Баодинг)

— распознаёт действия по визуальным инструкциям

Примеры по ссылке

Выходит, видеогенераторы могут стать базовой визуальной моделью подобно тому как LLM стали основой для обработки естественного языка

Исследование от Deepmind

#news #research

❤11👍2

2.09K views11:51

0:21

Audio2Face-3D

NVIDIA выпустила в опенсорс свой аниматор говорящих 3D голов по звуку из 2022 года

Насколько помню, раньше она была доступна в Onmiverse
Видимо, технология уже не сильно актуальна?

В SDK есть плагины для #Maya и #UE

HF

#talkinghead #audio2animation #head #speech2animation #lipsync

❤3😁2👍1

2.27K viewsedited 12:36

#humor

😁80🍌2🍾2🌚1

3.12K views13:20

Опубликованы модели и код видеоперсонализатора Lynx

Репозиторий содержит два варианта модели:

Модель Lynx Full (lynx_full): полная версия со всеми расширенными функциями и наилучшей производительностью

Модель Lynx Lite (lynx_lite): Облегченная версия, оптимизированная для сред с ограниченными ресурсами, с поддержкой видео со скоростью 24 кадра в секунду.

Гитхаб
HF

#personalization #referenceing #text2video #imge2video

0:35