А вот и конкурент Microsoft Designer'а

Записаться в вейтлист Uizard Autodesigner

Запишетесь - ищите в почте реферральную ссылку. За каждую регистрацию вас продвинут в очереди вейтлиста

#design

Fadr
Сервис разбирает музыкальный трек на отдельные инструменты. Генерирует midi-файл, делает ремиксы, показывает аккорды. Короче, занятно
Налетай

#audio2audio #audio2midi #music2music #music2track

I hear your true colors: Image Guided Audio Generation
Еще один генератор звука по изображению.

Код

#image2audio

Контролнетовая #lofi girl
Полное описание процесса с настройками

RadioGPT - нейрорадио
Подбирает музыку, читает новости из Twitter и других соцсетей, обсуждает их и даже шутит. Все диджеи — сгенерированные нейронками роботы.

ZoeDepth
Свежий генератор глубины.
Сочетает метрический и относительный методы генерации глубины, что бы это ни значило

Колаб
Демо
Демо2

#image2depth #monoculardepth

Monocular Depth Estimation using Diffusion Models
И еще один генератор глубины от Google Research.
Отличается диффузионным подходом. Авторы пишут что в сочетании с text2image генерацией изображений их модель дает лучший результат получения 3D моделей из текста, то есть #textto3D

Кода нет

#image2depth #monoculardepth

CutLER: Cut and Learn for Unsupervised Object Detection and Instance Segmentation
Технология высококачественного сегментирования объектов от запрещенной в РФ Meta. Иначе говоря, генерация масок высокого качества.

Код
Демо
Колаб

#image2mask #segmentation

BakedSDF: Meshing Neural SDFs for Real-Time View Synthesis

Технологию #nerf продолжают совершенствовать.
BakedSDF дает быстрый рендер в реальном времени и качественную геометрию, пригодную для дальнейшего использования

Кода нет

IntrinsicNGP: Intrinsic Coordinate based Hash Encoding for Human NeRF

А это быстрый #nerf специализирующийся на человеках. Быстрый в том смысле что требует меньше времени для тренировки. Авторы заявляют тренировку за 20 минут на видео из 400 кадров на RTX 3090

Ну и кроме того есть возможность как-то редактировать модель, менять некоторые характеристики тела, см видео

Код обещают позже

#video2nerf #videoto3D #video2avatar #humananimation

Nvidia выпустила драйвер, позволяющий увеличить разрешение видео с помощью ИИ в любом видеоплеере в браузерах Google Chrome и Microsoft Edge. С помощью RTX Video Super Resolution можно увеличить качество ролика на YouTube c 360p до 4K. Также поддерживаются Twitch, Netflix и другие сервисы.
На данный момент работает только на видеокартах 30-й и 40-й серии.

• Подробнее

neurodub.ai
Сервис дубляжа видео, поддерживает много языков.
При регистрации дают 3 бесплатных дубляжа

#dub #translation

Вот накаркал я, рассуждая за прототулзы и Блендор.

Stability AI спустился с горы и бахнул собственную интеграцию Stable Diffusion с Блендором.
Там пока три раздела: Текстуры, Рендер и Анимация(!).

Но!

Все это работает в облаке StabilityAI. То есть весь просчет идет на их серверах, а в Блендор просто прилетают картинки. Соответственно, чтобы юзать это хозяйство, вам нужны .. правильно, деньги в виде кредитов. Которые вы должны прикупить на сайте - ваш личный API ключ, который вы вводите при установке, берется из вашего аккаунта на https://beta.dreamstudio.ai/membership?tab=apiKeys

Читаем доки и ждем ответочки от AUTOMATIC1111 с ControlNet.
https://platform.stability.ai/docs/integrations/blender

RealFusion
Полное 360° восстановление 3D объекта по одному фото на основе диффузии.

[UPDATE]
Код выложили

#imageto3D

DDNM. Zero-Shot Image Restoration Using Denoising Diffusion Null-Space Model

Восстановление изображений без какой-либо оптимизации и тонкой настройки

Код
Демо
Колаб

#image2image #imagerestoration

3DGP. 3D generation on ImageNet

Еще один генератор 3D объектов по фото. большинство генераторов обучены на датасетах, в которых объекты всегда по центру изображения, одного масштаба и ракурса. 3DGP отличается тем что обучен на датасетах фото реального мира с использованием карт глубины, выдает лучшие результаты по геометрии и текстурам.

Код (в репозитории пока только описание, ждем)

#imageto3D

DoubleTake. Human Motion Diffusion as a Generative Prior.

Генератор движения человеков. Тоже с использованием диффузии. Надо же, какой униврсальный прием оказался.
- движение по тексту
- контроль траектории
- контроль конечностей
- взаимодействие двух человеков

Код обещают позже

#tex2motion #humananimation

CV-diffusion
Диффузионный генератор видео по тексту от китайцев modelcope.cn
Как видим, качество генераторов видео растет!

#text2video

All-In-One-Deflicker
А это точно пригодится для постобработки ваших кипящих нейроанимаций.
Кода пока нет
А пока ждем, есть предыдущая разработка тех же авторов Deep Video Prior
Они прямо пишут что ее стоит попробовать для дефликера ControlNet и Pix2Pix анмаций.

[UPDATE]
Код

#deflicker #tools