Видео в аниме от Corridor Digital.
Мастер-класс как сделать хорошо там где у всех получается кипящая каша.

Но забавно как инновационная часть пайплайна устарела еще две недели назад с появлением #Controlnet. Настала эпоха когда нет времени вынашивать трендовые идеи, инструменты устаревают быстрее чем успеваешь их использовать

https://www.youtube.com/watch?v=_9LX9HSQkWo

Бот Image | Video Painter теперь умеет писать стихи про портреты.
Закидываете фото, выбираете Image to poem, выбираете язык русский/английский, ждете 5 сек.

#image2text

А вы знали что в automatic1111 по правому клику на кнопке Generate есть опция бесконечного цикла генерации? Продолжает рожать картинки пока не скажешь ему «Горшочек, не вари»

FaceTTS. Imaginary Voice: Face-styled Diffusion Model for Text-to-Speech

Занятный #TTS генератор речи, генерит не просто по тексту, но еще с учетом предлагаемого портрета говорящего. На основе портрета модель генерит тембр и прочие акустические характеристики голоса.

Кода пока нет

Directed Diffusion:Direct Control of Object Placement through Attention Guidance

Метод диффуззионной генерации изображений, который лучше чем StableDiffusion позволяет управлять положением объекта через текстовые указания.

Кода нет

Raising the Cost of Malicious AI-Powered Image Editing

Тут люди придумали как защитить фотки от редактирования нейросетями типа Stablediffusion. После обработки этим защитным методом результаты редактирования image2image получаются нереалистичными

Код
Демо

#tools

Latent-NeRF

генератор 3D объектов.

Мы исследуем различные способы введения управления формой для преобразования текста в 3D и представляем три модели: Latent-NeRF с чисто текстовым управлением, Latent-NeRF с мягким управлением формой для более точного контроля над сгенерированной формой и Latent-Paint для генерации текстур для явных форм

Код

#nerf #textto3D #3Dto3D

А вот и конкурент Microsoft Designer'а

Записаться в вейтлист Uizard Autodesigner

Запишетесь - ищите в почте реферральную ссылку. За каждую регистрацию вас продвинут в очереди вейтлиста

#design

Fadr
Сервис разбирает музыкальный трек на отдельные инструменты. Генерирует midi-файл, делает ремиксы, показывает аккорды. Короче, занятно
Налетай

#audio2audio #audio2midi #music2music #music2track

I hear your true colors: Image Guided Audio Generation
Еще один генератор звука по изображению.

Код

#image2audio

Контролнетовая #lofi girl
Полное описание процесса с настройками

RadioGPT - нейрорадио
Подбирает музыку, читает новости из Twitter и других соцсетей, обсуждает их и даже шутит. Все диджеи — сгенерированные нейронками роботы.

ZoeDepth
Свежий генератор глубины.
Сочетает метрический и относительный методы генерации глубины, что бы это ни значило

Колаб
Демо
Демо2

#image2depth #monoculardepth

Monocular Depth Estimation using Diffusion Models
И еще один генератор глубины от Google Research.
Отличается диффузионным подходом. Авторы пишут что в сочетании с text2image генерацией изображений их модель дает лучший результат получения 3D моделей из текста, то есть #textto3D

Кода нет

#image2depth #monoculardepth

CutLER: Cut and Learn for Unsupervised Object Detection and Instance Segmentation
Технология высококачественного сегментирования объектов от запрещенной в РФ Meta. Иначе говоря, генерация масок высокого качества.

Код
Демо
Колаб

#image2mask #segmentation

BakedSDF: Meshing Neural SDFs for Real-Time View Synthesis

Технологию #nerf продолжают совершенствовать.
BakedSDF дает быстрый рендер в реальном времени и качественную геометрию, пригодную для дальнейшего использования

Кода нет

IntrinsicNGP: Intrinsic Coordinate based Hash Encoding for Human NeRF

А это быстрый #nerf специализирующийся на человеках. Быстрый в том смысле что требует меньше времени для тренировки. Авторы заявляют тренировку за 20 минут на видео из 400 кадров на RTX 3090

Ну и кроме того есть возможность как-то редактировать модель, менять некоторые характеристики тела, см видео

Код обещают позже

#video2nerf #videoto3D #video2avatar #humananimation

Nvidia выпустила драйвер, позволяющий увеличить разрешение видео с помощью ИИ в любом видеоплеере в браузерах Google Chrome и Microsoft Edge. С помощью RTX Video Super Resolution можно увеличить качество ролика на YouTube c 360p до 4K. Также поддерживаются Twitch, Netflix и другие сервисы.
На данный момент работает только на видеокартах 30-й и 40-й серии.

• Подробнее

neurodub.ai
Сервис дубляжа видео, поддерживает много языков.
При регистрации дают 3 бесплатных дубляжа

#dub #translation