Нейронавт | Нейросети в творчестве – Telegram
Нейронавт | Нейросети в творчестве
10.6K subscribers
4.45K photos
3.71K videos
41 files
4.75K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus

Заявка на регистрацию в РКН № 6309426111
Download Telegram
RadioGPT - нейрорадио
Подбирает музыку, читает новости из Twitter и других соцсетей, обсуждает их и даже шутит. Все диджеи — сгенерированные нейронками роботы.
ZoeDepth
Свежий генератор глубины.
Сочетает метрический и относительный методы генерации глубины, что бы это ни значило

Колаб
Демо
Демо2

#image2depth #monoculardepth
This media is not supported in your browser
VIEW IN TELEGRAM
Monocular Depth Estimation using Diffusion Models
И еще один генератор глубины от Google Research.
Отличается диффузионным подходом. Авторы пишут что в сочетании с text2image генерацией изображений их модель дает лучший результат получения 3D моделей из текста, то есть #textto3D

Кода нет

#image2depth #monoculardepth
CutLER: Cut and Learn for Unsupervised Object Detection and Instance Segmentation
Технология высококачественного сегментирования объектов от запрещенной в РФ Meta. Иначе говоря, генерация масок высокого качества.

Код
Демо
Колаб

#image2mask #segmentation
Media is too big
VIEW IN TELEGRAM
BakedSDF: Meshing Neural SDFs for Real-Time View Synthesis

Технологию #nerf продолжают совершенствовать.
BakedSDF дает быстрый рендер в реальном времени и качественную геометрию, пригодную для дальнейшего использования

Кода нет
This media is not supported in your browser
VIEW IN TELEGRAM
IntrinsicNGP: Intrinsic Coordinate based Hash Encoding for Human NeRF

А это быстрый #nerf специализирующийся на человеках. Быстрый в том смысле что требует меньше времени для тренировки. Авторы заявляют тренировку за 20 минут на видео из 400 кадров на RTX 3090

Ну и кроме того есть возможность как-то редактировать модель, менять некоторые характеристики тела, см видео

Код обещают позже

#video2nerf #videoto3D #video2avatar #humananimation
Forwarded from Технологии | Нейросети | Боты
This media is not supported in your browser
VIEW IN TELEGRAM
Nvidia выпустила драйвер, позволяющий увеличить разрешение видео с помощью ИИ в любом видеоплеере в браузерах Google Chrome и Microsoft Edge. С помощью RTX Video Super Resolution можно увеличить качество ролика на YouTube c 360p до 4K. Также поддерживаются Twitch, Netflix и другие сервисы.
На данный момент работает только на видеокартах 30-й и 40-й серии.

• Подробнее
Media is too big
VIEW IN TELEGRAM
neurodub.ai
Сервис дубляжа видео, поддерживает много языков.
При регистрации дают 3 бесплатных дубляжа

#dub #translation
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
Вот накаркал я, рассуждая за прототулзы и Блендор.

Stability AI спустился с горы и бахнул собственную интеграцию Stable Diffusion с Блендором.
Там пока три раздела: Текстуры, Рендер и Анимация(!).

Но!

Все это работает в облаке StabilityAI. То есть весь просчет идет на их серверах, а в Блендор просто прилетают картинки. Соответственно, чтобы юзать это хозяйство, вам нужны .. правильно, деньги в виде кредитов. Которые вы должны прикупить на сайте - ваш личный API ключ, который вы вводите при установке, берется из вашего аккаунта на https://beta.dreamstudio.ai/membership?tab=apiKeys

Читаем доки и ждем ответочки от AUTOMATIC1111 с ControlNet.
https://platform.stability.ai/docs/integrations/blender
RealFusion
Полное 360° восстановление 3D объекта по одному фото на основе диффузии.

[UPDATE]
Код выложили

#imageto3D
DDNM. Zero-Shot Image Restoration Using Denoising Diffusion Null-Space Model

Восстановление изображений без какой-либо оптимизации и тонкой настройки

Код
Демо
Колаб

#image2image #imagerestoration
This media is not supported in your browser
VIEW IN TELEGRAM
3DGP. 3D generation on ImageNet

Еще один генератор 3D объектов по фото. большинство генераторов обучены на датасетах, в которых объекты всегда по центру изображения, одного масштаба и ракурса. 3DGP отличается тем что обучен на датасетах фото реального мира с использованием карт глубины, выдает лучшие результаты по геометрии и текстурам.

Код (в репозитории пока только описание, ждем)

#imageto3D
This media is not supported in your browser
VIEW IN TELEGRAM
DoubleTake. Human Motion Diffusion as a Generative Prior.

Генератор движения человеков. Тоже с использованием диффузии. Надо же, какой униврсальный прием оказался.
- движение по тексту
- контроль траектории
- контроль конечностей
- взаимодействие двух человеков

Код обещают позже

#tex2motion #humananimation
🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
CV-diffusion
Диффузионный генератор видео по тексту от китайцев modelcope.cn
Как видим, качество генераторов видео растет!

#text2video
GAN'ы, сдавшие за последний год позиции под натиском диффузии и nerf'ов, возвращаются.

3DAvatarGAN
Персонализированные 3D аватары с возможностью редактирования.
- стилизация в разных доменах
- анимация
- контроль выражения лица
- редактирование отдельных черт лица/волос

Код обещают позже

#image2avatar #talkinghead #imageto3D #facialanimation #3Davatar
This media is not supported in your browser
VIEW IN TELEGRAM
All-In-One-Deflicker
А это точно пригодится для постобработки ваших кипящих нейроанимаций.
Кода пока нет
А пока ждем, есть предыдущая разработка тех же авторов Deep Video Prior
Они прямо пишут что ее стоит попробовать для дефликера ControlNet и Pix2Pix анмаций.

[UPDATE]
Код

#deflicker #tools
1
свежая магия от RunwaML
Forwarded from twin3D
Как создать 3D-аватар с помощью интерполяции в RunawayML?

Да, это можно сделать 😊 Почти. Потому что получится не совсем 3D, но суть примерно та же. В прикреплённых видео пример и инструкция.

Как фактически происходит процесс? (небольшая расшифровка к видео)

В программу загружаются фото человека в одной позе с разных ракурсов. Удаляется фон (вместо этого вставляется зелёный цвет) и методом интерполяции нейросеть создаёт видео крутящегося аватара. Формат экспортируемого файла – mp4 (это ограничение бесплатной версии). Далее полученное видео крутящегося человека на зелёном фоне можно интегрировать в любое другое, например, с помощью Adobe After Effects.

Правда есть ограничения: с таким аватаром многого не сделаешь. Поэтому если нужно заставить его совершать какие-либо действия, требуется лучшее качество текстур, лучший выход – 3D.

Новости 3D, аватаров и метавселенных — подписаться!