Нейронавт | Нейросети в творчестве – Telegram
Нейронавт | Нейросети в творчестве
10.6K subscribers
4.43K photos
3.7K videos
41 files
4.75K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus

Заявка на регистрацию в РКН № 6309426111
Download Telegram
Media is too big
VIEW IN TELEGRAM
SeedVR2: One-Step Video Restoration via Diffusion Adversarial Post-Training

Метод одношаговой реставрации видео с помощью диффузии

Код ждем

#videorestoration
👍9🔥1🌚1
Media is too big
VIEW IN TELEGRAM
FlexPainter: Flexible and Multi-View Consistent Texture Generation

Гибкая генерация текстур, согласованных по ракурсам

На вход принимает референсные картинки и текстовые описания

Код ждем

#texture #image2texture
🔥3🌚1
Pixel3DMM: Versatile Screen-Space Priors for Single-Image 3D Face Reconstruction

Создание 3D-модели лица по одной фотографии. Модель анализирует изображение и предсказывает геометрические характеристики для каждой точки изображения, что позволяет точно реконструировать форму лица в трёх измерениях.

Но выходе можно получить:

- нормали

- uv-координаты

- 2D-вершины (точки на плоскости, которые помогают в реконструкции геометрии лица)

- параметры 3D морфабельной модели лица (3DMM), которые описывают форму и особенности лица в трёх измерениях

Код

#imageto3d #head #image2normal #image2uv #uv
👍5🔥1
SkyReels-Audio: Omni Audio-Conditioned Talking Portraits in Video Diffusion Transformers

Оживлятор портретов по аудиофайлу речи от SkyReels

Умеет делать липсинк видео

Похоже что код и веса публиковать не собираются

Платно на офсайте - Можно загрузить свое аудио или сгенерировать, на выбор есть библиотека голосов

#lipsync #portraitanimation #speech2video #image2video
👍4👎4
Media is too big
VIEW IN TELEGRAM
Difix3D+: Improving 3D Reconstructions with Single-Step Diffusion Models

Исправляет артефакты NeRF и 3DGS в областях с недостатком констрейнов (??), повышая общее качество 3D-представления. Проект NVIDIA

Код ждем

#gaussian #nerf
🔥72
Media is too big
VIEW IN TELEGRAM
CAST: Component-Aligned 3D Scene Reconstruction from an RGB Image

Cоздает 3D модели по одной картинке с учётом физических взаимодействий и пространственных отношений объектов

В деле замешаны Deemos

Код ждем

#imageto3d #image2scene
👍7🔥3👎1
Media is too big
VIEW IN TELEGRAM
TeGA: Texture Space Gaussian Avatars for High-Resolution DynamicHead Modeling

Аватары на гауссианах от Google
Впечатляющее качество, уделали всех конкурентов, но

Кода нет

#gaussian #humanavatar
👍6🌚1
HeyGem

Опенсорсная альтернатива HeyGen. Ну можно было и по названию догадаться

- Аватар в 4K по отрывку видео 1 секунда (???)
- Клонирование лица и голоса
- Запускается на 1080Ti +

Код

#lipsync #humanavatar #vocecloning #avatar #
😐8🔥7👍3
Опубликован код и веса видеореставратора SeedVR2

Одна H100-80G может обрабатывать видео с разрешением 100x720x1280. 4 штуки H100-80G - дополнительно поддерживают видео 1080p и 2K.

Но обещают в будущем Tile-VAE и Progressive Aggregation Sampling

Код
Веса

#videorestoration
👍6😱2
Выпущена новая версия Pinokio 3.9.0

Исправили проблему с "Discover" страницей.

Теперь мы используем URL GitHub Pages напрямую, чтобы не только исправить текущую проблему с доменом, но и убедиться, что такие проблемы не возникнут в будущем даже в самом худшем случае.

Размещая сайт полностью на GitHub Pages и используя URL GitHub Pages напрямую (вместо использования пользовательского домена, который требует обслуживания), мы можем быть уверены, что даже в худшем случае приложение продолжит работать (если только GitHub не отключится).


#news
👍3😁1
This media is not supported in your browser
VIEW IN TELEGRAM
PartCrafter: Structured 3D Mesh Generation via Compositional Latent Diffusion Transformers

3D-генератор от ByteDance, синтезирует набор семантически значимых 3D-сеток из одного изображения. Короче, создает не единую сетку, а модель состоящую из частей

Код и демо ждем

#imageto3d
👍81
This media is not supported in your browser
VIEW IN TELEGRAM
MIDI: Multi-Instance Diffusion for Single Image to 3D Scene Generation

Генератор 3D-сцен из одного изображения с помощью многообъектной диффузионной модели от VAST AI. Позволяет одновременно генерировать несколько 3D объектов с точными пространственными отношениями и высокой степенью обобщения

Нейминг конечно божественный

Код
Демо

#imageto3d #imagetoscene
👍5
Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion

Метод ускорения видеогенерации через какие-то там трюки на обучении.

Модель генерирует высококачественные видео с разрешением 480P с начальной задержкой ~ 0,8 секунды, после чего кадры генерируются в потоковом режиме со скоростью ~ 16 кадров в секунду на одной H100 и ~ 10 кадров в секунду на одной 4090 с некоторой оптимизацией.

Уже работает #comfyui нативно и в враппере, просто нужна модель от HF.

Это модель 1.3B T2V, но в враппере ее можно использовать с модулем Vace для дополнительных входов.

Есть 3 модели, нужна только одна, dmd, кажется, работает хорошо...

Это малошаговая модель, вероятно, быстрее, чем использование Causvid lora (на модели 1.3b)

Используйте LCM SAMPLER

Код
воркфлоу

#text2video #optimization #realtime
10
This media is not supported in your browser
VIEW IN TELEGRAM
Topaz Labs Astra

"Первый в мире" (ага) креативный апскейлер видео. Предлагают апскейлить сгенерарованные нейросетками видео до 4K, "с улучшением качества и добавлением мельчайших деталей". Под капотом новые модели Starlight

Умеет делать интерполяцию кадров, то есть добавлять кадры меж существующих (для слоумоушена)

Чтобы поклянчить доступ ставьте лайк официальному твиту и там в комментах напишите "Astra"

Или идем на офсайт и жмем кнопку Get early access

#upscalevideo #upscale #frameinterpolation
7😈1