Нейронавт | Нейросети в творчестве – Telegram
Нейронавт | Нейросети в творчестве
10.6K subscribers
4.45K photos
3.71K videos
41 files
4.76K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus

Заявка на регистрацию в РКН № 6309426111
Download Telegram
DreamEngine

Какая-то хитрая интеграция визуально-языковых моделей с диффузными генераторами для генерации крутых картинок со сложными концепциями

Сайта нет
Код ждем

#text2image #vlm #personalization
👍6👎1
LuminaBrush

Экспериментальный проект lllyasviel, похожий на IC-Light
Эффект освещения задаем цветными мазками кисти и текстовым промптом, на выходе получаем наш картинку, где персонаж помещен в другие условия освещения.

Обработка происходит в два этапа. На первом этапе объект приводят к равномерному освещению. Из этого этапа автор сделал отдельную фичу, см второе демо.

Гитхаб - там кода нет, только описание и примеры, так обычно оформляют сайт проекта
Демо
Демо2 равномерное освещение

#relighting
🔥93
This media is not supported in your browser
VIEW IN TELEGRAM
GaussianCity

Генератор неограниченных городов на гауссианах

Код
Демо

#gaussian
👍3🥴3🤷‍♂1🔥1
Distill Any Depth: Distillation Creates a Stronger Monocular Depth Estimator

И у нас новый лидер (SOTA, если не врут) в оценке глубины изображения

Код
Демо

#image2depth
👍14🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
Feat2GS: Probing Visual Foundation Models with Gaussian Splatting

Интересная работа, оценка понимания базовыми визуальными моделями объемного мира при помощи гауссовых сплатов

Оценивают рендер новых ракурсов, геометрию, текстуры

При этом, как я понял, Feat2GS и сам умеет воссоздавать сцены на гауссианах, иначе как бы они сравнивали свою модель с InstantSplat

Код
Демо

#gaussian #comparison #shootout #image2scene
👍2
Fast3R: Towards 3D Reconstruction of 1000+ Images in One Forward Pass

Реконструкция 3D сцены за один проход от Facebook Research. Обрабатывает много изображений параллельно, тогда как обычно для этой задачи входные изображения обрабатывают попарно за много проходов.

Код
Демо

#imageto3d #videoto3d #photogrammetry
👍6🔥3
Я смотрел, хороший эксперимент

#кино
Forwarded from CGIT_Vines (Marvin Heemeyer)
This media is not supported in your browser
VIEW IN TELEGRAM
Я буквально три дня назад посмотрел фильм Земекиса — Here, о котором писал вот тут. Фильм снят полностью на статичную камеру.
И я, кстати, не ошибся с точки зрения применения новых генеративных технологий. 🦸
Сам фильм неплох, как эксперимент.

Смотрел я его... Сейчас треснет жопа сэра Ридли Скотта... ДА НА МОБИЛКЕ!
Но даже через маленький экран была видна очень посредственная графика. А сегодня я наткнулся на пост Javi Lopez, фаундера Magnific_AI, о том, как применялись FX для этого фильма.

Ну, во-первых, FaceSwap и DeAge, о которых я думал, подтвердились. Нельзя так плохо сделать классическими пайплайнами. Кстати, упоминается Nuke как тулза для композитинга — хоть тут классика. Задники за окном дома делались на LED и прогонялись через апскейлеры, что тоже очень удобно и логично.

Пайплайн апскейлеров всем знакомый, всего с двумя параметрами:
1. Креативность.
2. Сходство.
Так как в разных шотах легко можно было нарваться на артефакты и галлюцинации, удачные куски объединяли в Photoshop. Это и экономично, и грустно одновременно — даже для фильма не написали никаких более удобных тулзовин.

Среди недостающих инструментов при использовании ИИ в кино не хватало генеративного HDR, чтобы иметь дополнительные возможности в битности и точках чёрного и белого при редактировании. Хоть за PNG и то спасибо.

Почему всё так? Потому что быстро и дёшево. У фильма не было достаточного бюджета на FX.

Добро пожаловать в дешёвое будущее!
YT

@CGIT_Vines
Please open Telegram to view this post
VIEW IN TELEGRAM
5🔥4👍3
This media is not supported in your browser
VIEW IN TELEGRAM
Stable Audio Open + Arm Kleidi

Stability AI объявили о партнерстве с ARM в области генерации аудио на мобильных устройствах.

Вы конечно уже забыли что у них есть генератор звука Stable Audio Open. В самом деле, им кто-нибудь пользовался?

Так вот, женят этот генератор с библиотекой Kleidi для быстрого инференса на процессорах ARM

Ни демо, ни саму библиотеку я не нашел где посмотреть, тем более мобильное приложение...

Продолжаем вялое наблюдение

#news #mobile
👍6🤷‍♂2🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
ChatGarment: Garment Estimation, Generation and Editing via Large Language Models

Визуально-языковая модель для работы с 3D одеждой: генерация, выкройка, редактирование

Код

#cloth #garment #vlm #assistant
👍71🔥1
Wan2.1 GP

А может и революция

Доступная негерация видео на всего 12 ГБ видеопамяти старшей (14B) моделью генератора Wan2.1, квантизованной или неквантизованной. Хоть по тексту, хоть по картинке

До 5 секунд 720p. А для 5 секунд 480p будет достаточно 8Гб (это все еще 14B)

Уже в Pinokio

#text2video #image2video
🔥25🥴1