DreamEngine
Какая-то хитрая интеграция визуально-языковых моделей с диффузными генераторами для генерации крутых картинок со сложными концепциями
Сайта нет
Код ждем
#text2image #vlm #personalization
Какая-то хитрая интеграция визуально-языковых моделей с диффузными генераторами для генерации крутых картинок со сложными концепциями
Сайта нет
Код ждем
#text2image #vlm #personalization
👍6👎1
LuminaBrush
Экспериментальный проект lllyasviel, похожий на IC-Light
Эффект освещения задаем цветными мазками кисти и текстовым промптом, на выходе получаем наш картинку, где персонаж помещен в другие условия освещения.
Обработка происходит в два этапа. На первом этапе объект приводят к равномерному освещению. Из этого этапа автор сделал отдельную фичу, см второе демо.
Гитхаб - там кода нет, только описание и примеры, так обычно оформляют сайт проекта
Демо
Демо2 равномерное освещение
#relighting
Экспериментальный проект lllyasviel, похожий на IC-Light
Эффект освещения задаем цветными мазками кисти и текстовым промптом, на выходе получаем наш картинку, где персонаж помещен в другие условия освещения.
Обработка происходит в два этапа. На первом этапе объект приводят к равномерному освещению. Из этого этапа автор сделал отдельную фичу, см второе демо.
Гитхаб - там кода нет, только описание и примеры, так обычно оформляют сайт проекта
Демо
Демо2 равномерное освещение
#relighting
🔥9❤3
Distill Any Depth: Distillation Creates a Stronger Monocular Depth Estimator
И у нас новый лидер (SOTA, если не врут) в оценке глубины изображения
Код
Демо
#image2depth
И у нас новый лидер (SOTA, если не врут) в оценке глубины изображения
Код
Демо
#image2depth
👍14🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
Feat2GS: Probing Visual Foundation Models with Gaussian Splatting
Интересная работа, оценка понимания базовыми визуальными моделями объемного мира при помощи гауссовых сплатов
Оценивают рендер новых ракурсов, геометрию, текстуры
При этом, как я понял, Feat2GS и сам умеет воссоздавать сцены на гауссианах, иначе как бы они сравнивали свою модель с InstantSplat
Код
Демо
#gaussian #comparison #shootout #image2scene
Интересная работа, оценка понимания базовыми визуальными моделями объемного мира при помощи гауссовых сплатов
Оценивают рендер новых ракурсов, геометрию, текстуры
При этом, как я понял, Feat2GS и сам умеет воссоздавать сцены на гауссианах, иначе как бы они сравнивали свою модель с InstantSplat
Код
Демо
#gaussian #comparison #shootout #image2scene
👍2
Fast3R: Towards 3D Reconstruction of 1000+ Images in One Forward Pass
Реконструкция 3D сцены за один проход от Facebook Research. Обрабатывает много изображений параллельно, тогда как обычно для этой задачи входные изображения обрабатывают попарно за много проходов.
Код
Демо
#imageto3d #videoto3d #photogrammetry
Реконструкция 3D сцены за один проход от Facebook Research. Обрабатывает много изображений параллельно, тогда как обычно для этой задачи входные изображения обрабатывают попарно за много проходов.
Код
Демо
#imageto3d #videoto3d #photogrammetry
👍6🔥3
Forwarded from CGIT_Vines (Marvin Heemeyer)
This media is not supported in your browser
VIEW IN TELEGRAM
Я буквально три дня назад посмотрел фильм Земекиса — Here, о котором писал вот тут. Фильм снят полностью на статичную камеру.
И я, кстати, не ошибся с точки зрения применения новых генеративных технологий.🦸
Сам фильм неплох, как эксперимент.
Смотрел я его... Сейчас треснет жопа сэра Ридли Скотта... ДА НА МОБИЛКЕ!
Но даже через маленький экран была видна очень посредственная графика. А сегодня я наткнулся на пост Javi Lopez, фаундера Magnific_AI, о том, как применялись FX для этого фильма.
Ну, во-первых, FaceSwap и DeAge, о которых я думал, подтвердились. Нельзя так плохо сделать классическими пайплайнами. Кстати, упоминается Nuke как тулза для композитинга — хоть тут классика. Задники за окном дома делались на LED и прогонялись через апскейлеры, что тоже очень удобно и логично.
Пайплайн апскейлеров всем знакомый, всего с двумя параметрами:
1. Креативность.
2. Сходство.
Так как в разных шотах легко можно было нарваться на артефакты и галлюцинации, удачные куски объединяли в Photoshop. Это и экономично, и грустно одновременно — даже для фильма не написали никаких более удобных тулзовин.
Среди недостающих инструментов при использовании ИИ в кино не хватало генеративного HDR, чтобы иметь дополнительные возможности в битности и точках чёрного и белого при редактировании. Хоть за PNG и то спасибо.
Почему всё так? Потому что быстро и дёшево. У фильма не было достаточного бюджета на FX.
Добро пожаловать в дешёвое будущее!
YT
@CGIT_Vines
И я, кстати, не ошибся с точки зрения применения новых генеративных технологий.
Сам фильм неплох, как эксперимент.
Смотрел я его... Сейчас треснет жопа сэра Ридли Скотта... ДА НА МОБИЛКЕ!
Но даже через маленький экран была видна очень посредственная графика. А сегодня я наткнулся на пост Javi Lopez, фаундера Magnific_AI, о том, как применялись FX для этого фильма.
Ну, во-первых, FaceSwap и DeAge, о которых я думал, подтвердились. Нельзя так плохо сделать классическими пайплайнами. Кстати, упоминается Nuke как тулза для композитинга — хоть тут классика. Задники за окном дома делались на LED и прогонялись через апскейлеры, что тоже очень удобно и логично.
Пайплайн апскейлеров всем знакомый, всего с двумя параметрами:
1. Креативность.
2. Сходство.
Так как в разных шотах легко можно было нарваться на артефакты и галлюцинации, удачные куски объединяли в Photoshop. Это и экономично, и грустно одновременно — даже для фильма не написали никаких более удобных тулзовин.
Среди недостающих инструментов при использовании ИИ в кино не хватало генеративного HDR, чтобы иметь дополнительные возможности в битности и точках чёрного и белого при редактировании. Хоть за PNG и то спасибо.
Почему всё так? Потому что быстро и дёшево. У фильма не было достаточного бюджета на FX.
Добро пожаловать в дешёвое будущее!
YT
@CGIT_Vines
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5🔥4👍3
Microsoft опубликовали код мультимодальной модели агентов Magma
Код
Спасибо @Dmitriy_Ru6ts0v
#agent #vlm
Код
Спасибо @Dmitriy_Ru6ts0v
#agent #vlm
Telegram
Нейронавт | Нейросети в творчестве
Magma: A Foundation Model for Multimodal AI Agents
Опенсорсная мультимодальная модель для агентов от Microsoft.
- понимает видео
- ориентируется в пространстве
- управляет компом и роботами
Гитхаб - код ждем
#agent #vlm
Опенсорсная мультимодальная модель для агентов от Microsoft.
- понимает видео
- ориентируется в пространстве
- управляет компом и роботами
Гитхаб - код ждем
#agent #vlm
❤6🤮1
This media is not supported in your browser
VIEW IN TELEGRAM
Stable Audio Open + Arm Kleidi
Stability AI объявили о партнерстве с ARM в области генерации аудио на мобильных устройствах.
Вы конечно уже забыли что у них есть генератор звука Stable Audio Open. В самом деле, им кто-нибудь пользовался?
Так вот, женят этот генератор с библиотекой Kleidi для быстрого инференса на процессорах ARM
Ни демо, ни саму библиотеку я не нашел где посмотреть, тем более мобильное приложение...
Продолжаем вялое наблюдение
#news #mobile
Stability AI объявили о партнерстве с ARM в области генерации аудио на мобильных устройствах.
Вы конечно уже забыли что у них есть генератор звука Stable Audio Open. В самом деле, им кто-нибудь пользовался?
Так вот, женят этот генератор с библиотекой Kleidi для быстрого инференса на процессорах ARM
Ни демо, ни саму библиотеку я не нашел где посмотреть, тем более мобильное приложение...
Продолжаем вялое наблюдение
#news #mobile
👍6🤷♂2🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
ChatGarment: Garment Estimation, Generation and Editing via Large Language Models
Визуально-языковая модель для работы с 3D одеждой: генерация, выкройка, редактирование
Код
#cloth #garment #vlm #assistant
Визуально-языковая модель для работы с 3D одеждой: генерация, выкройка, редактирование
Код
#cloth #garment #vlm #assistant
👍7❤1🔥1
Wan2.1 GP
А может и революция
Доступная негерация видео на всего 12 ГБ видеопамяти старшей (14B) моделью генератора Wan2.1, квантизованной или неквантизованной. Хоть по тексту, хоть по картинке
До 5 секунд 720p. А для 5 секунд 480p будет достаточно 8Гб (это все еще 14B)
Уже в Pinokio
#text2video #image2video
А может и революция
Доступная негерация видео на всего 12 ГБ видеопамяти старшей (14B) моделью генератора Wan2.1, квантизованной или неквантизованной. Хоть по тексту, хоть по картинке
До 5 секунд 720p. А для 5 секунд 480p будет достаточно 8Гб (это все еще 14B)
Уже в Pinokio
#text2video #image2video
GitHub
GitHub - deepbeepmeep/Wan2GP: A fast AI Video Generator for the GPU Poor. Supports Wan 2.1/2.2, Qwen Image, Hunyuan Video, LTX…
A fast AI Video Generator for the GPU Poor. Supports Wan 2.1/2.2, Qwen Image, Hunyuan Video, LTX Video and Flux. - deepbeepmeep/Wan2GP
🔥25🥴1