Очередной диффузионный генератор 3D-объектов, на этот раз от Nvidia.

LION: Latent Point Diffusion Modelsfor 3D Shape Generation

Пока без кода

Какой-то NERF-трекинг
Multiplane NeRF-Supervised Disentanglement of Depth and Camera Pose from Videos

Обещают выложить код

Доказательство что у вас в мозге живут нейросети

это сделано в реальном времени.
Ну то есть, кусочки видео отправляются из тачдезайнера в дефорум (это анимация stablediffusion), а потом возвращаются, и тут уже этакий пост-рилтайм

А тут совсем другая история, но и выглядит восхитительно.
Пейзаж сгенерирован в #midjourney.
Затем с помощью карты глубин создан меш в Houdini.
Далее все это поехало в #UnrealEngine5, где добавлена трава, персонаж и нарулена анимация

твиттер

И снова рубртка "проклятый киберпанк".

Очень часто люди перед тем как перейти дорогу на нерегулируемом пешеходном переходе устанавливают зрительный контакт с водителем (чтобы убедиться, что он заметил пешехода).

Но у нас тут век технологий и иногда встречаются беспилотные автомобили. Как быть в таком случае? Японцы нашли выход из положения — установить на машину "глаза", которые реагируют на помехи и сигнализируют о том, что машина видит пешехода и не собирается его переехать.

Чот представил обычную дорогу лет через 50 и проиграл: большая часть машин ездит с вот такими глазами и двигает ими, лол.

Подробнее тут: https://gizmodo.com/self-driving-cars-autonomous-vehicles-googly-eyes-study-1849643126

Benedict Cucumberbatch

Хитрому ИИ-алгоритму заказали перепланировку одной реально существующей школы (оригинальная человеческая планировка - верхний рисунок).

Слева внизу - вариант оптимизированный для найкратчайших траекторий между помещениями чтобы минимизировать беготню по коридорам.

Справа внизу - добавлено еще требование кратчайших траекторий при эвакуации.

На окна забили, все равно они не понадобятся под диктатурой машин

Трушный нейрорендер. Для Блендер.

А вот это уже красиво.

Собираете черновую 3д-сцену в блендере. А дальше говорите, "отрендерить как Октан Рендер, только лучше".

И Stable Diffusion рендерит сцену, используя ваше 3Д как гайд для вашего же текстового промпта.

Вот это уже трушный нейрорендеринг, где вот этот вот шейдинг, текстуринг, лайтинг и прочие глупости заменяются на простые и понятные инструкции: "сделай красиво и так как я скажу".

Ну и вообще Guided Diffusion это прям тема, которая может вывести на совершенно новые инструменты.
https://airender.gumroad.com/l/ai-render

StabeDiffusion AR

Тут подвезли версию реально крутого метаверса. Вот так точно будет веселее жить в панельных кварталах, главное не забывать носить очки 🤓.

Источник

Imagic: Текстовое редактирование реальных изображений с использованием диффузионных моделей

Коротко: фотошоп через текст

Статья
Источник

Код
Работает на 30+ гб картах

Тут хотелось бы сказать пару слов - точно так же как и с 3d генерациями через текст в данных моделях сейчас есть огромные ограничения:
Они требует колоссальные ресурсы, медленные (фрилансер справится быстрее и дешевле) и не всегда супер качества.

Хотя потенциал в данных моделях огромный!

Prompt-to-Prompt: Latent Diffusion and Stable Diffusion implementation

"Наш метод позволяет редактировать сгенерированные изображения, изменяя только текстовую подсказку. Например, здесь мы сначала генерируем изображение из подсказки ввода «Кошка в шляпе лежит на шезлонге». с использованием модели диффузии текста в изображение Imagen . Тогда с нашим подходом мы легко сможем заменить шляпу или главного героя"

"Еще одним примером редактирования подсказки является изменение семантического влияния определенных слов в подсказке на сгенерированное изображение. Используя наш метод, мы можем усилить или ослабить «пушистость» куклы-кролика на изображении ниже."

• Подробнее
• Github Code

А вот и веб-приложение "Erase and Replace" (сотри и замени) подоспело от стартапа runwayml.

Та же механика, что и в приложении из предыдущего поста — выделяем регион, пишем текстовый запрос и вуа-ля, магия! Картинка меняется. Фотошоп для безрукого.

Промо-ролик получился эффектный, нравится.

@ai_newz

откуда-то с твиттера

Хотел сам запостить, да некогда писать. Последнее время репостю, благо соседние каналы такие новости замечают