В этом посте не будет eye-catching видео для привлечения вашего внимания, но будет картинка, ознаменовывающая начало нейронного рендеринга.

Несмотря на то, что статья больше прославляет чипы Intel для рендеринга, более важным тут является тот факт, что производители уже оптимизируют и пишут алгоритмы для нейронного рендеринга.

А это значит, что там, где стандартным алгоритмам требовались десятки секунд или часы на построение кадра, в ближайшем будущем смогут выводить картинку, посчитанную через патч трейс в реальном времени. Прости, Lumen!

Кроме того, также обещают степень сжатия высокополигональных сцен до 70-95 процентов. Это значит, что мы еще дальше выйдем за ограничения поликаунта и, конечно же, избавимся от лодирования, как в Nanite, только лучше!

К слову, на картинке лес с поликаунтом 1 триллион трисов.
Я в ахуе... давай!

Почитать тут

Automatic1111 webui обновился до версии 1.4.0
Из интересного для меня наконец зум в панели инпейнт и корректный перезапуск процесса вместо перезапуска UI после установки расширений. Полный список изменений по ссылке.

релиз

колаб DragGAN

Вчера на DTF вышла статья Олега Скутте, которому Steam отказал в публикации его игры из-за артов, созданных Stable Diffusion.

https://dtf.ru/gameindustry/1915460-valve-otklonyaet-igry-ispolzuyushchie-ii-tehnologii

Я уже писал о подобном случае ранее, причина та же, неясность с авторскими правами на датасет:
https://news.1rj.ru/str/dreamsrobots/114

В статье на ДТФ приведен список других игр, отклоненных по той же причине. Я сначала подумал, что проблема была в том, что AI-Powered было вынесено в название игры, но несколько игр из списка являются обычными визуальными новеллами, и в их описании не упоминается ИИ, по крайней мере на Стим-странице.

Игры из списка не блещут красотой (не в обиду авторам, они молодцы), но также не блещет ей AI Roguelite, которая вполне себе продаётся: https://store.steampowered.com/app/1889620/AI_Roguelite/.

Мне кажется, это интересная тема для обсуждения, потому что я знаю инди-разработчиков, которые делают игры с контентом из Stable Diffusion или Midjourney и возможно сейчас им приходится пить зеленый чай с ромашкой, чтобы прийти в себя.

Мои мысли:

1. Крупные игровые студии уже вовсю используют Стейбл в своих пайплайнах, это уже не секрет. Другое дело, что они достаточно серьезно обрабатывают результаты генерации, и у них есть ресурсы, чтобы решить все возникающие юридические вопросы.

2. Число игр, созданных с помощью ИИ будет только расти. Быстрее всего будет увеличиваться количество трешовых игр, сделанных на коленке за месяц, от них никуда не деться. Юридическая сторона вопроса будет подтягиваться ещё долго, тут есть риски и для разработчиков, и для издателей.

3. Надеемся, что Valve выпустят формализованные правила использования ИИ-контента на Стиме, чтобы не полагаться на настроение ревьюверов.

4. Если вы инди-разработчик, то, во-первых, привыкайте обрабатывать результаты работы нейросетей, причем обрабатывать сильно. А во-вторых, не палите использование ИИ. Не надо писать "First AI-powered game ever!" в описании. Хорошей идеей будет обучить нейросеть на картинках, на которые у вас есть права и задокументировать процесс. А еще подумайте насчёт издателя.

5. Сложный и дорогой путь: попробуйте зарегистрировать авторские права на контент, чтобы приходить в Стим с бумажкой.

6. Мне кажется, если игра полностью построена вокруг сгенерированного контента и не может предложить ничего сверх этого, то ей дорога на itch.io или другие сайты, которые с удовольствием хостят экспериментальные игры. Сомневаюсь, что Стим отклонит клевую инди-игру с интересными механиками за то, что в ней спрайты сгенерированы нейросетью.

Cреди нас есть инди-разработчики или издатели? Что вы думаете?

#авторское_право

DynIBaRNeural Dynamic Image-Based Rendering

Google Research конкурирует с Meta на поле nerf-стабилизации видео

Вместо кодирования всей динамической сцены в рамках весовых коэффициентов MLP мы представляем новый подход, который устраняет эти ограничения, применяя платформу рендеринга на основе объемных изображений, которая синтезирует новые точки обзора путем агрегирования объектов из соседних видов с учетом движения сцены.

Код

#nerf #novelview #stabilization

https://news.1rj.ru/str/cgevent/6047

Zeroscope теперь можно потестить в браузере, появлился демоспейс на HF. Вроде работает но очередь переполнена

Демо

#text2video

instaVerse

Помните нейропанорамы blockadelabs?

На их движке появился новый более интерактивный проект, который сейчас на стадии альфа-тестирования. Сгенерированные 2D локации переводит в 3D, и там теперь можно даже походить. У меня жутко тормозит, а у вас как?

Попробовать InstaVerse

#imageto3D #image2scene

Еще один демоспейс Zeroscope, от другого автора. Да не обманет вас его "v2" в его названии, это тот же самый Zeroscope.
Здесь в отличие от демоспейса fffiloni в дополнение к окошку промта есть еще пара рулек настроек.

На видео: Дарт Вейдер катается на ките

Демо

#text2video

Обратная сторона

Можно было предположить что педофилам нечужды современные технологии. ИИ-изображения сексуального насилия над детьми уже стали предметом активной торговли. Интересно как на это отреагируют StabilityAI.

Мое мнение, пока это не привело к чему-то бОльшему чем торговля ненастоящими картинками, уж лучше ненастоящие чем настоящие. А торговля была и до Stable Diffusion. Если с этим не боролись до сих пор, то ИИ-генераторы тут ни при чем. Впрочем, тут может быть вред о котором я не догадываюсь. Что думаете?

Статья на BBC (из РФ включайте VPN)

ChatGPT, плагины-шмагины! Да сделайте уже свой плагин на Gradio за 5 минут

Запилить плагин-шмагин

#chatbot #tools

Rerender a video теперь можно запустить в колабе. Работает пока не очень, можно ожидать что в официальном релизе будет лучше.
Много красивых примеров на официальной страничке

colab

@тоже_моушн

#text2video #video2video

SDXL 0.9 Photographers Study

Фотографы, найденные в #SDXL, удобная галерея.
А значит, можно выбрать стиль, закинуть имя фотографа в промт и творить

#gallery

оффтоп
Маск против Цука

MVDiffusion: Enabling Holistic Multi-view Image Generation with Correspondence-Aware Diffusion

По текстовому промту генерирует целостно согласованные изображения с нескольких ракурсов, что может пригодиться для создания панорамы или для многоракурсной генерации изображения по карте глубины. Может выдавать меш с текстурой

Код обещают в начале августа
Демо

#text2image #text2scene #novelview #textto3D #depthto3D #depth2image #text2scene #depth2scene

Mixed Image Editing

Playground AI выкатили редактор изображений с большинством последних достижений в этой области.

#image2image #imageediting