За последнюю пару недель много общался с парнями, которые занимаются стилизацией с помощью нейросетей.

Хотел уже показать их работы, но нельзя из-за НДА. Издержки работы в рекламе. В итоге, решили что, когда это станет возможно, соберем материалы на эту тему и покажем вам, что делается с помощью ИИ в продакшн уже сегодня.

По отношению к нейросетям, за опыт работы с ними у меня сложилось такое мнение: не верю, что в ближайшем будущем дизайнеров заменят. Однако, это отличный инструмент для стилизации, когда этого требует задача или оптимизации рабочих рутинных процессов. Любая нейронка требует тонны работы руками и понимания того, какой инструмент и как именно может помочь.

Сегодня-завтра сделаю пост о том, как мы в продакшене применяли нейронку для нестандартной задачи, которой изначально не было в продакшн плане. Это за вычетом генеративных сетей, в работе концептеров на этапе предпродакшена.

Делали мы вот такой ролик для Рен ТВ. Все пошло не по плану в тот момент, когда на построде мы поняли, что нашего герой сняли по пояс, а по режиссерской задумке у него был общий план. Получилось так, что на первых итерациях ролика главный герой стоял на коленках перед градирнями ТЭЦ. Нам и клиенту такой вид не нравился, однако закатить новый съемочный день ради одного актера не могли - дорого.

Каким по итогу было решение:
В начале мы кадрировали главного героя композиционно так, как он должен будет стоять в финальном ролике. Затем с помощью Generative Fill мы в фотошопе генерировали промежуточные кадры его ног, примерно каждый 10й кадр из общей секвенции.
После этого скормили секвенцию промежуточных кадров нейронке Flowframes. Эта тулза дорисовывает промежуточные кадры, на основе предыдущих и следующих кадров, с помощью ИИ, тем самым можно увеличивать FPS роликов. Так вот мы кормили ей сиквенцию, которой увеличивали FPS в десятки раз, а затем на композе делали таймстретч обратно к нужному. Получалась странная, плавная колбаса кадров, но в которой были ноги и они двигались! Затем много работы руками и масками и вот у нас есть такой ролик.

Подход не идеальный, если внимательно смотреть на ноги, то баги видно. Нам повезло, потому что часть главного героя перекрывает графен, что-то мы отполировали виньетками и другими эффектами на композе.
Самое главное получилось - вместо одного съемочного дня с вызовом актера, съемочной команды, отрыва клиента и прочего, мы получили приемлемый результат, силами полутора людей и дня работы.

Давненько ничего не писал - исправляюсь.

Стилизация.

Давно манит тема стилизованных рендеров. Насмотревшись в инстаграме на красивые картинки из Blender Eevee тоже хотелось сделать что-то мультяшно-акварельное.

У себя в инстаграм я как-то публиковал ролик с попыткой сделать Clay рендер, но это все равно было не то: все рендерил классикой в шифте, просто поиграл с дисплейсерами, X-Presso и частотой кадров.

Да, я знаю что есть Sketch and toon, но его рендеры тоже больше походят на 2D векторные иллюстрации. Душа просит другого, более рисованного подхода.

1 | 3

#типсы

Стилизация

Снимаю шляпу перед всеми людьми, занимающимися стилизованными рендерами.
Когда смотрел интервью с CG супервайзером спайдерверса, он рассказывал как они писали кастомные шейдеры и прочее. Я всегда думал «хуле вы там пишите? Есть рендер движок, на нем же все реализуемо»
Теперь понимаю, что стилизация на рендере это и есть: взять исходные геометрию и свето-тень сцены и преобразовать их под свои нужды. Эти нужды не всегда покрываются движком, как до недавнего времени, например, никак не покрывались шифтом. Да и его возможности в стилизацию, по сравнению с тем же Eevee, вызывают смех. Но где один шажок для РШ, там огромный шаг для всех Maxon юзеров.

До кастомных шейдеров пока не дошел, но, такими темпами, кто знает куда заведет эта дорожка

3 | 3

На выходных ходили в театр. Не могу похвастаться тем, что мне на сто процентов понравилось. Видимо, Набоков и современная режиссура слишком сложны для моего пролетарского мозга. Но, речь не об этом, мы же тут про грефикс.

Декорации, вот что действительно вызвало восторг. Последний раз я был в театре лет 7-8 назад. Тогда большинство постановок, на которые ходили мы, ограничивались традиционными декорациями, старательно собранными людьми. Это неплохо, наверное, когда повествование идет о понятных вещах. Тут же, речь шла о эмоциональном состоянии героя и его преобразовании по ходу постановки. Настроение героя, весь фарс, происходящий вокруг него оживал на сцене с помощью света и проекторов. Если вокруг шепчутся тени - мы видим только силуэты актеров, на которых бьют резкие светильники, причем сами актеры не видны. Если герой говорит что он выпал из окна - мы видим как он летит через облака. Когда герой проходит через слом - мы видим как его силуэт на фоне начинает дублироваться. Мне кажется это дает тот уровень погружения, которого, лично мне, раньше сильно не хватало.

Однажды, нам приходил запрос, на то чтобы собрать похожие декорации в Unreal, где по сюжету, по ходу постановки, развивается город вокруг оазиса в пустыне. Прибавить к этому что сцена может быть интерактивной и мы открываем еще один слой возможностей для режиссуры. Восторг.

Я не удивлюсь, если с текущими темпами развития ИИ нас ждет интерактивное кино на сцене, которое меняется по ходу пьесы:
1. Зрители выбирают ход развития событий
2. Актеры импровизируют
3. Камера снимает актеров. ИИ выдает real time маски для другой ИИ
4. Вторая ИИ по маскам и заданным зрителями промптам генерирует контент на сцену.

В целом, реализовать это, думаю, можно и сейчас: вопрос денег и ожидаемого качества.
Если это уже где-то есть - напишите в комментариях где, хочется посмотреть.
Если этого еще нет - звучит как охуенный проект, в который мы с командой бы залетели.