ИИ-генерация фонов: как работает и какие сложности

Съемка на зеленке – технология не новая. Но сегодня хотим рассказать про то, как устроен процесс, когда фоны генерятся в ИИ, и как достичь их точного совпадения с реальной съёмкой.

В чем вообще смысл? В скорости и вариативности🏎

При генерации фонов мы можем уже на постпроде сравнивать десятки разных локаций и художественных решений. Такой подход дает гораздо больше свободы, чем CG.
Про то, что ИИ экономит деньги и время, наверно, можно уже не писать?

Ключевой момент здесь – корректная подготовка исходного кадра. Ниже разберём, как это сделать.

Немного технических деталей 🔧

1. После съёмки на хромакее делаем 3D-скан локации, добавляем в него художку, если она есть в кадре.

2. Докидываем в скан 3D-модели и получаем простую 3D-болванку сцены.

3. Ставим в виртуальную сцену камеру, полностью повторяющую реальную: то же положение, та же высота, те же линзы. Это критичный момент: объектив на 12 мм и объектив на 100 мм – это разные изображения, и важно точно попасть с генерацией. Таким образом получаем аниматик, который во всех линиях один-в-один совпадает с отснятой картинкой.

4. Когда геометрия зафиксирована, можно дальше генерить все, что угодно. Модели получают аниматик и по ControlNet берут его за основу – фоны создаются с учетом 3D-структуры сцены и параметров камеры. Далее в эту композицию можно вносить любые правки.

5. На финальном этапе совмещаем актеров со сгенерированной сценой так же, как это происходит при стандартном пайплайне работы с хромакеем.

В качестве иллюстрации к посту делимся небольшой работой для «ВкусВилла» (работа «Культа» + студии Portal). Прикрепляем ролик и мейкинг оф.

Ваши голоса под вчерашним постом увидели – техконтент будет 👌
Но сегодня пятница, поэтому давайте без перегруза для мозга и с прикольными картинками.

Вместе с Васей Рубаном (CEO брендингового агентства «Штольцман и Кац» и вице-президент АКАР) собрали подборку классных зарубежных ИИ-роликов.

Здесь две официальные рекламы (McDonald’s и Kalshi) и три креаторских видео, сделанных для брендов, но не являющихся их официальной рекламой (Skittles, Liquid Death, Porsche).
Для нас это хорошая иллюстрация того, на каком уровне сейчас находится ИИ-генерация видео. В комментах подробности про каждый ролик.

Чуть позже еще сделаем отдельную подборку с кейсами на нашем рынке.

А у Васи, кстати, таких папок с интересными рекламными кейсами ещё много.

Как вам?

Делимся еще одним коллабом – в декабре нас немного захватила тема ИИ 🖐

Вместе с @BandLink подготовили статью про то, как ИИ меняет подход к работе над клипами.

Взяли две наши старые работы (клипы «Zodiac» Mujuice и «Сердце» passmurny) и пофантазировали, как можно было бы проапгредить их с текущим уровнем технологий.

➡️Статью можно почитать здесь

К посту прикрепляем генерации от Алексея Колонтаева, режиссёра агентства талантов CULT.
Как считаете, стало лучше?

❤️ – больше нравится "до" (без ИИ)
👍 – больше нравится "после"
🤡 – хочу просто читать посты и ничего не выбирать