Sora 2 Prompting Guide

Официальное руководство по промптингу Sora 2 от Open AI

Схема такая:

— Общая сцена и описание:

— опишите сцену простым языком;

— укажите персонажей, костюмы, декорации, погоду и другие детали;

— будьте настолько подробны, насколько это необходимо для создания видео, соответствующего вашему видению.

— Кинематография:

— ракурс и угол съёмки: укажите, например, «общий план, уровень глаз» или «крупный план, небольшой наклон сзади»;

— настроение: определите общий тон, например, «кинематографично и напряжённо», «игриво и с напряжением», «роскошное ожидание»;

— объектив и фильтрация: можно указать тип объектива и фильтры, например, «32 мм / 50 мм сферические объективы, лёгкий CPL-фильтр»;

— освещение и палитра: опишите качество света и основные цвета, например, «мягкий свет из окна с тёплым заполняющим светом от лампы и холодным отблеском из коридора».

— Действия:

— перечислите чёткие, конкретные действия или жесты в виде списка;

— старайтесь описывать действия в виде отдельных моментов или отсчётов, чтобы они были привязаны ко времени.

— Диалог:

— если в кадре есть диалог, добавьте короткие естественные реплики;

— сохраняйте краткость, чтобы реплики соответствовали длительности клипа.

— Фоновые звуки:

— опишите фоновые звуки, которые помогут задать ритм или атмосферу;

— например, «гул кофемашин и шёпот голосов» или «хруст бумаги и шаги».

Пример структуры:

[Описание сцены: персонажи, костюмы, обстановка и т. д.]

Cinematography:
Camera shot: [ракурс и угол, например, общий план, уровень глаз]
Mood: [общее настроение, например, кинематографично и напряжённо]
Lens: [тип объектива и фильтрация, например, 35 мм виртуальный объектив]
Lighting: [описание освещения и палитры, например, тёплый ключевой свет]

Actions:
- [Действие 1: чёткое, конкретное движение или жест]
- [Действие 2: следующее действие или реплика]
- [Действие 3: ещё одно действие или деталь]

Dialogue:
[Короткие реплики, если они есть в сцене]

Background Sound:
[Описание фоновых звуков, например, дождь, тиканье часов, гул машин]

#prompting #instruction

Опубликован код и веса редактора видео MIMO
И даже есть китайский демоспейс

В базе Stable Diffusion 1.5 но видеопамяти надо от 40 ГБ
Ну может хоть быстрый ... непонятно насколько он актуален теперь при всех возможностях WAN и коммерческих моделей

Тестировали на GPU A100, L20

Гитхаб
Демо

Спасибо @Dmitriy_Ru6ts0v

#video2video #humananimation #personalization #videoediting #videoinpainting