Magic 1-For-1 — модель, способная генерировать видеоклипы длительностью до одной минуты за одну минуту. Концепция основана на разделении задачи текст-видео на два этапа: сначала создаётся изображение по входному тексту, затем из этого изображения генерируется видео с плавной анимацией.

Ключевые особенности:
• Step Distillation. Алгоритм поэтапной дистилляции сокращает количество шагов генерации без потери качества.
• Оптимизация вычислений. Применяются методы снижения потребления памяти и ускорения инференса, включая CFG distillation.
• Скользящее окно. Позволяет формировать видео длительностью до 60 секунд, сохраняя высокое визуальное качество и плавность движения.

Источник: [Magic 1-For-1] + ссылка на установку

Ну и пару недель назад Pika выкатили Pikadditions, но я до неё так и не добрался. В отличие от Pika Swaps, этот инструмент не заменяет объекты в видео, а добавляет новые. Загружаешь видео + картинку-референс, и нейросеть пытается встроить объект так, чтобы он выглядел естественно.

🔥 Пара лайфхаков, если решите тестить:

1️⃣ Качество всё равно просядет. Не ждите 4K кристальной чёткости, пока это компромисс.

2️⃣ Минимум движения = минимум проблем. Если в кадре резкая динамика, объект может начать размазываться.

3️⃣ Фон лучше однотонный. Гладкие поверхности (небо, стены, чистая вода) дают лучший результат. Листва, толпы людей, текстурный шум — увеличивают шанс артефактов.

4️⃣ Не генерите дичь. Чем реалистичнее объект, тем лучше он встраивается. Если идея добавить дракона, несущего пиццу на гироскутере, держите в уме, что это может занять много попыток.

5️⃣ Формулируйте промпты понятно. Вначале коротко опишите, что уже есть в видео, а потом дайте нейросети задание.

Пример:

👉 We see an alligator swimming down the river.
👉 Add this to my video. Based on the current actions in the original video, come up with a natural and engaging way to fit the object into the video.

Блядь телега не запостила... короче пишу второй раз, то что было до предыдущего поста

Pika выкатили Pika Swaps — новую функцию, которая позволяет заменять части видео на сгенерированные нейросетью элементы. Можно, например, заменить объект в кадре на что-то новое, загрузив свою фотографию или просто описав, что хочешь увидеть.

Возможности у этой штуки, судя по всему, довольно мощные — можно дополнять реальные кадры нейросетевыми персонажами и объектами, создавая полностью новый контент.

К тому же дали немного бесплатных кредитов, так что можно затестить самостоятельно. Ссылка: https://pika.art.

Посмотрим, какие интересные сценарии применения найдут пользователи, но потенциал явно огромный.

Сам попробовал, но очередь на бесплатном тарифе долгая, так что свой видос скину позже думаю дня через два) XD