📹 Видеогенераторы. Часть 2

Непонятно, кто кого опередил - либо Dream Machine первым выкатил обновление, либо Runway представил Gen-3 Alpha, а Luma в ответ обновила Dream Machine. В интернете завирусилось сравнение двух нейросетей (последнее видео).

Факт, что прошлая и эта - прям недели видеогенераторов. Было логично, что Runway срочно что-то придумают. В прошлом они были лучшие в своем деле очень долго.

Заявлено, что модель GEN-3 генерирует реалистичные видео в два раза дольше до 10 секунд, чем его предшественник GEN-2. В видео будет высокая детализация, более плавные и креативные переходы, и фотореалистичная генерация людей. Обещают, что появится обучение на своих стилях. Больше видеопримеров работ GEN-3 на их сайте. Доступ обещают дать в скором времени

Видео можно будет генерировать по тексту, так и используя изображения, а в будущем добавят инструменты для точечного контроля кадра - более сложные смены сцен.

Мой топ из видеогенераторов:

Dream Machine - пока мой топ, подробнее про него здесь и здесь

Haiper - на втором месте, если загрузить изображение хорошего качества, получается реалистично. Подробнее про него и примеры моих генераций в этом посте

Stable Video - на третьем месте из-за того, что бесплатный, в этом посте видео -пример того, что я сгенерировала. Подробнее в этом посте

Kaiber - хорошо подходит для мультяшных видео в стиле аниме, генерирует всегда годноту, хорошо переделывает видео в разные стили, но платный, без бесплатного периода. Подробнее про него в этом посте

Pika - раньше был бесплатный, сейчас платный, в нем много фишек - можно загрузить аудио и нейросеть подстроит липсинк так, что персонаж будет разговаривать как настоящий. Еще можно "растягивать" видео в разные стороны, и сервис сам дополнит пустые места - подробнее тут и заменит объекты на видео в реальном времени - подробнее тут. Но по уровню генерации далеко до Sora и Dream Machine, ждем серьезного обновления от Pika, ведь еще недавно они перегнали Runway GEN-2 и были лучшим видеогенератором, а Runway уже выкатил GEN-3.

#runway

Новый бесплатный 🖥 Claude 3.5 Sonnet обходит 🤖 ChatGPT 4о

Рассказала для вас вкратце о новой модели 🙂

Что нового в Claude 3.5 Sonnet ❓

- Поддержка артефактов.
В Claude 3.5 Sonnet добавлена функция под названием "поддержка артефактов". Это означает, что модель может теперь генерировать различные типы выводов или результатов, не ограничиваясь только текстом - код, текст etc.

Например, на видео:

парень сначала попросил сделать 8-битного краба и других персонажей, затем попросил сделать простую игру с боковой прокруткой и интегрировать персонажей туда. Далее игру начинают усовершенствовать, добавлять:теперь краб прыгает вверх и преодолевает встречные ракушки. Так же улучшили стилизацию игры - и это все простым текстом в режиме реального времени.

- Claude 3.5 Sonnet 2 раза быстрее Claude 3

Чем 🖥 Claude 3.5 Sonnet лучше 🤖 ChatGPT-4o ❓

🟣 Сильнее в математике, в коде, в построении диаграмм, работе с документами и даже распознавании изображений - визитной карточкой GPT-4o.

🟣 А еще человечнее в своих рассуждениях при ответах - лучше понимает юмор, детали и сложные инструкции

🟣 Доступно бесплатно для всех пользователей. Но для того, чтобы пользоваться из России нужно зайти с VPN, как и с ChatGPT-4o

🟣Все функции доступны сразу в окне браузера — из уравнения можно получить график, немного его отредактировать и преобразовать обратно в формулу.

Использовать можно на сайте, так же есть приложение для iPhone 🍏

🔄 UPD: У кого просит номер для регистрации, в этом посте в конце все расписала Как использовать Claude 3 из России

НейроProfit

#нейросети #llm #anthropic #claude #claudesonnet

Merlin Clone - “убийца Elevenlabs” в переводе и дубляже?

Я увидела пример, как нейросеть Merlin Clone перевела на разные языки комедию «Операция “Ы”», и решила протестировать новинку, т.к. часто делаю переводы.

🌸Дается минута бесплатно, при дубляже можно опционально сохранить фоновый звук.

Бесплатно попробовать у меня не получилось, то размер файла ему не нравился (1,5 Мб хотя бесплатно дается загрузить файл до 10 Мб), то ограничение в 1 минуту давит - пробовала обрезать видео в редакторе, возвращает к пункту качество.

В этом плане Elevenlabs с его ежемесячными “дотациями” в 10к кредитов гораздо щедрее и лояльнее к пользователям - их можно потратить на перевод и дубляж видео, а можно озвучить текст реалистичной озвучкой с большим выбором голосов, а можно и то, и другое.

Видео с ютуба обрабатывает бесконечно, в конце выясняется, что проект завис, а затем и вовсе пропал. В итоге, пока я не написала в чат с поддержкой, ничего не менялось, и тут мое видео магическим образом обработалось. Так я подумала…

😁 Но нет, я попала в студию, видео еще даже не перевелось, но сделана транскрипция, и разделено на спикеров. Нужно было еще выбрать голоса спикеров - каждому свой отдельно, это мне понравилось). И опять ошибка, что-то про ограничение по спикерам. Да, в бесплатном тарифе до 2-х спикеров. За ошибку минуту списали. Тут я психанула, и не стала морочить себе голову, и пошла в Elevenlabs. У них тоже своя студия, поэтому можно выбрать количество голосов на видео и временной промежуток, где появляется голос, чтоб самому не обрезать.

Вывод: Для профессионального перевода-дубляжа Merlin Clone может и годный, но для меня слишком замороченный. Платный тариф начинается от 2500 рублей - и тут ограничения - 10 мин максимальная продолжительность видео, только до 3-х спикеров и видео не должно превышать 200 Mb. Против 30 минут аудио в Elevenlabs за 5 долларов в месяц)

На момент написания поста, очередное видео в Merlin Clone так и не обработалось) У кого получилось потестить программу бесплатно?

НейроProfit

Поиск отрывков из видео по ключевым словам или определенной фразе

Я уже упоминала о подобных сервисах в своих постах

Есть для этих целей крутой сервис Playphrase.me

Подойдет для контентщиков, чтобы найти нужный фрагмент для видеовставки, и для тех, кто изучает английский и другие языки - вбиваете фразу, получаете произношение и фильм, где фраза была использована - отличная возможность для учителей иностранного разнообразить свои уроки интерактивчком.
Кстати, не только для английского языка сервис хорош, там представлены еще французский, японский, испанский, итальянский, немецкий.

Как использовать🔡

Заходим на сайт и вводим в поиск любую фразу. Сервис выдаст список фильмов, где она звучала, и покажет фрагменты. Бесплатно будет показывать 5-6 видео по каждой фразе, и затем намекать о спонсорстве.

Что крутого 🔡

🔴 Вбивать можно что угодно. Так же как и в Yarn здесь нет цензуры, поэтому пикантные фразочки сервис выдает.
🔴 Сайт работает отлично, но фразы надо писать без ошибок.
🔴 Нужный момент из фильма можно сразу скачать, что очень удобно.

НейроProfit

#нейросети #поискпофразе

Монтаж видео

Captions представили AI Video Editor. Инструмент без вашего участия смонтирует видео - сделает нарезку коротких видео в зависимости от темы и контекста, более того, каждому проекту сделает свой уникальный монтаж.

Что крутого 🔡

🔴 Автоматизация: AI Video Editor автоматически добавляет субтитры, улучшает звук и даже корректирует взгляд в камеру - Функция AI Eye Contact, которая корректирует взгляд персонажей в камеру в пост-продакшене.
🔴 Еще сам добавит нужные переходы в видео, зум и графику, B-roll, при необходимости заменит фон и добавит субтитры.
🔴 Есть инструменты для создания рекламных видео, улучшения речи и изменения фонового изображения.

Видеоредактор доступен пока только для устройств на 🍏iOS. В этом плане CapCut удобнее, он поддерживает множество платформ, включая iOS и Android. Но инструменты немного разные. Если вам нужно быстрое и автоматическое редактирование видео, AI Video Editor от Captions может быть лучшим выбором. Если же вам требуется больше контроля и ручных настроек, CapCut будет предпочтительнее, хотя возможность ручного редактирования есть и в AI Video Editor

Есть бесплатный пробный период для подписки Pro за $9.99 в месяц. Пользователи могут зарегистрироваться через приложение на iOS и использовать все функции в течение пробного периода. После окончания пробного периода приложение требует оформления платной подписки

НейроProfit

#монтажвидео