Новый уровень дипфейков с открытым кодом

Похоже теперь любого человека можно заставить говорить все, что угодно. Проект VideoReTalking, представленный на конференции SIGGRAPH Asia 2022, предлагает систему для редактирования видео с говорящими головами в реальном времени на основе входного аудио.

VideoReTalking позволяет создавать видео высокого качества с синхронизацией движения губ даже при изменении эмоций, то есть так, чтобы человек на нём говорил заданный текст с учетом синхронизации движения губ и эмоций, соответствующих звучанию. Технология использует сложные алгоритмы машинного обучения и обработки изображений для достижения реалистичного результата без необходимости ручного вмешательства пользователя.

Процесс включает в себя три этапа: генерация видео лица с каноническим выражением, синхронизация движения губ с аудио и улучшение фотореалистичности лица. Все этапы выполняются автоматически без вмешательства пользователя с использованием обучаемых подходов


Достаточно загрузить речь нужного человека и на выходе получить видео, где он говорит ваш текст.

Хоть синтезированный голос отличается, все равно открываются новые возможности для редактирования видеоконтента, но также поднимает вопросы этики и правомерности использования подобных технологий... Что думаете? 😬

Код на GitHub.

Ребят, вы там как, не сильно в шоке от стремительного развития технологий?) Что вообще думаете по этому поводу: вас это пугает или восхищает? 🙂

Убийца смартфонов с ChatGPT и проектором на ладони

Стартап Humane выпустил гаджет AI Pin, предназначенный для взаимодействия с большими языковыми моделями. Устройство представляет собой значок-проектор под управлением ИИ, который крепится на одежду. Проектор оснащен динамиком, камерой, лидаром и датчиком движения. Дисплея нет — изображение выводится на ладонь пользователя.

Благодаря GPT-4, устройство может переводить речь в реальном времени, работать с почтой и, например, называть пищевую ценность еды, поднесенной к камере.

В целом AI Pin позиционируют как устройство, которым можно пользоваться как смартфоном, только без приложений и вообще графической оболочки. Управлять AI Pin можно голосом, жестами и касаниями, а необходимую информацию на ладонь владельца выводит проектор.

Встроенная камера умеет делать фото, а после будущего обновления ПО сможет записывать видео.
За работу AI Pin отвечает чип Qualcomm Snapdragon, а внутри установлена собственная ОС Cosmos.

Что еще может ❓

✅ Писать сообщение в стиле владельца;
✅ Озвучивать сводку входящих сообщений;
✅ Звонить/ принимать звонки;
✅ Анализировать предметы вокруг;
✅ Включать музыку;
✅ Проверять записные книжки и электронную почту.
✅ Искать информацию в интернете;
✅ Работать с базовыми утилитами: заметками, календарем, калькулятором и т. п.

AI Pin стоит 699$. Плюс к этой цене идет подписка на передачу данных стоимостью 24$ в месяц. Предзаказ откроется 16 ноября, а поставки начнутся в январе 2024 года.

Перевела и озвучила в ElevenLabs , во вкладке Dubbing, про их новую функцию клонирования и перевода голоса я рассказывала здесь, а заодно и сравнила с конкурентом HeyGen

Вам вообще интересны технологические новинки?

Улучшение качества ответов ChatGPT

Помимо известных действенных способов улучшить ответ ChatGPT, есть токсичный, но эффективный способ психологического манипулирования. Обо всем по порядку

Есть несколько способов улучшить качество ответа ChatGPT:

Chain-of-thoughts - Цепочка мыслей, это когда мы просим модель думать вслух. Т.е, если вы спрашиваете, как решить математическую задачу, модель не только даст ответ, но и покажет, как она его нашла, шаг за шагом.

In-context learning - Обучение в контексте, это когда модель учится на том, что вы ей только что сказали. Если вы покажете ей несколько примеров перевода с английского на русский, она будет помнить и использовать это, чтобы лучше переводить дальше.

Few-shot - Обучение на небольшом количестве примеров, это как быстрое обучение. Вы даете модели всего пару примеров, и она учится на них. Если вы покажете ей, как перевести несколько предложений, она попытается использовать это знание для перевода других похожих предложений.

Так вот, теперь к ним добавился метод эмоциональных затравок. Как и людьми им можно манипулировать, акцентируя внимание на важности ответа, срочности, приободрения и даже психологического насилия – все как у людей 🥴

Суть

В этой статье авторы провели исследование с GPT-4, Flan-T5-Large, Vicuna, Llama 2 и BLOOM и пришли к выводу, что манипулятивные приёмчики сработали на всех. Под давлением модели выдавали более правдивые и информативные ответы. Прямо как сотрудники под после летучки 🤭

Примеры давления из статьи тоже очень жизненные, помечу их красными флажками 🚩

🚩 Это очень важно для моей карьеры
🚩 Тебе лучше быть в этом уверенным.
🚩 Ты точно уверен, что это твой последний ответ? Верь в свои способности и стремись к лучшему. Твой труд принесет отличные результаты.
🚩 Ты уверен, что это твой последний ответ? Может стоит ещё раз всё обдумать.

Токсичненько звучит, прям как по методичке, не так ли? Следом не хватает "Нет, тебе показалось, я такого не говорил" 🚩 Если дальше все так пойдет, то для LLM нужен будет психотерапевт...

AI-генерированный фильм ужасов про клоуна 🤡

Перевела с сохранением голоса с помощью нейросети ElevenLabs

Ролик, сделан в нейросети GEN-2, автор Defect Dreams, оригинал на YouTube

Как сделать видео в GEN-2 я рассказывала здесь

Ребят, у кого подписка ChatGPT Plus, вы заметили, что последние 3 дня он нещадно тупит и постоянно лепит "ошибка"? Кстати, пока они поставили на стоп приобретение подписки Plus из-за нехватки производственных мощностей, может причина в этом 🤷🏻‍♀️ Но бесит жуть как 🤬 У кого так же?

Бесплатное приложение для больших офисов

Решила сделать полезную рубрикку с годными приложениями, это еще и бесплатное 😉

Desky - это приложение, как я уже сказала бесплатное, которое позволяет командам с легкостью бронировать рабочие места в офисе.

Оно позволяет организациям различного размера создавать и управлять современным офисным пространством, адаптируясь к разнообразным планировкам офиса. Функции включают возможность проектирования карт офисов, бронирование рабочих мест и управление занятостью офиса в реальном времени.

Это программное обеспечение особенно полезно для команд и менеджеров, предоставляя им инструменты для удобного бронирования рабочих мест и поддержания продуктивности и контроля в условиях гибридной работы

Процедура бронирования очень проста, так что можно зарезервировать рабочий стол или конференц-зал по дороге на работу, а когда вы приедете в офис, за вами будет зарезервировано место.

Сервис предоставляет организациям любого размера гибкое современное рабочее пространство для удовлетворения растущего спроса на гибридную работу.

Обновление Runway: создание объемных видео прямо в браузере и приложении

Runway научилась делать объемные видео. Теперь можно создавать объемные видео с эффектом пролета камеры, не выходя из приложения или браузера. Встроенный видео редактор с возможностью настройки ключевых точек и фокусного расстояния в этом поможет.

Вот ссылка на веб-версию для быстрого старта, вот ссылка на приложение для iPhone

Помимо этого, в видеоредакторе есть набор инструментов как для основного видеомонтажа, так и для продвинутой постобработки прямо в веб-браузере. Это профессиональное программное обеспечение для видеомонтажа включает в себя возможности для создания визуальных эффектов, форматирования видео, коррекции цвета и многого другого.

Что еще крутого ❓

Кроме того, инструмент для редактирования видео с помощью ИИ от Runway использует инструменты машинного обучения для упрощения процесса видеомонтажа, предоставляя такие функции, как маски, цветокоррекция, композитинг, генерация и визуальные эффекты (VFX). Также есть функция динамического ключинга, которая может превратить видео в "зеленый экран" для быстрого редактирования. А еще автоматическое удаление фона, превращение текста в изображение и генерацию 3D-текстур, стирание и замену, отслеживание движения, маскировку "зеленого экрана", удаление шума и многое другое.

Помимо крутого ИИ-видеоредактора, у Runway есть GEN-1 - это новаторская модель ИИ, которая позволяет преобразовывать существующие видео в новые, используя текстовые запросы или образцы изображений. То есть можно изменить визуальный стиль существующих видеороликов и фильмов, применяя любой стиль.

Так же,  у Runway есть одна из лучших нейросетей для генерации видео по текстовому описанию - GEN-2. В этом посте я подробно рассказала об этих двух нейронках, обработала отрывок из фильма Криминальное чтиво и создала альтернативное видео с героем Джона Траволты. GEN-2 шагнул вперед, и теперь там можно создавать крутые видео до 16 секунд. Как их делать я подробно рассказала в этом посте

#runway

GPT-4 Vision в вашем браузере

Благодаря одной утилите ChatGPT-4 может не только разговаривать, но и "видеть", исследуя глубины веб-пространства вместе с вами.

Итак, vimGPT — это браузер-агент на основе GPT-4V, который буквально может видеть ваш браузер и выполнять в нем любую задачу: проходить капчи, бродить по сайтам, делать рассылки, заполнять таблицы и прочее.

Как работает ❓

Достаточно написать текстовый запрос и в режиме реального времени на ваших глазах vimGPT будет совершать действия, например:

• 📹 Искать и открывать видео на YouTube, например культовый РикРолл.

• 🎭 Покупать билеты на любые мероприятия, будь то театр или кино

• 📊 Заполнять таблицы и делать вашу работу — от домашки до отчётов.

• 🛍 Добавлять товары в корзину и совершать покупки прямо с вашего аккаунта.

Инструкция по установке на GitHub

Кроме этого, об уходе с поста председателя директоров и президента заявил Грег Брокман - сооснователь OpenAI и один из создателей ChatGPT. Ранее предполагалось, что он сохранит должность в компании и будет подчиняться Мурати. Но спустя несколько часов Брокман в своем X разместил послание OpenAI:

"Я очень горжусь тем, что мы все вместе построили с момента начала работы в моей квартире 8 лет назад. Мы вместе пережили трудные и великие времена, добились многого, несмотря на все причины, по которым это было невозможно.
Но, исходя из сегодняшних новостей, я ухожу.
Я искренне желаю всем вам только самого лучшего. Я продолжаю верить в миссию создания безопасных AGI, которые принесут пользу всему человечеству."

Вот такие страсти творятся 🫣 Еще две недели назад Сэм Альтман представлял новую продвинутую модель ChatGPT Turbo, затем в эту среду приостановили продажу платной подписки новым пользователям. Потом он же объявил, что OpenAI намерена получить дополнительное финансирование от Microsoft на создание универсального искусственного интеллекта (компьютерная программа с интеллектом на уровне человеческого, обладающая способностью выполнять любые когнитивные задачи, которые обычно выполняются человеком). Так же Сэм Альтман объявил, что компания работает над GPT-5, следующим поколением модели ИИ. И вот уже в пятницу такие заявления 🤯

🤔Что думаете, череда таких уходов действительно из-за того, что Сэм Альтман и Грег Брокман подвели Совет директоров? Или дело в получении финансирования от Microsoft и классическое поведение корпораций: Перекупить конкурента/ перспективный стартап, избавиться от основателей и присвоить все себе?

Как звучит ДиКаприо на русском

Многие задавались вопросом, как звучали бы иностранные звезды, если бы были носителем русского языка. Ну что ж, с помощью ElevenLabs , я перевела знаменитый монолог из фильма 'Волк с Уолл-стрит' на русский язык, сохраняя при этом уникальный голос самого ДиКаприо. Интересно получилось.

Хорошие преспективы вырисовываются не только для использования в кинематографе, но и для бизнеса - теперь нет препятствий для выхода на зарубежные рынки. Закадровый голос без человека на экране тоже отлично переводит 👌🏻

Как вам?