Процесс нейросетевой стилизации видео.
1. Поиск визуального стиля. Перебор запросов, тестирование идей на одном фрейме. Далее тест лучших в динамике
2. Сегментирование. Грубую маска полученную от нейросетки немного причесали
3. Инпейнтинг. По-нашему клинап. в Динамике артефакты жуткие, но они по большей части должны остаться под велосипедистом.
4. Анимация. Препроцессинг для warpfusion. Видео покрасили и удалили мелкие детали. Эксперименты с настройками анимации.
5. Поверх анимации вернули велосипедиста.

Твиттер автора

Выглядит пока так себе. Но мы только в начале!

Вот каких роботов нам не хватало.
Робот-обнимашкер
кажется это с какого-то мероприятия huggingface, но это не точно

Dalle стал платным, при этом появилась возможность продавать генерации! 🎉🎉🎉

"Сегодня мы вводим новую кредитную систему. Каждый получает 50 бесплатных кредитов для использования в первый месяц, и 15 бесплатных кредитов будут пополняться каждый месяц после этого.
Вы можете купить больше за 15 долларов за 115 кредитов.
Теперь у вас есть полные права на коммерциализацию изображений, созданных с помощью DALL·E (даже с использованием бесплатных кредитов). Это включает в себя перепечатку, продажу и мерчандайзинг."

50 кредитов/генераций на первый раз, +15 каждый месяц и за 15 долларов можно получить 115 кредитов.

Безумно рад! Теперь можно спокойно продавать и создавать генерации на заказ!

Microsoft показал обновку NUWA
Выглядит очень впечатляюще.
- генерация изображения по тексту #text2image
- инпейнтинг/дорисовка #inpainting
- генерация видео по исходной картинке #image2video

Это хорошо, нужно больше конкуренции

Что-то новенькое
Увы, такие анимации теперь будут стоить ощутимых денег
#dalle

А вот это уже настоящий НЕЙРОМОКАП!
Киберпанк и биохакинг в одном флаконе!
Никаких маркеров на лице, никаких айфонов и велосипедных шлемов, никаких съемок, видео и нейросеток.

Вставляете в голову (ну ок, в уши) специальные наушники EarlO, а дальше немного акустической магии и ИИ.

EarIO работает как гидролокатор . Динамик на каждой стороне наушника посылает акустические сигналы в голову, а микрофон улавливает эхо. Когда носители говорят, улыбаются или поднимают брови, кожа движется и растягивается, изменяя отраженный. А дальше подключается ИИ, переводящий меняющиеся эхо-сигналов в полные выражения лица.

Магия!

«ИИ-алгоритм находит сложные связи между движением мышц и выражением лица, которые человеческий глаз не может определить. Мы можем использовать это, чтобы вывести сложную информацию, которую труднее уловить — всю переднюю часть лица».
Причем эти негодяи утверждают, что все это можно подключить как обычную гарнитуру и юзать нейромокап в зуме, например.

Если помыслить за пределы банального мокапа, то ИИ может испить с лица еще тонну информации "которую человеческий глаз не может определить". Например уровень стресса, по мышечному тонусу.

И вот это уже очень горячо и повод пилить стартапы.

P.S. Есть минус - перед первым использованием EarIO должен собрать 32-минутные данные о лице для обучения алгоритма. Но ИИ учится быстро.
https://news.cornell.edu/stories/2022/07/earable-uses-sonar-reconstruct-facial-expressions

Collaborative Neural Renderingusing Anime Character Sheets

Короче персонажка из видео в аниме
#mocap #video2anime

Код для продвинутых

Новая эпоха в мемасах

Помните недавно был анонс tex2image модели Stable Diffusion?
Так вот, уже можно подать заявку на бета тест.
А на картинке сравнение с DALL-E 2 на идентичных запросах начеррипиканных (выбор лучшего результата) на выборке из 4 генераций для каждого запроса.
Выглядит очень круто и похоже что будет бесплатно как и многие Diffusion модели.
Недостатки - колабы работают на порядки медленнее чем DALL-E 2. И скорее всего придется разбираться в настройках. Хороший результат получить труднее

Анимация инпейнтингом в #dalle
Только на этот раз художник обозначил рамками каждый шаг и подписал текст запросов
Источник

Когда лень было нажать PrintScreen, и сфоткал экран на телефон.
Удаление муара
Towards Efficient and Scale-Robust Ultra-High-Definition Image Demoiréing.

Попробовать на huggingface.
Утащил у DeepFake 🤖 Нейросети

Узнаете?