Нейронная анимация от Vnderworld и мысли о нейроклипах

Год назад весь мир получил StableDiffusion и блокнот Deforum, анимация в котором считалась в 15 раз быстрее, чем на DiscoDiffusion, а изображения стали реалистичнее. Это сделало нейросети сильно доступнее для творческих экспериментов или скучных попыток словить хайп.

За год мы получили много волшебных подарков от разработчиков, поэтому Deforum уже не способен удивить креативщиков сам по себе. Сейчас трудно поверить, в какой восторг мог привести PyTTi или, что A$AP ROCKY не побоялся делать клип на нейронках.

Все чаще в возможностях нейросетей как будто ищут слабые места и точки роста, но уже не пытаются достичь каких-то результатов с ограниченными возможностями. Красота глитчей постепенно уходит — инструмент становится таким же привычным как камера, от него просят такого же качества. Множество идей заморожено до прихода простого UX и последовательной анимации.

Меня иногда спрашивают: какой должна быть хорошая нейронная анимация? Нейронные сети как медиум сами по себе не имеют никакой ценности (как и любой другой). Поэтому техника должна соответствовать содержанию и подчеркивать его глубину. Ну а иначе получается легион «этих клипов сгенерила нейросеть», которые никто, кажется, уже не досматривает до конца.

И отдельной строкой при любопытном содержимом идет интересный, хитрый ход работы. Не обязательно аккуратно и четко (нейросети пока все еще не для этого). Но хотя бы не так просто, что как будто самому автору было неинтересно нажимать кнопки в процессе работы.

Никогда хорошим произведением не будет такое, которое орет на зрителя криком или тупое желание выстрелить на болезненой теме с помощью ассоциаций первого порядка. Все вы такие работы видели за последние полгода, нейросети не делают их лучше или хуже.

Мысли у меня появились после просмотра работы «Panopticom» Vnderworld, она медитативная, хорошо сделана и показывает силу инструмента. Прочитала об работе в дайджесте StableDiffusion, на который и вы можете подписаться.

Не совсем в тему, но там Старфилд вышел без русских субтитров. Вот инструмент для мгновенного перевода субтитров на русский язык. Устанавливай,выбирай язык и укажи область где будет появляться текст для перевода. Готово! https://github.com/Danily07/Translumo.git

Вы, конечно, можете не впечатлиться результатом, но прогресс внимание на это не обращает.
Но часть из вас, таки, возможно, замечает улучшения в генерации трехмерных объектов.

Модель MVDream выстраивает объект, опираясь на текстовое описание и большое количество ракурсов, используемых для обучения. Авторы не пишут, откуда конкретно они берут данные, но могу предположить, что это Sketchfab или его аналоги.

Кто видел старт диффузионных моделей, тот над многоракурсной диффузией не смеется 🫡

Сорс

Опубликована инпейнтинг-модель #SDXL

Демо
Веса

#inpainting #image2image

Классный эксперимент с Гауссовскими Сплаттингом (я писал об этом методе на днях). Челик взял три картины, задал для них вручную разные позиции камер внутри ондной сцены и обучил сплаттинг.

В итоге при повороте камеры достигается такой интересный эффект перехода одной картины в другую. Сплатики научились отображать разные картины с различных углов.

Кстати, вот тут еще повилась имплементация рендеринга Gaussian Splatting внутри божественной библиотеки nerfstudio (подробнее про нее в этом посте).

@ai_newz

​​В Politico, вышла статья, которая обсуждает будущее искусственного интеллекта и его потенциальное влияние на общество. Сразу спойлер - AI надо национализировать.

Сначала автор рассказывает про ИИ-чудеса. Приводит в пример NeuralEye, который смог установить сходство между отцом и сыном, несмотря на отсутствие очевидных внешних признаков. А это далекий и уже "каменный" 2014 год. Сегодня технология настолько ушла вперед, что способна писать романы, сдавать юридические экзамены и управлять боевыми дронами. А еще есть квантовые компьютеры, которые могут дать AI еще один мощный толчок в развитии.

Риски растут по экспоненте. Не столько от киношных терминаторов, сколько от ИИ, который становится настолько быстрым и эффективным, что его поведение может стать опасно непредсказуемым. Что же делать?

С учетом этого риска автор предлагает рассмотреть возможность национализации ИИ. Это может показаться радикальным шагом, но история уже знает примеры, когда критически важные технологии были национализированы ради национальной безопасности Например можно вспомнить Атомную энергетическую комиссию, созданную в США после Второй мировой войны.

В течение первых 100 дней после инаугурации в 2024 году президент объявляет о новом национальном чрезвычайном плане ИИ и объясняет, что цель этого плана — глобальное лидерство в области искусственного интеллекта для будущих поколений. Со слезами на глазах автор добавляет - единственной организацией на планете, обладающей как ресурсами, так и ценностями, необходимыми для эффективного и гуманного использования ИИ, — это правительство Соединенных Штатов. Управление ИИ в глобальном масштабе вполне может стать величайшей научной и дипломатической задачей Америки. Манхэттенский проект в кубе.

Японцам стоит напрячься, а остальным странам еще больше.

Люди: изобрели промт «думай пошагово», улучшили производительность LLM, горды собой

LLM: придумал для себя промт «глубоко вдохни и подумай», улучшил производительность еще сильнее, забыл сообщить об этом кожаным

В данной таблице приведены примеры промтов, которые LLM делают сами для себя и их сравнительная эффективность.

Голосовые нейронки летят, конечно, на сверзуковой.

Тестирую одну (для перевода) на винтажных мемах.

Здесь вы можете сами сделать, до двух минут бесплатно: https://labs.heygen.com/video-translate