Опять принес немного нетривиальной визуализации.

Точнее анимации. Мне нравится, что в абстрактной форме чотко угадывается движение персонажа. Этакий метагротеск. Ну или полигональное шаржирование, доведенное до предела.

Опять же, загляните к автору, там очень много интересных визуализаций.

Кстати, интересно скормить это видео в Рунвей video2video. Ну или во Флюкс, и поглядеть, на фантазии по такому скетчу.

@cgevent

Рубрика крутые подписчики.

Илья Рутковский, которого я знаю еще про прошлой жизни (Cg Event и все такое) прислал мне интересные работы.
Они занимаются рекламой и довольно активно юзают нейросетки.
Но этот кейс довольно забавный, взяли свою взрослую рекламу, прогнали через Runway video2video и получили версию рекламы "0+".
Ну и получается, что в будущем приходит заказчик, а вы ему:
вот версия 18+
вот версия для родителей двухлеток
вот версия для подростков
вот версия для офисных служаших

-А можно версию для домохозяек?
-А пажалста! Падаждите 10 минут...

Исходник рекламы, full quality и прочие брейкдауны можно посмотреть тут.

@cgevent

Начнем утро с веселых, но полезных картинок.

Смотрите, какие любимые соцсеткидля зумеров? Статистика для "взрослых" американцев в возрасте от 18 до 29 лет, которые использовали вышеуказанные платформы.

И мы такие, сидящие в телеге: ээ, ахде Дуров?

Вестимо, хде...

Короче, если вы пилите стартап или сервис и целите не в европейскую аудиторию, где скоро зарегулируют не только ИИ, но и, похоже, постинг фотографий (с метачкиных очков точно), то имейте в виду эти цифры.

YouTube 93%
Instagram 78%
Facebook 67%
Snapchat 65%
TikTok 62%
Pinterest 45%
Reddit 44%
Twitter 42%
LinkedIn 32%
WhatsApp 32%
BeReal 12%

Скрал на вижуал капиталист.

P.S. И кто такой БиРиал?
@cgevent

Тут вот телеграмчик приподвзрывается новостью о том, что некий мегапромпт, разгоняет Sonnet 3.5 до уровня GPT-o1.

Ну и не только Sonnet
https://x.com/_philschmid/status/1842846050320544016

Там есть пара моментов: "разгоняет" только на определенном наборе тестов, причем похоже от самого автора мегапромпта.
Во-вторых, его прогнали на MMLU и нет, не разгоняет. См. картинку.

Ну и если вы упарываетесь в такие джейлбрейки, то есть целая база на, пардон, 15 тыщ промптов.
https://github.com/verazuo/jailbreak_llms

Но я вам принес другую (надеюсь полезную) вещь, даже несколько:

Системный промпт для chatGPT-4o with Canvas
Также:
For code conversion
For code review
For Bug fixes
For Logging

Все это добро тут:
https://x.com/jasonkneen/status/1841941411052106209
https://x.com/elder_plinius/status/1841955474092261797

Уже в базе промптов отсюда:
https://github.com/elder-plinius/L1B3RT45

@cgevent

Нашел очень крутую работу от Nvidia.

Все эти генераторы 3Д, как правило, используют для обучения датасет Objaverse, в котором очень много шлака и превалируют 3Д-сканы и фотограмметрия с ужасными, плотными, хаотическими сетками.
Генерация с помощью score distillation sampling (SDS) и пр. начисто теряет любые данные о связи вертексов в исходных данных, а использование marching cubes порождает "обмылки" и вот эту вот всю ацкую топологию.

Мне, кстати, уже давно приходила в голову идея обучения 3Д-генератора на текстовом описании мешей, с сохранением и использованием информации о топологии.

Тут я выпендрюсь и процитирую статью:
Недавно в нескольких подходах были предприняты попытки токенизировать сетки в одномерные последовательности и использовать авторегрессивные модели для прямой генерации сеток. В частности, MeshGPT предлагает эмпирически сортировать треугольные грани и применять вариационный автокодер с векторной квантификацией (VQ-VAE) для токенизации сетки. MeshXL напрямую склеивает координаты вершин и не использует никакого сжатия, кроме дискретизации вершин. Однако такие подходы часто испытывают трудности с обобщением за пределами области обучения при обучении на изображениях одного вида.

Нвидия сделали авторегрессивный автокодер (ArAE), который сжимает треугольные сетки переменной длины в латентные коды фиксированной длины. Это латентное пространство может быть использовано для обучения моделей диффузии, обусловленных другими модальностями. Это позволяет EdgeRunner генерировать разнообразные, высококачественные художественные сетки, содержащие до 4 000 граней и вершин - в результате получаются последовательности вдвое длиннее и в четыре раза выше по разрешению по сравнению с предыдущими методами.

Но самое главное, поглядите, как происходит процесс детокенизации, то есть перевода 1Д-токенов(эмбедингов) обратно в 3Д пространство! Это ж латентный моделинг!

Сетка как бы моделит форму не плевком из облака точек, а выстраивая топологию.

Выглядит отлично.

Очень круто сделан сайт проекта, я скачал 3Д-модельки, покрутил, не врут, топология как на сайте.
Поглядите там, как идет процесс нейромоделинга.

Ну, за моделлеров, наконец-то.

Хотя... кода нет. Отставить чокаться. И возможно, не будет, ибо это явно просится в OmniVerse от Nvidia, который явно не открытый проект.
https://research.nvidia.com/labs/dir/edgerunner/

@cgevent

Так, это уже слишком хорошо, чтобы быть поводом для шуток.

Это уже два миллиметра до:
рекламы провинциального масштаба
синематика инди игрушки
марвеловская или комиксовидная жвачка от некрупной студии
форсаж - 11 и вИИн дИИзель
креатив на игровых сторах
перебивки на тв


Под красным капотом:
Flux 1.1
Luma Labs' Dream Machine
CapCut - монтаж и пост
Udio - ИИ-музика

И все.

Хотя нет, не все, вот промпты:
Флюкс: Close-up/high angle/low angle], [front view/rear view], photo of a red and black [interior/exterior] of a futuristic car, led lights, high contrasts dynamic shadows, organic, night, highway, shallow depth of field
Luma Labs: пустой промпт на все входные картинки
Udio: energetic, garage rock, revival dance-rock about wanting a futuristic car

Забрал отсюда, люто сделано

@cgevent

Давно хочу жоско пропиарить Сашу Доброкотова ака AI Molodca

Он, в отличие от нас, телеграм-писак, ручками делает охренительные вещи со всем этим ИИ, про который мы тут читаем.

Последний Сезам Разбитых фонарей просто разрыв.

Тема ИИ-гопников тоже невыносимо хороша.

Ну а Долой уныние - это уже ИИ-мем.

Я преступно долго не настаивал на том, чтобы вы срочно подписались на Сашу. Он плотно присел на видео-генераторы, потратил целое состояние на подписки, и постоянно выдает шедевры. Го плюсовать.

Начнем утро с веселой картинки, и она напрямую связана с ИИ.

Точнее с его проникновением в кожаные массы.

Смотрите, вот любопытнейшая статистика по странам, отражающая долю использование chatGPT на душу населения.

Индия имеет самую высокую долю (45 %) людей, использующих ChatGPT. Отчасти это может быть связано с большим количеством ИТ-рабочих мест в стране, для которых ChatGPT может стать ценным активом.

Также есть гипотеза, что страны с более молодым населением забираются в рейтинге повыше.

Европа представлена чахло. Восточная Еевропа не представлена вообще.

В Азии (более активное использование ChatGPT) используют ИИ для конкретных целей: для помощи в исследованиях или в качестве виртуального личного помощника. В отличие от них, респонденты из США и Германии (более низкое использование ChatGPT) в основном "играют с ним".

В Европе вообще доиграются с регулированием до того, что начнут сжигать ИИ-ведьм - это я ворчу и утрирую, конечно, потому что ни хрена не работает тут. Штатовский впн всегда под рукой.

Но chatGPT исправно работает, хотя Альтман в твитторе регулярно издевается: "а наши европейские друзья получат эту фичу.. когда-то получат в общем".

@cgevent

Нейрокомпоз, который мы увидим нескоро.

Мы тут уже обсудили новую модель Movie-Gen от Метачки для генерации видео.

Она может решать сложные VFX-задачи, такие как замена фона, расширение декораций, замена персонажей, удаление предметов, добавление эффектов частиц с реалистичным взаимодействием с освещением.

Ну то есть тот самый нейрокомпоз, про который я тупо шутил, что в темных комнатах сидят композеры в наушниках шумодавах и орут в мониторы: шляпу сними, в кадр пошел, фон замени, огня навали, пыли добавь.

Модель научили редактированию видео с помощью трехэтапного процесса:
1. Started with image editing data, treating it like single-frame video edits.
2. Created synthetic video editing tasks by animating still image edits and using AI models (like SAM and DINO) for object segmentation.
3. The model generated edited videos, and then learned to reconstruct the originals from the edited version
source

Все это выглядит убойно, но какашка на торте состоит в том, что:
"По отзывам режиссеров и создателей видео, приоритетом для нас была простота редактирования, но еще больше - возможность генерировать видео с заданным персонажем/образом, чего эти модели теперь точно добиваются. Мы не готовы в ближайшее время выпустить это в качестве продукта - это все еще дорого, а время генерации слишком велико, - но мы хотели бы поделиться тем, на чем мы остановились"
Это Крис Кокс, Meta's Chief Product Officer.


Расходимся.

@cgevent

Это же прекрасно! Особенно кожаные, снимающие на телефоны.

Я забрал отсюда, прошелся gfpgan через face fusion, чтобы немного расшакалить качество.

Ну и музыку подклеил, чтобы из зала и по теме.

Йога, которую мы заслужили.

@cgevent

Извините, но снова про нейрособак.

Иногда мне кажется, что Minimax - круче всех видеогенераторов. Как можно сделать такое?

Ну и это уже готовый материал для вирусного маркетинга - приходит, значит, какой-нибудь NanoRedBull без бюджетов, с запросом на вирусное интернет видео с рекламой своего нового энергетика, но так чтобы потроллить настоящий RedBull и попасть в аудиторию.

Апажалста.

Музыка - Суно, кстати.

Я теперь прикиньте, сколько бы это стоило сделать в 3Д и композом.

Сорри, перестаю постить собачек.

@cgevent

Адобченко подбирается к ИИ-музике.

Как пишет нам Head of Music AI в AdobeResearch:

Ultra fast music generation via accelerating diffusion TTM without quality loss.

Все сэмплы на сайте - без вокала.
Сравнение идет со Stable Audio(?)
Про Удио и Суно в статье ни слова.

Кода нет, есть бумага и видос. Очень жестяной звук.

Думаю кода не будет, а будет интеграция в продукты Адобченко.
https://presto-music.github.io/web/

@cgevent

Теперь точно НейроМетаХьюман.

Недавно постил про FacePoke - это как бы UI нашлепка над LivePortrait с удобным(относительно) ригом, расположенным прямо на картинке вместо слайдеров в соседнем окне.

Автор обещает забрать из LivePortrait и остальные параметры (зрачки и пр).
А для тех, кто грустил, что это под Линукс - уже завезли это дело в pinokkio - народ гоняет это на 4070. Локально.

Более того, там еще прикручивают хоткеи для сохранения изображений, чтобы было как олдскульном риге - выставил позу, поставил ключ.
И насохраняв этого добра, вы можете скормить это в Runway video2video и получить стопитсот вариантов рендеринга вашего метахьюмана!

Забрал у Мартина, ибо хорошо. Нейрориг и Нейрорендер уже здесь.

@cgevent

В Minimax теперь есть image2video.
И Minimax начинает мне нравиться все больше. Других генераторов.

Ну, за Пиксар.

@cgevent