ToonCrafter: Аниматоры напряглись, аниме-любители радуются

Пока мы ждем сору, вот вам ToonCrafter — прикольная модель для тех, кто делает двигающиеся картинки в стиле аниме.

Я уже вижу, как китайские аниме-студии сразу сокращают количество кадров. Собственно для этого она и создавалась в соавторах Tencent AI Lab.

Есть три режима:

- межкадровая интерполяция. Модель дорисует кадры между двумя key frames. Причем не просто линейным поступательным движением, как это сделано в других работах по интерполяции видео, а полноценная анимация.

- интерполяция, но на башне скетчей. Когда цвета нет.

- окрашивание. Перед тем как анимешку сделают цветной, сначала делают полноценный анимированный эскиз в чб. Вот его теперь будут красить автоматически.

Непонятно, насколько мощный черипик в примерах. Выглядит ну как-то уж слишком хорошо. Хоть здесь и используются для каких-то более сложных вещей эскизы как референсы.

У них, оказывается, уже есть демо. Сгенерил простенькую кошечку — работает офигенно, хоть и две секунды и разрешение шакальное.

Как этого достигли?
1. Хитро зафайнтюнили DynamiCrafter на аниме видосах. Там есть своя специфика, ведь в мультиках много регионов без текстур, и нет motion блура, как в реальных видео.
2. Натренировали специальный 3D декодер, который берет на вход кроме latent векторов фреймов, ещё и дополнительно исходные первый и последний кадры, чтобы сохранить точную информацию о внешности объектов.

Project Page с примерами. Рекомендую глянуть.
Пейпер
Код на гитхабе
Демо на обнимающем лице

@ai_newz

Возлежание машин!

Your "totally not wrong" versions are very welcome !

https://youtu.be/lOfZLb33uCg?si=E6l58CtlMrkxFhgE

A clip literally made by Al
(Al yankovich)

Elon Musk founding OpenAI be like

Выкатили Whisper WebGPU
- распознавание голоса и перевод на девайсах

Работает локально в браузере, данные никуда не идут

🤗 demo
tweet
git