Sana: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformer

Генератор картинок по тексту от Nvidia и компании.

Может эффективно генерировать изображения с разрешением до 4096 × 4096.
Из фишек - скорость даже на GPU ноутбука, четкое следование промпту.

Sana-0.6B вполне конкурентоспособен с современной моделью гигантской диффузии (например, Flux-12B), поскольку в 20 раз меньше и более чем в 100 раз выше по измеряемой пропускной способности. Кроме того, Sana-0.6B может быть развернут на графическом процессоре ноутбука емкостью 16 ГБ, при этом для создания изображения с разрешением 1024 × 1024 требуется менее 1 секунды

Часть команды бывшие разработчики PixArt, которые присоединились к NVIDIA, а NVIDIA недавно выпустила конкурента GPT4 LLM с открытым исходным кодом - так что, похоже, есть вероятность что они опубликуют веса и код Sana.

Код ждем

#text2image

Cavia: Camera-controllable Multi-view Video Diffusion with View-Integrated Attention

Интересная разработка с участием Apple и Google, без кода

Генератор видео, позволяющий создавать несколько видеороликов одной сцены с точным контролем движения камеры, одновременно сохраняя движение объекта.

#text2video #multiview #cameracontrol

Chat Edit 3D: Interactive 3D Scene Editing via Text Prompts

Это вообще законно?
Оно через ChatGPT рулит 30+ диффузионными нейронками для работы с 3D сценами.
Загляните на сайт. Там еще вагончик примеров того что оно может

Код

#3dediting #text2scene #nerf #textto3d #assistant #3dassistant

Pyramidal Flow Matching for Efficient Video Generative Modeling

На днях вышел новый опенсорсный видеогенератор по тексту и по изображению.
Разрешение 1280x768
От идеала далеко. Но эй, в опенсорсе и конкурентов негусто.
А авторы еще и обещают скоро выложить код обучения и новые с нуля обученные чекпойнты

Код
Демо
Веса

#text2video #image2video

Из прочих новостей

Suno теперь умеет делать музыку из ваших картинок и видео. Но пока только в iOS приложении которое есть только в американском аппсторе

Pika вчера добавила новые эффекты в дополнение к тем которые завирусились на прошлой неделе (мне о них некогда было писать). Сами по себе такие эффекты мне представляются бесполезными, сфера применения очень узкая. Но посмотрим насколько у юзеров хватит выдумки. Видимо, на это и ставка. Как бы то ни было, Pika таким ходом отнишевалась от конкурентов

#news #image2music #video2music #image2video #image2effect

CoTracker3: Simpler and Better Point Tracking by Pseudo-Labelling Real Videos

Трекер группы точек. Наследник CoTracker и ряда других работ и по бенчмаркам лучше их всех.

Код
Демо
Колаб

#tracking #opticalflow