MovieDreamer: Hierarchical Generation for Coherent Long Visual Sequences

Генератор видео, заточенный на сложные сюжеты и согласованность персонажей на длинных промежутках времени.
Хитрость в том, что сначала генерит ключевые кадры, потом по ним - собственно видео.

Качество до лидеров не дотягивает, но понятно откуда тройка лидеров (luma/dream machine/kling) может черпать идеи для развития.

Код ждем

#text2video #image2video

Нейронавт: ИИ в сфере дизайна графики для кино (FX)

👉 Смотреть эфир (19:30) мск

Что будет в эфире:
Что нового в сфере нейро FX за год
Заменят таки ИИ художников в киноиндустрии
Чем пользоваться, чтобы оставаться на плаву

Как Ежик из Смешариков стал Лосяшем
И почему комплексные решения ИИ начинают и выигрывают?

Игорь Куренков, создатель канала Нейронавт, художник кино, принимал участие в создании фильмов:
100 лет тому вперед (2024), Мастер и Маргарита (2024), Мира (2022), Вратарь галактики (2020), Вторжение (2019)

Телеграм Канал Нейронавта

MusiConGen: Rhythm and Chord Control for Transformer-Based Text-to-Music Generation

Генератор музыки по заданным аккордам.
Под капотом дообученный MusicGen

Код
Демо ждем

#text2music

SV4D: Dynamic 3D Content Generation with Multi-Frame and Multi-View Consistency

Новинка от Stability.ai
Генератор видео с нового ракурса по одному входному видео

Код

#video2video #novelview

ViPer: Visual Personalization of Generative Models via Individual Preference Learning

Персонализация картинок на основе предпочтений пользователя.
Юзера просят в свободной форме прокомментировать ряд картинок в разных стилях, на основе комментариев создается слепок его предпочтений.
Авторы предлагают использовать такую персонализацию вместо промпт-сутры утомительного поиска подходящего промпта

Код ждем
Демо ждем

#text2image #personalization

Ну, за поиск! И за трафик, не чокаясь.

Вчера, конечно, все возопили про новость про поиск от OpenAI. Это как бы ответочка Гуглу и Перплексити (эти вообще нервно закурили овальные сигареты в своем неожиданно ставшим очень маленьким углу).
https://openai.com/index/searchgpt-prototype/

В новости сказано, что мы сначала протестируем на 10К пользователях, а потом поглядим.
Надо сказать, что все эти почившие в бозе плагины для поиска для chatGPT работали плохо. OpenAI в модели хорошо умеет, а вот в продукт пока не очень.
Но самое интересное, что все пропустили новость от Микрософтика, ровно про то же самое:
Новая страница результатов поиска будет включать подробный ответ, сгенерированный искусственным интеллектом, за которым последуют источники, из которых он был получен. Традиционные результаты поиска по-прежнему будут отображаться рядом с результатами, созданными искусственным интеллектом, в боковой панели справа. В настоящее время новый опыт доступен для небольшой группы пользователей.
https://www.windowscentral.com/microsoft/microsoft-unveils-bing-generative-search-enhanced-with-ai-its-a-complete-overhaul-of-traditional-search

Интересно, они там кодом обмениваются?

Судя по успеху и ловкости Перплексити, тема прям горячая и нужная юзеру.

Но есть один момент - потеря трафика. Юзер перестает ходить по ссылкам (точнее ходит меньше) в таком сценарии. Ему уже все ИИ рассказал прям в окне поиска. Причем можно еще и початиться с ИИ на интересную тему, пусть ИИ ходит по ссылкам и собирает инфо. Поэтому вдолгую мне видится, что юзер перестроится на сценарий одного окна с ИИ.

И тут вся система, основанная на продаже трафика и рекламе, такая: э-э, а как же мы? где наши бабки?

На что Микрософтик и OpenAI: заходите на кофе, обсудим, ИИ тоже человек, кушать хочет.

MUSICHERO

Ребята, у Suno и Udio новый конкурент.
(нет. под капотом Suno 3.5)
Пока еще без разделения на стэмы (которое можно сделать другими инструментами)

Есть функция продолжить сгенерированный трек.
Текст можно свой, можно генерить.
Можно делать инструментал.

Прилагаю пример без черрипикинга, самая первая попытка, мне нравится.

Накидывайте ваши эксперименты в коменты!

#text2music

Diffree: Text-Guided Shape Free Object Inpainting with Diffusion Model

Инпейнтинг без масок. Умный, сам догадывается куда пририсовывать.

Код
Демо

#inpainting #image2image