FateZero: Fusing Attentions for Zero-shot Text-based Video Editing

Редактирование видео по текстовому запросу.

Код

#text2video #video2video

Компания Anthropic основана выходцами из OpenAI. На днях Anthropic представила своего чат-бота Claude — по сути, конкурента ChatGPT. С ним можно общаться, просить решать задачи: суммаризовать текст, кодить, находить информацию и т.п.
Anthropic уже сотрудничают с Notion, Quora, Juni Learning и DuckDuckGo, внедряют свой продукт в эти сервисы. И некоторые отзывы пользователей этих сервисов выглядят так:
- “Claude кажется более разговорчивым, чем ChatGPT”
- “Я нахожу, что Claude более интерактивен и креативен в рассказывании историй”

Запись в early access Claude тут

#chat #LLM #NLP

Восхитительная новость!

Нейронки разработали вакцину от всех вариантов коронавируса сразу, её уже испытали на мышах и результаты радуют.

Вакцина MIT-T-COVID, которая содержит генетический материал наиболее консервативных частей вируса. Иммунитет от такого препарата будет сохраняться дольше и действовать даже на мутировавшие виды инфекции.

Подробные результаты исследования опубликованы здесь. Кратко — вакцина может стать самой эффективной на сегодняшний день, но нужны дополнительные исследования и тесты.

Ответочка Гуглу от китайского опен сорса: text2video.
Много ограничений - "модель не была обучена реалистичному представлению людей или событий, поэтому ее использование для создания такого контента выходит за рамки возможностей модели."

С text2video будет всегда примерно так, сделать универсальную модель сложно и позволено только Гуглу, у которого Ютюб под матрасом.

Но эксперимент интересный, большинство деталей тут:

https://modelscope.cn/models/damo/text-to-video-synthesis/summary

web demo: https://huggingface.co/spaces/hysts/modelscope-text-to-video-synthesis

huggingface model: https://huggingface.co/damo-vilab/modelscope-damo-text-to-video-synthesis/tree/main

А вот тут человек уже делает новые звёздные войны. Пачками по 20 сек на шот на А10G.
It takes less than 20 sec to create a new video! If you use it for ~30 minutes it will generate a lot of clips and cost you ~$1.5!

Данные для обучения включают LAION5B, ImageNet, Webvid и другие общедоступные наборы данных. Поэтому шаттерсток там гарцует в пол экрана.

Ну, за звёздные войны!

https://twitter.com/victormustar/status/1637461621541949441?s=20

Скоро в Automatic1111 подвезут ControlNet для лица. Типа маркеров на лице, которые будут определять позицию и "выражение" лица.
Модель уже есть, пилят препроцессор.
Пока модель отрабатывает не очень, см. картинку.
Но всё идёт к метахуманам внутри Stable Diffusion.
https://www.reddit.com/r/StableDiffusion/comments/11v3dgj/new_controlnet_model_trained_on_face_landmarks/

Text-2-Video - ответочка от RunwayML!

Gen-2: The Next Step Forward for Generative AI

Олдскульные софты обновлются раз в год. Maya 2022, Adobe CC2023.

А мы живем в ускоренной вселенной. Счет идет на недели...
Только что мы охреневали от GEN-1.

Вот держите GEN-2!

Никакого видео на входе. Только текст, только хардкор.
Mediascope рыдает..

Кипит все отчаянно, но лучше, чем все, что было до этого.
Ну и only text as input - это безумие и отвага.
https://research.runwayml.com/gen2

https://www.seedscienceai.com/artists/slideshow
Залипательный сайт с генерациями SD разбитым по художникам, в виде слайдшоу.
То что надо для вдохновения и поиска стиля.

#tools #artiststudy

Авторы выложили код и демо Video-P2P
Демо запустить не удалось, вылетает с ошибкой. Надо подождать пока починят.

Код
Демо

#text2video #video2video #videop2p