Подъехал неофициальный код гугловского StyleDrop

Код

#text2image #style2image

Segment Anything Meets Point Tracking

Сегментация видео с управляющими точками на базе SAM
Авторы скрестили SAM с классической идеей трекинга точек.

Код

#segmentation #image2mask #video2mask

MAGVIT:Masked Generative Video Transformer

генератор/редактор видео от Google. Первую публикацию я видел еще в декабре 2022, а сейчас они разродились кодом. С тех пор мы видели уже много интересного на эту тему. Может потому кодом и поделились что устарело. Тем не менее, MAGVIT умеет то чего не умеют ни Gen-2, ни Zeroscope. Список фич:

- предсказание кадров
- интерполяция кадров
- видео инпейнтинг
- видео аутпейнтинг

За счет этого может выполнять разные интересные задачи, см на сайте


Код
Колаб

#text2video #video2video

Меня как раз недавно спрашивали, можно ли через depth мапу получить сносную геометрию, чтобы использовать в играх.

Вот тут показан процесс на 6 минут пайплайна через карту глубины. Заспойлерю, можно китбашить, прототипировать что-то быстрое, но это в продакшн не годится пока.
Лицо из метахьюманов.

Смотреть пайплайн

DragonDiffusion: Enabling Drag-style Manipulation on Diffusion Models

Диффузионный конкурент DragGAN. Надеюсь, этот сможет редактировать без превращения картинки в кашу. Но пока нет ни сайта, ни кода. Есть пейпер и страничка на гитхабе.

Гитхаб
Пейпер

[UPDATE]
Код здесь

#image2image

В сеть утекли веса #SDXL 0.9. Энтузистам уже удалось запустить их в ComfyUI с pytorch 2 и без xformers. У меня к посту нечаянно прикрепился торрент файл. Не знаю откуда он взялся и как его удалить. Помните, если там будет .ckpt файл, не запускайте его. Безопасно использовать только . safetensors

Кстати, веса можно вполне официально получить отправив заявку в Stability AI.

Впрочем, можно запустить по официальной инструкции со странички на гитхабе

Код

Фотокамеры, работающие на ИИ-стимуляторах начали появляться тут и там

И вот еще одна версия «снимающая на Midjourney». У нее сразу есть пресеты! Камера фиксирует картинку, посылает команду discribe, а дальше генерирует как мы привыкли.

В отличие от прошлых известных экземпляров у этой есть большой дисплей и переключатель режима с заранее введёнными частями промта. Так можно сразу «снимать» генерировать картинку в нужном стиле.

Пока игрушка выглядит просто очаровательной, но думаю, скоро подобные приложения займут почетное место в наших телефонах, а пайплайн — в серьёзных кейсах. Потому то хорошее следование референсу и стиль часто все, что необходимо для работы. Пайплайн можно посмотреть по ссылке на Medium и попробовать сделать такую самому!

А вот и колаб #SDXL уже запилили. Для использования понадобится гугл-аккаунт и API токен Huggingface. Ничего сложного

Видеоинструкция
Колаб

[UPDATE] колаб сейчас не работает. Видимо, поп причине удаления весов с huggingface

Нас тут уже больше тысячи, и меня иногда просят порекламировать какой-нибудь канал. До сих пор я не соглашался. Но задумался, видите ли вы в подвале канала нативную рекламу Телеграм. Я-то ее, понятно, у себя не вижу и не знаю, показывает ли вам Телегерам на моем канале что-то постороннее. Прошу проголосовать

ИИ делает из вашего унылых кифреймов или мокапа гениальную стильную анимацию.
Ибо научен.
Сашок Шаталов, который знает толк в анимации запилил вот такой проект.
Работает прямо в браузере!
https://youtu.be/51Ahigs_Ub4
Можно срочно записаться в бету.
https://theaimator.com/

Лайфхак
Вчерашний колаб в первозданном виде уже не работает, поскольку он подгружал веса с huggingface, но их оттуда уже удалили.

Если хочется запустить #SDXL самостоятельно, идём на YouTube, пишем в поиске SDXL и сразу же видим инструкцию по запуску. Если первая не подойдёт, ищем следующую

Вот первая

https://youtu.be/146jUZLj6yw

🤯 VEED AI Avatars — нереально реалистичные видео аватары

Фотореалистичные аватары, которые «оживляет» нейросеть: можно вводить любой текст — и они будут его предельно реалистично наговаривать. На выбор аж 50 цифровых моделей (лиц), работает с 75 языками.

Для разовых проектов длительностью менее 10 минут — полностью бесплатно. Если хотите без ограничений с широким функционалом редактора видеороликов — подписка от €13 в месяц.

Новый игрок на рынке text-2-video — Pika Labs. Становится жарко! Запросить доступ в бету можно написав им в личку или подав заявку на сайте.

Промты:

1. A marathon runner is running in a marathon competition

2. A Wasteland Punk style digital computer game character is fully armed and walking in a ruined city

3. Ice-skating in Bryant Park at 9 pm, warm ambient light in the background, heartwarming city scene, 8K

4. Korean hot tofu soup

5. Korean BBQ

6. A little boy is looking friendly at the camera, front view, outside

7. Beautiful forest in the morning, camera panning

8. Forest, morning, sunlight casting in between the trees, foggy, creepy

Emad: А если все — суперы программисты, то никто не программист.

О том что программистов, по его мнению, через 5 лет не будет

твиттер

https://youtu.be/9i0MVSwIivE

Split Audio Tracks to MusicGen

Смотрите какой демоспейс.
Загружаете в него музыкальный трек, он распиливает его на инструменты как Vocalremover или Fadr.
Сразу выбираете какой трек хотите использовать и жмете Load your chosen track. Теперь можно отдельную вырезанную из песни партию использовать как затравку для MusicGen.

Пишем промт, черрипикаем, черрипикаем, черрипикаем. Понравившееся можно перемиксовать с оригиналом в любимой DAW или видеоредакторе. Вуаля, вы кавермейкер.

Важно: Чтобы получить правильный темп и тональность, надо прописать их в промте. В моем примере было "113 BPM, G#m key" И после этого вероятно, придется темп еще немного скорректировать при сборке.

Чуть не забыл. Это демка, и максимально можно сгенерить 30 секунд за раз.

#aicover #music2music #audio2audio #Nuronaut_art

#обзор

Инструкция по скачиванию, установке и рисованию на SDXL 0.9 на вашей локальной машине. Заодно познакомимся с ComfyUI.

По просьбе читателей добавил в пост мысли о том, почему у SDXL нет будущего.

Читать на DTF | Пикабу

Скачать файл с пайплайном для ComfyUI для рисования на SDXL.
____
Stable Diffusion: инструменты, расширения, модели, токены

Пика-пика, Котаны!

Получил доступ к Pika Labs. Первый и последний фрагмент мои, остальные с дискорда. Музыка сгенерирована в MusicGen.

Если сравнивать с Runway, то Pika визуально не уступает им ни в чём, при этом зачастую картинка консистентней и художественней. Также есть негативный промт хоть для какого-то контроля, и нет "фризов" динамичных фрагментов. Ещё Можно скрыть промт.

Какие параметры у промтов:
-gs xx (guidance scale, чем выше чифра, тем ближе визуал к промту)
-neg "xxx" (негативный промт, задаём чего не должно быть в кадре)
-hide (скрыть промт)
-ar xx:xx (соотношение сторон, 16:9, 9:16, 1:1, 4:5)

Ну и пока что можно генерить по многу промтов за раз без лимита. 100% это не навсегда, так что дерзайте. Через личку в твиттере Pika Labs получить доступ можно быстрее.

Промты:

1) Сat sitting and watching at the cyberpunk city with flying cars at night from the roof, view from the back, 8k, very high details, -neg "bad paws, bad anatomy"

2) hidden

3) a crab in the sand

4) hidden

5) Ultra cool groovy Dog surfing on a surfboard over blue surf waves, GoPro, cinematic, unreal render, photorealistic, perfect form, high definition, intricate details, 8k

6) hidden

7) Noah Bradley animation of a royal feast

8) demonic entity in their spaceship 4k uhd, rotating gimble shot, hyper detailed -neg low resolution, amateur, glitchy, unstable, fragmented, blurry, pixelated, ridley Scott

9) vintage 8mm footage of of aliens and egyptian pharaohs building the pyramids of giza, ancient egypt

10) Thomas Moran animation of a woman walking in a street

11) Pierre-Auguste Renoir animation of a woman walking through a flower field

12) hidden

13) Сat sitting and watching at the cyberpunk city with flying cars at night from the roof, view from the back, 8k, very high details, -neg "fence, bad paws, bad anatomy"

Ну че, го сами сделаем 4 сезон Love, Death + Robots?