Позабытая рубрика #крипота

реддит

Подъехал неофициальный код гугловского StyleDrop

Код

#text2image #style2image

Segment Anything Meets Point Tracking

Сегментация видео с управляющими точками на базе SAM
Авторы скрестили SAM с классической идеей трекинга точек.

Код

#segmentation #image2mask #video2mask

MAGVIT:Masked Generative Video Transformer

генератор/редактор видео от Google. Первую публикацию я видел еще в декабре 2022, а сейчас они разродились кодом. С тех пор мы видели уже много интересного на эту тему. Может потому кодом и поделились что устарело. Тем не менее, MAGVIT умеет то чего не умеют ни Gen-2, ни Zeroscope. Список фич:

- предсказание кадров
- интерполяция кадров
- видео инпейнтинг
- видео аутпейнтинг

За счет этого может выполнять разные интересные задачи, см на сайте


Код
Колаб

#text2video #video2video

Меня как раз недавно спрашивали, можно ли через depth мапу получить сносную геометрию, чтобы использовать в играх.

Вот тут показан процесс на 6 минут пайплайна через карту глубины. Заспойлерю, можно китбашить, прототипировать что-то быстрое, но это в продакшн не годится пока.
Лицо из метахьюманов.

Смотреть пайплайн

DragonDiffusion: Enabling Drag-style Manipulation on Diffusion Models

Диффузионный конкурент DragGAN. Надеюсь, этот сможет редактировать без превращения картинки в кашу. Но пока нет ни сайта, ни кода. Есть пейпер и страничка на гитхабе.

Гитхаб
Пейпер

[UPDATE]
Код здесь

#image2image

В сеть утекли веса #SDXL 0.9. Энтузистам уже удалось запустить их в ComfyUI с pytorch 2 и без xformers. У меня к посту нечаянно прикрепился торрент файл. Не знаю откуда он взялся и как его удалить. Помните, если там будет .ckpt файл, не запускайте его. Безопасно использовать только . safetensors

Кстати, веса можно вполне официально получить отправив заявку в Stability AI.

Впрочем, можно запустить по официальной инструкции со странички на гитхабе

Код

Фотокамеры, работающие на ИИ-стимуляторах начали появляться тут и там

И вот еще одна версия «снимающая на Midjourney». У нее сразу есть пресеты! Камера фиксирует картинку, посылает команду discribe, а дальше генерирует как мы привыкли.

В отличие от прошлых известных экземпляров у этой есть большой дисплей и переключатель режима с заранее введёнными частями промта. Так можно сразу «снимать» генерировать картинку в нужном стиле.

Пока игрушка выглядит просто очаровательной, но думаю, скоро подобные приложения займут почетное место в наших телефонах, а пайплайн — в серьёзных кейсах. Потому то хорошее следование референсу и стиль часто все, что необходимо для работы. Пайплайн можно посмотреть по ссылке на Medium и попробовать сделать такую самому!

А вот и колаб #SDXL уже запилили. Для использования понадобится гугл-аккаунт и API токен Huggingface. Ничего сложного

Видеоинструкция
Колаб

[UPDATE] колаб сейчас не работает. Видимо, поп причине удаления весов с huggingface

Нас тут уже больше тысячи, и меня иногда просят порекламировать какой-нибудь канал. До сих пор я не соглашался. Но задумался, видите ли вы в подвале канала нативную рекламу Телеграм. Я-то ее, понятно, у себя не вижу и не знаю, показывает ли вам Телегерам на моем канале что-то постороннее. Прошу проголосовать

ИИ делает из вашего унылых кифреймов или мокапа гениальную стильную анимацию.
Ибо научен.
Сашок Шаталов, который знает толк в анимации запилил вот такой проект.
Работает прямо в браузере!
https://youtu.be/51Ahigs_Ub4
Можно срочно записаться в бету.
https://theaimator.com/

Лайфхак
Вчерашний колаб в первозданном виде уже не работает, поскольку он подгружал веса с huggingface, но их оттуда уже удалили.

Если хочется запустить #SDXL самостоятельно, идём на YouTube, пишем в поиске SDXL и сразу же видим инструкцию по запуску. Если первая не подойдёт, ищем следующую

Вот первая

https://youtu.be/146jUZLj6yw

🤯 VEED AI Avatars — нереально реалистичные видео аватары

Фотореалистичные аватары, которые «оживляет» нейросеть: можно вводить любой текст — и они будут его предельно реалистично наговаривать. На выбор аж 50 цифровых моделей (лиц), работает с 75 языками.

Для разовых проектов длительностью менее 10 минут — полностью бесплатно. Если хотите без ограничений с широким функционалом редактора видеороликов — подписка от €13 в месяц.

Новый игрок на рынке text-2-video — Pika Labs. Становится жарко! Запросить доступ в бету можно написав им в личку или подав заявку на сайте.

Промты:

1. A marathon runner is running in a marathon competition

2. A Wasteland Punk style digital computer game character is fully armed and walking in a ruined city

3. Ice-skating in Bryant Park at 9 pm, warm ambient light in the background, heartwarming city scene, 8K

4. Korean hot tofu soup

5. Korean BBQ

6. A little boy is looking friendly at the camera, front view, outside

7. Beautiful forest in the morning, camera panning

8. Forest, morning, sunlight casting in between the trees, foggy, creepy

Emad: А если все — суперы программисты, то никто не программист.

О том что программистов, по его мнению, через 5 лет не будет

твиттер