А вот и колаб #SDXL уже запилили. Для использования понадобится гугл-аккаунт и API токен Huggingface. Ничего сложного

Видеоинструкция
Колаб

[UPDATE] колаб сейчас не работает. Видимо, поп причине удаления весов с huggingface

Нас тут уже больше тысячи, и меня иногда просят порекламировать какой-нибудь канал. До сих пор я не соглашался. Но задумался, видите ли вы в подвале канала нативную рекламу Телеграм. Я-то ее, понятно, у себя не вижу и не знаю, показывает ли вам Телегерам на моем канале что-то постороннее. Прошу проголосовать

ИИ делает из вашего унылых кифреймов или мокапа гениальную стильную анимацию.
Ибо научен.
Сашок Шаталов, который знает толк в анимации запилил вот такой проект.
Работает прямо в браузере!
https://youtu.be/51Ahigs_Ub4
Можно срочно записаться в бету.
https://theaimator.com/

Лайфхак
Вчерашний колаб в первозданном виде уже не работает, поскольку он подгружал веса с huggingface, но их оттуда уже удалили.

Если хочется запустить #SDXL самостоятельно, идём на YouTube, пишем в поиске SDXL и сразу же видим инструкцию по запуску. Если первая не подойдёт, ищем следующую

Вот первая

https://youtu.be/146jUZLj6yw

🤯 VEED AI Avatars — нереально реалистичные видео аватары

Фотореалистичные аватары, которые «оживляет» нейросеть: можно вводить любой текст — и они будут его предельно реалистично наговаривать. На выбор аж 50 цифровых моделей (лиц), работает с 75 языками.

Для разовых проектов длительностью менее 10 минут — полностью бесплатно. Если хотите без ограничений с широким функционалом редактора видеороликов — подписка от €13 в месяц.

Новый игрок на рынке text-2-video — Pika Labs. Становится жарко! Запросить доступ в бету можно написав им в личку или подав заявку на сайте.

Промты:

1. A marathon runner is running in a marathon competition

2. A Wasteland Punk style digital computer game character is fully armed and walking in a ruined city

3. Ice-skating in Bryant Park at 9 pm, warm ambient light in the background, heartwarming city scene, 8K

4. Korean hot tofu soup

5. Korean BBQ

6. A little boy is looking friendly at the camera, front view, outside

7. Beautiful forest in the morning, camera panning

8. Forest, morning, sunlight casting in between the trees, foggy, creepy

Emad: А если все — суперы программисты, то никто не программист.

О том что программистов, по его мнению, через 5 лет не будет

твиттер

https://youtu.be/9i0MVSwIivE

Split Audio Tracks to MusicGen

Смотрите какой демоспейс.
Загружаете в него музыкальный трек, он распиливает его на инструменты как Vocalremover или Fadr.
Сразу выбираете какой трек хотите использовать и жмете Load your chosen track. Теперь можно отдельную вырезанную из песни партию использовать как затравку для MusicGen.

Пишем промт, черрипикаем, черрипикаем, черрипикаем. Понравившееся можно перемиксовать с оригиналом в любимой DAW или видеоредакторе. Вуаля, вы кавермейкер.

Важно: Чтобы получить правильный темп и тональность, надо прописать их в промте. В моем примере было "113 BPM, G#m key" И после этого вероятно, придется темп еще немного скорректировать при сборке.

Чуть не забыл. Это демка, и максимально можно сгенерить 30 секунд за раз.

#aicover #music2music #audio2audio #Nuronaut_art

#обзор

Инструкция по скачиванию, установке и рисованию на SDXL 0.9 на вашей локальной машине. Заодно познакомимся с ComfyUI.

По просьбе читателей добавил в пост мысли о том, почему у SDXL нет будущего.

Читать на DTF | Пикабу

Скачать файл с пайплайном для ComfyUI для рисования на SDXL.
____
Stable Diffusion: инструменты, расширения, модели, токены

Пика-пика, Котаны!

Получил доступ к Pika Labs. Первый и последний фрагмент мои, остальные с дискорда. Музыка сгенерирована в MusicGen.

Если сравнивать с Runway, то Pika визуально не уступает им ни в чём, при этом зачастую картинка консистентней и художественней. Также есть негативный промт хоть для какого-то контроля, и нет "фризов" динамичных фрагментов. Ещё Можно скрыть промт.

Какие параметры у промтов:
-gs xx (guidance scale, чем выше чифра, тем ближе визуал к промту)
-neg "xxx" (негативный промт, задаём чего не должно быть в кадре)
-hide (скрыть промт)
-ar xx:xx (соотношение сторон, 16:9, 9:16, 1:1, 4:5)

Ну и пока что можно генерить по многу промтов за раз без лимита. 100% это не навсегда, так что дерзайте. Через личку в твиттере Pika Labs получить доступ можно быстрее.

Промты:

1) Сat sitting and watching at the cyberpunk city with flying cars at night from the roof, view from the back, 8k, very high details, -neg "bad paws, bad anatomy"

2) hidden

3) a crab in the sand

4) hidden

5) Ultra cool groovy Dog surfing on a surfboard over blue surf waves, GoPro, cinematic, unreal render, photorealistic, perfect form, high definition, intricate details, 8k

6) hidden

7) Noah Bradley animation of a royal feast

8) demonic entity in their spaceship 4k uhd, rotating gimble shot, hyper detailed -neg low resolution, amateur, glitchy, unstable, fragmented, blurry, pixelated, ridley Scott

9) vintage 8mm footage of of aliens and egyptian pharaohs building the pyramids of giza, ancient egypt

10) Thomas Moran animation of a woman walking in a street

11) Pierre-Auguste Renoir animation of a woman walking through a flower field

12) hidden

13) Сat sitting and watching at the cyberpunk city with flying cars at night from the roof, view from the back, 8k, very high details, -neg "fence, bad paws, bad anatomy"

Ну че, го сами сделаем 4 сезон Love, Death + Robots?

Появился демоспейс гугловского StyleDrop

Демо

#text2image #style2image

Очень удобно. Суммаризатор 300 от Яндекса теперь интегрирован в Яндекс браузер. Заходишь на страницу статьи, и сразу тебе предлагают краткий пересказ.

#LLM #chatbot #summary

Если бы Кока-Кола и впрямь использовала ИИ.
Сделано в PikaLabs

"Can you paint a taste?" (твиттер)

roop-cam

Лайв-версия быстрого дипфейка Roop

Код

#deepfake #video2video #facialanamation #facereplacement

Появился демоспейс ControlVideo

Код
Демо

#text2video

Обновление DeepFaceLive

Добавлена возможность менять лицо, используя всего лишь одно фото (пример на прикрепленном видео).

Никто обнову уже не ждал (репозиторий улетел в архив и обновлять его не планировалось), но так как на днях энтузиаст поделился своим методом запуска roop в реалтайме, было решено добавить его и в DFLive.

Если меняете лицо на видео, то советую использовать дополнительно эту сборку для улучшения деталей лица https://drive.google.com/file/d/1YJJVnPGq90e_mWZxSGGTptNQilZNfOEO/view?usp=drivesdk

Скачать свежую версию DFLive можно тут https://mega.nz/folder/m10iELBK#Y0H6BflF9C4k_clYofC7yA

Ну, за аниматоров. В восьмой раз.
Пока Юнити хайпует на ИИ, Эпик подозрительно отмалчивается.
Измотанные ожиданием пользователи берут код в свои руки и пишут плагины для UE.
Вот тут VFX Kitchen взял бумагу "Generating Diverse and Natural 3D Human Motions from Text" и модель SMPL от института Макса Планка и наваял плагин типа "text-to-animation".
Программеры не очень дружат с UI, поэтому три четверти демо происходит в левому углу видео, а мелкий текст промптов нужно расшифровывать отдельной нейросеткой или большим монитором. Но если вы дождались 1:29, то автор наконец жмет кнопку Сделать Красиво Vizualize Result и аниматоры, рыдая, идут учить промпт инжиниринг.
https://www.youtube.com/watch?v=oz-SgMJvRro