Webapp Factory

Генератор веб-приложений на NodeJS по текстовому запросу.
Под капотом языковая модель WizardCoder-15B.
Тупит, конечно. Простым запросом практически ничего невозможно добиться. Более подробным описанием удается добиться частично работающей аппки. Полагаю, очень подробным описанием можно получить рабочую аппку. Правда из демо ее никуда не сохранить.

Блог с описанием и кодом
Демо

#text2app #coding #text2code

Михаил, автор канала NeuroAE пилит отличный плагин, который позволяет лихо управлять генерацией в Stable Diffusion прямо из афтера - даже при отсутствии мощного железа! маст хэв для уверенных пользователей афтера

а уроки и гайды о том как пользоватья своим детищем Михаил постит в ютубе

скачать плагин - в канале NeuroAE
гайды и уроки на ютуб

на днях еще кое что про связку AE и стейбла будет, не отключайтесь

@тоже_моушн

В Нью-Йорке аппарат с ИИ делает предсказания. Вводите дату рождения, выбираете вопрос и делаете снимок — устройство распечатает предсказание

Позабытая рубрика #крипота

реддит

Подъехал неофициальный код гугловского StyleDrop

Код

#text2image #style2image

Segment Anything Meets Point Tracking

Сегментация видео с управляющими точками на базе SAM
Авторы скрестили SAM с классической идеей трекинга точек.

Код

#segmentation #image2mask #video2mask

MAGVIT:Masked Generative Video Transformer

генератор/редактор видео от Google. Первую публикацию я видел еще в декабре 2022, а сейчас они разродились кодом. С тех пор мы видели уже много интересного на эту тему. Может потому кодом и поделились что устарело. Тем не менее, MAGVIT умеет то чего не умеют ни Gen-2, ни Zeroscope. Список фич:

- предсказание кадров
- интерполяция кадров
- видео инпейнтинг
- видео аутпейнтинг

За счет этого может выполнять разные интересные задачи, см на сайте


Код
Колаб

#text2video #video2video

Меня как раз недавно спрашивали, можно ли через depth мапу получить сносную геометрию, чтобы использовать в играх.

Вот тут показан процесс на 6 минут пайплайна через карту глубины. Заспойлерю, можно китбашить, прототипировать что-то быстрое, но это в продакшн не годится пока.
Лицо из метахьюманов.

Смотреть пайплайн

DragonDiffusion: Enabling Drag-style Manipulation on Diffusion Models

Диффузионный конкурент DragGAN. Надеюсь, этот сможет редактировать без превращения картинки в кашу. Но пока нет ни сайта, ни кода. Есть пейпер и страничка на гитхабе.

Гитхаб
Пейпер

[UPDATE]
Код здесь

#image2image

В сеть утекли веса #SDXL 0.9. Энтузистам уже удалось запустить их в ComfyUI с pytorch 2 и без xformers. У меня к посту нечаянно прикрепился торрент файл. Не знаю откуда он взялся и как его удалить. Помните, если там будет .ckpt файл, не запускайте его. Безопасно использовать только . safetensors

Кстати, веса можно вполне официально получить отправив заявку в Stability AI.

Впрочем, можно запустить по официальной инструкции со странички на гитхабе

Код

Фотокамеры, работающие на ИИ-стимуляторах начали появляться тут и там

И вот еще одна версия «снимающая на Midjourney». У нее сразу есть пресеты! Камера фиксирует картинку, посылает команду discribe, а дальше генерирует как мы привыкли.

В отличие от прошлых известных экземпляров у этой есть большой дисплей и переключатель режима с заранее введёнными частями промта. Так можно сразу «снимать» генерировать картинку в нужном стиле.

Пока игрушка выглядит просто очаровательной, но думаю, скоро подобные приложения займут почетное место в наших телефонах, а пайплайн — в серьёзных кейсах. Потому то хорошее следование референсу и стиль часто все, что необходимо для работы. Пайплайн можно посмотреть по ссылке на Medium и попробовать сделать такую самому!

А вот и колаб #SDXL уже запилили. Для использования понадобится гугл-аккаунт и API токен Huggingface. Ничего сложного

Видеоинструкция
Колаб

[UPDATE] колаб сейчас не работает. Видимо, поп причине удаления весов с huggingface

Нас тут уже больше тысячи, и меня иногда просят порекламировать какой-нибудь канал. До сих пор я не соглашался. Но задумался, видите ли вы в подвале канала нативную рекламу Телеграм. Я-то ее, понятно, у себя не вижу и не знаю, показывает ли вам Телегерам на моем канале что-то постороннее. Прошу проголосовать