Forwarded from эйай ньюз
Мои друзья из Stability AI зарелизили новый метод дистилляции для SDXL.
Показывают, что из дистиллированной SD-XL (ADD-XL) теперь можно семплить за 4 шага без существенной потери в качестве.
Судя по метрикам - это новая сота. Может работать и за один шаг семплера, но тогда генерирует меньше деталей и картинка выходит чуть более замыленная.
Это гибрид GAN-а и диффузии.
Тренировка основана на классическом методе дистилляции, но с дискриминатором! Когда число шагов снижается до одного, дискриминатор сильно добрасывает, ведь он не позволяет генерить полную кашу (это было уже показано в нескольких статьях в этом году).
1. Студент и учитель инициализируется весами SD-XL. Далее между предиктами студента и учителя накладывается L2 лосс. Любопытно, что учитель делает только 1 шаг, но начинает с зашумленного предикта студента, а не из случайного шума.
2. В качестве дискриминатора берутся фичи из ViT-S, натренированного в self-supervised режиме с помощью DINOv2. Затем эти фичи подают в тренируемую голову, которая выдает "Real" или "Fake". Тут важно именно брать сильный претренированный энкодер фичей, типа DINOv2.
Картиночки выглядят хорошо, но ниже 4х шагов - уже не то пальто.
Тренировочный код не выложили, и, кажется, его ждать не стоит.
Статья
Код и веса
Демо на ClipDrop (1 шаг)
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Forwarded from Нейронавт | Нейросети в творчестве
This media is not supported in your browser
VIEW IN TELEGRAM
А вот пример от сотрудника Satbility AI как локально запустить SDXL Turbo на ComfyUI
инструкция
#text2image #realtime
инструкция
#text2image #realtime
Forwarded from Psy Eyes (Andrey Bezryadin)
Ускоряем разработку с помощью Make Real от tldraw.
Следом за релизом GPT-4V появился проект Make Real на основе доски для скетчей tldraw. Он работает как через сайт makereal.tldraw.com, так и локально. Можно даже гонять в коопе с коллегами через Yjs в P2P режиме.
Суть: делаешь набросок прототипа с текстовым описанием --> выделяешь мышкой и жмёшь в углу Make Real --> GPT-4V сгенерит в новом фрейме прототип, который по двойному нажатию становится интерактивным. В углу этого фрейма есть кнопка для копирования кода и ссылки, чтобы потестить в новом окне или поделиться с кем. Нужно внести правки? Прерисовываешь/пишешь что нужно изменить + выделяешь ранее сгенерённый фрейм = по нажатию Make Real получишь новую версию с правками. По факту можно быстро собрать MVP и легко делиться им.
Например, вот вам кликабельный iPod, а здесь доска на которой он рисовался (можно форкнуть).
Есть вариант ещё проще: на Excalidraw описать текстом, что ты хочешь получить и тебе сгенерится схема, которую можно заскриншотить --> вбросить в tldraw --> получить рабочий прототип.
Полученный код можно дропнуть ChatGPT или скажем нейронке натренированной на коде, чтобы она переписала его нужным образом если что. Однако для упрощения кто-то уже запилил плагин для VS Code: рисуешь прототип и тебе генерится код в нужном языке.
Так как код Tldraw открыт сообщество уже прицепило модель LCM для генерации в реальном времени, и это открыло интересные возможности. Эта версия называется Drawfast и доступна на drawfast.tldraw.com, а также на гитхабе. Для дополнительного ускорения генерации используется API от Fal.ai. Теперь с релизом SDXL Turbo быть может генерации будут ещё шустрее.
Можно собрать и простенькие игры, datavis приколюхи, своё пианино, генератор иконок, и не только.
Сейчас нужен ключ OpenAI для доступа к GPT-4V. Но так как проект опенсорсный, и открытых альтернатив становится всё больше, возможно скоро и без ключа запашет.
Я сам уже который день из Make Real не вылезаю и дико кайфую.
Больше примеров и деталей в посте на DTF
Следом за релизом GPT-4V появился проект Make Real на основе доски для скетчей tldraw. Он работает как через сайт makereal.tldraw.com, так и локально. Можно даже гонять в коопе с коллегами через Yjs в P2P режиме.
Суть: делаешь набросок прототипа с текстовым описанием --> выделяешь мышкой и жмёшь в углу Make Real --> GPT-4V сгенерит в новом фрейме прототип, который по двойному нажатию становится интерактивным. В углу этого фрейма есть кнопка для копирования кода и ссылки, чтобы потестить в новом окне или поделиться с кем. Нужно внести правки? Прерисовываешь/пишешь что нужно изменить + выделяешь ранее сгенерённый фрейм = по нажатию Make Real получишь новую версию с правками. По факту можно быстро собрать MVP и легко делиться им.
Например, вот вам кликабельный iPod, а здесь доска на которой он рисовался (можно форкнуть).
Есть вариант ещё проще: на Excalidraw описать текстом, что ты хочешь получить и тебе сгенерится схема, которую можно заскриншотить --> вбросить в tldraw --> получить рабочий прототип.
Полученный код можно дропнуть ChatGPT или скажем нейронке натренированной на коде, чтобы она переписала его нужным образом если что. Однако для упрощения кто-то уже запилил плагин для VS Code: рисуешь прототип и тебе генерится код в нужном языке.
Так как код Tldraw открыт сообщество уже прицепило модель LCM для генерации в реальном времени, и это открыло интересные возможности. Эта версия называется Drawfast и доступна на drawfast.tldraw.com, а также на гитхабе. Для дополнительного ускорения генерации используется API от Fal.ai. Теперь с релизом SDXL Turbo быть может генерации будут ещё шустрее.
Можно собрать и простенькие игры, datavis приколюхи, своё пианино, генератор иконок, и не только.
Сейчас нужен ключ OpenAI для доступа к GPT-4V. Но так как проект опенсорсный, и открытых альтернатив становится всё больше, возможно скоро и без ключа запашет.
Я сам уже который день из Make Real не вылезаю и дико кайфую.
Больше примеров и деталей в посте на DTF
Forwarded from Нейронавт | Нейросети в творчестве
Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation
В помощь тиктокерам любителям кринж-танцев. Ну и нам на что-нибудь сгодится. Фреймворк для анимации персонажа. На вход нужно одно изображение персонажа и анимированная поза. Обратите внимание на одежду и вообще на все. Круто же, да?
Код будет тут
#image2video #humananimation #characteranimation #pose2video
В помощь тиктокерам любителям кринж-танцев. Ну и нам на что-нибудь сгодится. Фреймворк для анимации персонажа. На вход нужно одно изображение персонажа и анимированная поза. Обратите внимание на одежду и вообще на все. Круто же, да?
Код будет тут
#image2video #humananimation #characteranimation #pose2video
🔥10👎1👻1