Forwarded from Зашкваркетинг
На полках уже начали появляться товары с нейросетевым артом
Если раньше китайцы просто неправильный текст на английском писали, то теперь просто не будут проверять за нейронкой
Если раньше китайцы просто неправильный текст на английском писали, то теперь просто не будут проверять за нейронкой
🤣28👍2🥰2
Forwarded from эйай ньюз
Мои друзья из Stability AI зарелизили новый метод дистилляции для SDXL.
Показывают, что из дистиллированной SD-XL (ADD-XL) теперь можно семплить за 4 шага без существенной потери в качестве.
Судя по метрикам - это новая сота. Может работать и за один шаг семплера, но тогда генерирует меньше деталей и картинка выходит чуть более замыленная.
Это гибрид GAN-а и диффузии.
Тренировка основана на классическом методе дистилляции, но с дискриминатором! Когда число шагов снижается до одного, дискриминатор сильно добрасывает, ведь он не позволяет генерить полную кашу (это было уже показано в нескольких статьях в этом году).
1. Студент и учитель инициализируется весами SD-XL. Далее между предиктами студента и учителя накладывается L2 лосс. Любопытно, что учитель делает только 1 шаг, но начинает с зашумленного предикта студента, а не из случайного шума.
2. В качестве дискриминатора берутся фичи из ViT-S, натренированного в self-supervised режиме с помощью DINOv2. Затем эти фичи подают в тренируемую голову, которая выдает "Real" или "Fake". Тут важно именно брать сильный претренированный энкодер фичей, типа DINOv2.
Картиночки выглядят хорошо, но ниже 4х шагов - уже не то пальто.
Тренировочный код не выложили, и, кажется, его ждать не стоит.
Статья
Код и веса
Демо на ClipDrop (1 шаг)
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Forwarded from Нейронавт | Нейросети в творчестве
This media is not supported in your browser
VIEW IN TELEGRAM
А вот пример от сотрудника Satbility AI как локально запустить SDXL Turbo на ComfyUI
инструкция
#text2image #realtime
инструкция
#text2image #realtime
Forwarded from Psy Eyes (Andrey Bezryadin)
Ускоряем разработку с помощью Make Real от tldraw.
Следом за релизом GPT-4V появился проект Make Real на основе доски для скетчей tldraw. Он работает как через сайт makereal.tldraw.com, так и локально. Можно даже гонять в коопе с коллегами через Yjs в P2P режиме.
Суть: делаешь набросок прототипа с текстовым описанием --> выделяешь мышкой и жмёшь в углу Make Real --> GPT-4V сгенерит в новом фрейме прототип, который по двойному нажатию становится интерактивным. В углу этого фрейма есть кнопка для копирования кода и ссылки, чтобы потестить в новом окне или поделиться с кем. Нужно внести правки? Прерисовываешь/пишешь что нужно изменить + выделяешь ранее сгенерённый фрейм = по нажатию Make Real получишь новую версию с правками. По факту можно быстро собрать MVP и легко делиться им.
Например, вот вам кликабельный iPod, а здесь доска на которой он рисовался (можно форкнуть).
Есть вариант ещё проще: на Excalidraw описать текстом, что ты хочешь получить и тебе сгенерится схема, которую можно заскриншотить --> вбросить в tldraw --> получить рабочий прототип.
Полученный код можно дропнуть ChatGPT или скажем нейронке натренированной на коде, чтобы она переписала его нужным образом если что. Однако для упрощения кто-то уже запилил плагин для VS Code: рисуешь прототип и тебе генерится код в нужном языке.
Так как код Tldraw открыт сообщество уже прицепило модель LCM для генерации в реальном времени, и это открыло интересные возможности. Эта версия называется Drawfast и доступна на drawfast.tldraw.com, а также на гитхабе. Для дополнительного ускорения генерации используется API от Fal.ai. Теперь с релизом SDXL Turbo быть может генерации будут ещё шустрее.
Можно собрать и простенькие игры, datavis приколюхи, своё пианино, генератор иконок, и не только.
Сейчас нужен ключ OpenAI для доступа к GPT-4V. Но так как проект опенсорсный, и открытых альтернатив становится всё больше, возможно скоро и без ключа запашет.
Я сам уже который день из Make Real не вылезаю и дико кайфую.
Больше примеров и деталей в посте на DTF
Следом за релизом GPT-4V появился проект Make Real на основе доски для скетчей tldraw. Он работает как через сайт makereal.tldraw.com, так и локально. Можно даже гонять в коопе с коллегами через Yjs в P2P режиме.
Суть: делаешь набросок прототипа с текстовым описанием --> выделяешь мышкой и жмёшь в углу Make Real --> GPT-4V сгенерит в новом фрейме прототип, который по двойному нажатию становится интерактивным. В углу этого фрейма есть кнопка для копирования кода и ссылки, чтобы потестить в новом окне или поделиться с кем. Нужно внести правки? Прерисовываешь/пишешь что нужно изменить + выделяешь ранее сгенерённый фрейм = по нажатию Make Real получишь новую версию с правками. По факту можно быстро собрать MVP и легко делиться им.
Например, вот вам кликабельный iPod, а здесь доска на которой он рисовался (можно форкнуть).
Есть вариант ещё проще: на Excalidraw описать текстом, что ты хочешь получить и тебе сгенерится схема, которую можно заскриншотить --> вбросить в tldraw --> получить рабочий прототип.
Полученный код можно дропнуть ChatGPT или скажем нейронке натренированной на коде, чтобы она переписала его нужным образом если что. Однако для упрощения кто-то уже запилил плагин для VS Code: рисуешь прототип и тебе генерится код в нужном языке.
Так как код Tldraw открыт сообщество уже прицепило модель LCM для генерации в реальном времени, и это открыло интересные возможности. Эта версия называется Drawfast и доступна на drawfast.tldraw.com, а также на гитхабе. Для дополнительного ускорения генерации используется API от Fal.ai. Теперь с релизом SDXL Turbo быть может генерации будут ещё шустрее.
Можно собрать и простенькие игры, datavis приколюхи, своё пианино, генератор иконок, и не только.
Сейчас нужен ключ OpenAI для доступа к GPT-4V. Но так как проект опенсорсный, и открытых альтернатив становится всё больше, возможно скоро и без ключа запашет.
Я сам уже который день из Make Real не вылезаю и дико кайфую.
Больше примеров и деталей в посте на DTF
Forwarded from Нейронавт | Нейросети в творчестве
Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation
В помощь тиктокерам любителям кринж-танцев. Ну и нам на что-нибудь сгодится. Фреймворк для анимации персонажа. На вход нужно одно изображение персонажа и анимированная поза. Обратите внимание на одежду и вообще на все. Круто же, да?
Код будет тут
#image2video #humananimation #characteranimation #pose2video
В помощь тиктокерам любителям кринж-танцев. Ну и нам на что-нибудь сгодится. Фреймворк для анимации персонажа. На вход нужно одно изображение персонажа и анимированная поза. Обратите внимание на одежду и вообще на все. Круто же, да?
Код будет тут
#image2video #humananimation #characteranimation #pose2video
🔥10👎1👻1