И снова Remi Molette x #warpfusion

Nightly warp, as usual
#warpfusion #stablediffusion

MinD-Vis: диффузия для чтения мыслей

Представлена диффузионная модель, которая умеет декодировать то, что видит человек по его мозговой активности (fMRI).

Сначала авторы обучили self-supervised модель для получения универсальных эмбеддингов мозговой активности (одинаковых для разных людей). Далее они взяли предобученную Latent Diffusion и добавили к ней cross-attention на эти мысленные репрезентации. После короткого файнтюна на 1.5к парах картинка-fMRI модель смогла полноценно декодировать то, что видит перед собой человек!

Данные для обучения и код выложены в открытый доступ, веса моделей дают по запросу.

Статья, GitHub, блог

Another masterpiece by @sagans

Made with #warpfusion #stablediffusion

Временами страдаете от NaN во время обучения сеточек? А все потому что вы не любите свои тензоры.

Делюсь с вами классной либой для дебага и красивого принта тензоров: Lovely Tensors 😍

Эта либка умеет даже пропатчить pytorch и подменить стандартную функцию repr у тензоров.

@ai_newz

🐣 Text-2-Image для генерации векторных изображений в формате SVG надо? VectorFusion от Berkeley

Помните, недавний подход DreamFusion от Google? Они взяли Imagen и превратили его в 3D при помощи NERF. Вчера еще Meta сделала их реплику.

По сути это такой подход в дифференцируемой графике. Ее можно ведь применять и к 2D векторной графике. Создаете первичные векторные формы (по факту цветные закорючки) любого цвета и размера в любом количестве. Рендерите в растр, и похожим методом как в случае с DreamFusion! Через бекпроб к звездам, как говорится. А градиенты берутся из Stable Diffusion! Еще бы, пока что единственный актуальны Text-2-Image опенсорс!

Так что мы с вами увидим много крутых подходов в ближайшее время, благодаря тому, что кто-то все таки опенсорсит image -генеративные модели!

📄 paper
🐣 project
💐 gallery

🧸 м и ш и н л е р н и н г

🚀 Долгожданный релиз — STABLE DIFFUSION 2

Что будет, если за создание опенсорс решения берутся профессионалы? А что если таких команд много? Представьте:

— LAION собирают 5,000,000,000 пар картинка-текст
— DeepFloyd берут LAION-5B и готовят чистый и роскошный сабсет для трейна
— Rom из LAION делает CLIP-ViT/H
— Robin Rombach из CompVis и StabilityAI собирает роскошный Text2Image — STABLE DIFFUSION 2

Но это еще не все! Встречайте целый зоопарк моделей:

👾 Stable Diffusion 2 base — 512x512
🚀 Stable Diffusion 2 — 768x768
✨ Stable Upscaler 4x
🎨 Stable Diffusion 2 Inpainting
👁 Stable Depth

☠️ Короче, можно смело выбрасывать на помойку всякий шлак) Пришла эпоха STABLE DIFFUSION 2! Генерируй в 768х768, Апскейль до 3072х3072! Делай 3D, Редактируй Инпеинтингом!

p.s.: Я просто боюсь представить, что там может быть дальше! Stability 🫦 ты секс!

@mishin learning

Сделали танцевальное видео с помощью #warpfusion 🫀🦾

producer @kuznetsova.uv
dancer @natalia_mafia
aiartist @lerarussia
aiproducer @natahazbs
video @antik20023
warpfusion @derplearning

Смотрите как годно работает предсказание следующего кадра видео в Stable Diffusion

Автор

ChatGPT — чатбот от OpenAI

В основе лежит GPT-3, затюненная аналогичным instructGPT способом.

Сначала авторы разметили синтетические данные для обучения ранжировщика ответов, а затем использовали его как reward модель для RL алгоритма PPO.

Поболтать с ChatGPT можно уже сейчас на их сайте, она даже понимает русский язык (см картинку). Надеюсь, скоро будет больше подробностей, а сама модель будет доступна хотя бы через API.

блог, demo

ребята с Алисы напряглись?

Stability AI снова тизерит.
Обещают дичайшее ускорение диффузии с помощью дистилляции.
Ваши генерации будут еще более лучше сходиться, теперь за 1-4 шага!

сорс
пейпер

@derplearning

Подписчик заварпил вязаного кота
#stablediffusion #warpfusion