Forwarded from эйай ньюз
🔥Stable Diffusion SDXL 0.9
А вот и официальное подтверждение релиза новой модели, но пока без ссылки на код.
Модель SDXL 0.9 имеет 3.5 B параметров в базовой версии. И будет ещё ансамбль из двух моделей, суммарно на 6.6 B параметров.
Для текстового гайданса вместо одной CLIP модели используется конкатенация из двух: базовый клип от OpenAI)и OpenCLIP ViT-G/14. Это позволяет генерировать более точные детали на картинках.
На парных картинках — сравнение результатов SDXL beta и новой версии SDXL 0.9. Качество сильно возросло
Во время инференса нужна будет видеокарта с 16 GB VRAM.
Ждём блог пост со всеми деталями и сам код (который по идее должен появиться сегодня).
https://stability.ai/blog/sdxl-09-stable-diffusion
@ai_newz
А вот и официальное подтверждение релиза новой модели, но пока без ссылки на код.
Модель SDXL 0.9 имеет 3.5 B параметров в базовой версии. И будет ещё ансамбль из двух моделей, суммарно на 6.6 B параметров.
Для текстового гайданса вместо одной CLIP модели используется конкатенация из двух: базовый клип от OpenAI)и OpenCLIP ViT-G/14. Это позволяет генерировать более точные детали на картинках.
На парных картинках — сравнение результатов SDXL beta и новой версии SDXL 0.9. Качество сильно возросло
Во время инференса нужна будет видеокарта с 16 GB VRAM.
Ждём блог пост со всеми деталями и сам код (который по идее должен появиться сегодня).
https://stability.ai/blog/sdxl-09-stable-diffusion
@ai_newz
😁2❤1
Media is too big
VIEW IN TELEGRAM
AudioPaLM
A Large Language Model That Can Speak and Listen
Google представил модель понимания и генерации речи, способную переводить речь на разные языки. В основе архитектуры текстовая модель PALM-2 и речевая AudioLM
При переводе AudioPaLM сохраняет индивидуальные характеристики и интонации оригинального голоса.
На сайте множество примеров.
Кода нет
#audio2audio #speech2speech
A Large Language Model That Can Speak and Listen
Google представил модель понимания и генерации речи, способную переводить речь на разные языки. В основе архитектуры текстовая модель PALM-2 и речевая AudioLM
При переводе AudioPaLM сохраняет индивидуальные характеристики и интонации оригинального голоса.
На сайте множество примеров.
Кода нет
#audio2audio #speech2speech
This media is not supported in your browser
VIEW IN TELEGRAM
Midjourney обновили до версии V5.2. Среди прочих нововведений функция Zoom Out - аналог Generative Fill.
Держат нос по ветру, молодцы
#zoomout #outpainting
Держат нос по ветру, молодцы
#zoomout #outpainting
🔥4❤1
Если вы не хотели загружать версию Opera One для разработчиков и ждали пользовательскую, то вот она.
В браузер интергрированы три ИИ ассистента: ChatGPT, Chatsonic и, конечно, своя разработка - Aria. Для ChatGPT потребуется логин/пароль/VPN
скачать Opera One
#chatbot
В браузер интергрированы три ИИ ассистента: ChatGPT, Chatsonic и, конечно, своя разработка - Aria. Для ChatGPT потребуется логин/пароль/VPN
скачать Opera One
#chatbot
👍4
HyperReel: High-Fidelity 6-DoF Video with Ray-Conditioned Sampling
Мы много видели способов получить реконструкцию изображения с нового ракурса. Но то все было про статичные изображения, в редких случаях NeRF. HyperReel покажет вам изменение ракурса на видео. Я не понял, сколько исходных ракурсов видео надо ему скормить. Выглядит как магия.
Прекрасно, что можно попытаться поиграть с ним, ибо есть
Код
#novelview #video2video #rendering
Мы много видели способов получить реконструкцию изображения с нового ракурса. Но то все было про статичные изображения, в редких случаях NeRF. HyperReel покажет вам изменение ракурса на видео. Я не понял, сколько исходных ракурсов видео надо ему скормить. Выглядит как магия.
Прекрасно, что можно попытаться поиграть с ним, ибо есть
Код
#novelview #video2video #rendering
👍4❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Neuralangelo интегрировали в SDFStudio
Да, его можно установить (с гитхаба) и пользоваться. В деле замешан Nerfstuduio, и можно пользоваться его вьюером.
Код
#nerf #rendering
Да, его можно установить (с гитхаба) и пользоваться. В деле замешан Nerfstuduio, и можно пользоваться его вьюером.
Код
#nerf #rendering
🔥3
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
🔥А вот и код SDXL 0.9 подоспел!
В репозитории есть код базовой модели и код рефайнера. Рефайнер — это модель, которая тренировалась на очень качественных картинках и низких уровнях шума. Она предназначена для улучшения выхода базовой модели.
Доступ к весам для исследовательских целей можно запросить по ссылкам [1, 2] в репе. Через пару дней, думаю, они утекут в интернет, если ещё нет.
Кроме того, весь код LDM отрефакторили и причесали (раньше это был просто кошмарный код). Теперь используется Pytorch Lightning. Из этой репы можно также запускать модели SD 2.1.
Короче, кайф!
@ai_newz
В репозитории есть код базовой модели и код рефайнера. Рефайнер — это модель, которая тренировалась на очень качественных картинках и низких уровнях шума. Она предназначена для улучшения выхода базовой модели.
Доступ к весам для исследовательских целей можно запросить по ссылкам [1, 2] в репе. Через пару дней, думаю, они утекут в интернет, если ещё нет.
Кроме того, весь код LDM отрефакторили и причесали (раньше это был просто кошмарный код). Теперь используется Pytorch Lightning. Из этой репы можно также запускать модели SD 2.1.
Короче, кайф!
@ai_newz
👍2
Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation
Свежая разработка от NVIDIA на поле редактирования изображений текстовыми подсказками. Выглядит интересно
Код
Демо на HF
Демо на Replicate
#image2image #text2image
Свежая разработка от NVIDIA на поле редактирования изображений текстовыми подсказками. Выглядит интересно
Код
Демо на HF
Демо на Replicate
#image2image #text2image
Forwarded from twin3D
This media is not supported in your browser
VIEW IN TELEGRAM
Симуляция физики 3D-одежды станет ещё естественнее
Про аватаров достаточно часто слышим. А что насчёт оцифровки одежды?
На конференции CVPR’23 представили метод обучения нейросетей HOOD для воспроизведения физики одежды в 3D. По заверению разработчиков, они добились следующих преимуществ:
• Физика материалов теперь не привязывается жёстко к 3D-аватару. Благодаря этому 3D-ткани могут двигаться более свободно, что выгодно при моделировании, например, платьев или свободной одежды.
• Метод позволяет динамично подстраивать симуляцию материалов под изменение топологии (то есть модель не сломается, если у неё расстегнуть пуговицы или молнию).
• Нейросеть не нужно обучать под конкретный вид одежды (чем часто ограничиваются возможности таких нейросетей): метод позволяет симулировать поведение разных материалов без переобучения.
Что ж, если всё так, как рассказывают разработчики, ждём крутых обновлений для CLO3D или в прочих подобных программах.
Новости 3D, аватаров и метавселенных — подписаться!
Про аватаров достаточно часто слышим. А что насчёт оцифровки одежды?
На конференции CVPR’23 представили метод обучения нейросетей HOOD для воспроизведения физики одежды в 3D. По заверению разработчиков, они добились следующих преимуществ:
• Физика материалов теперь не привязывается жёстко к 3D-аватару. Благодаря этому 3D-ткани могут двигаться более свободно, что выгодно при моделировании, например, платьев или свободной одежды.
• Метод позволяет динамично подстраивать симуляцию материалов под изменение топологии (то есть модель не сломается, если у неё расстегнуть пуговицы или молнию).
• Нейросеть не нужно обучать под конкретный вид одежды (чем часто ограничиваются возможности таких нейросетей): метод позволяет симулировать поведение разных материалов без переобучения.
Что ж, если всё так, как рассказывают разработчики, ждём крутых обновлений для CLO3D или в прочих подобных программах.
Новости 3D, аватаров и метавселенных — подписаться!
This media is not supported in your browser
VIEW IN TELEGRAM
PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360°
Ах, какое полезное изобретение! Генератор полной 3D модели головы по одному фото. В основе модели - 3D GAN. На видео примеры результатов одного реддитора
Код
Колаб
#GAN #3DGAN #imageto3D #image2head
Ах, какое полезное изобретение! Генератор полной 3D модели головы по одному фото. В основе модели - 3D GAN. На видео примеры результатов одного реддитора
Код
Колаб
#GAN #3DGAN #imageto3D #image2head
🔥5
Forwarded from Нейрокузня | DreamForge
Пока SDXL еще не полностью вышла в открытый доступ, продолжаем выжимать всё возможное из нынешних моделей.
Почти месяц назад я разработал в рамках своей дипломной работы скрипт для Stable Diffusion WebUI, призванный помочь и новичкам, только осваивающим интерфейс, и бывалым энтузиастам в создании качественных изображений с минимальными усилиями. И наконец я готов этот скрипт, пусть и все еще на стадии поздней беты, выложить в открытый доступ.
AutoChar осуществляет автоматический инпеинт обнаруженных лиц и глаз на них, налаживает двухэтапный апскейл изображения, а так же чистит изначальную генерацию от шума.
Всё, впрочем, детально регулируется или выключается по мере надобности, при этом все настройки скрыты за шторкой, у новичков глаза разбегаться не будут. Базовые настройки достаточно универсальны, но в случае чего их всегда можно адаптировать под задачу.
Десятки лишних кликов и ручное рисований масок лиц мышкой теперь в прошлом, иллюстрация получается значительно лучше с одной кнопки. По сути, я автоматизировал свой собственный алгоритм работы и не надо верить мне на слово, сами попробуйте и оцените, насколько много времени и сил AutoChar экономит.
Пока реализованы не все задуманные мной и предложенные первыми тестерами функции, но всё впереди! Забрасывать разработку не намерен, т.к. каждый день использую скрипт сам в своей работе и сам заинтересован в его улучшении. Буду рад всем предложениям, пожеланиям и сообщениям об ошибках.
https://github.com/alexv0iceh/AutoChar
https://www.reddit.com/r/StableDiffusion/comments/14h5qa3/autochar_new_automatic1111_webui_noscript_for/
https://civitai.com/models/95923?modelVersionId=102438
Почти месяц назад я разработал в рамках своей дипломной работы скрипт для Stable Diffusion WebUI, призванный помочь и новичкам, только осваивающим интерфейс, и бывалым энтузиастам в создании качественных изображений с минимальными усилиями. И наконец я готов этот скрипт, пусть и все еще на стадии поздней беты, выложить в открытый доступ.
AutoChar осуществляет автоматический инпеинт обнаруженных лиц и глаз на них, налаживает двухэтапный апскейл изображения, а так же чистит изначальную генерацию от шума.
Всё, впрочем, детально регулируется или выключается по мере надобности, при этом все настройки скрыты за шторкой, у новичков глаза разбегаться не будут. Базовые настройки достаточно универсальны, но в случае чего их всегда можно адаптировать под задачу.
Десятки лишних кликов и ручное рисований масок лиц мышкой теперь в прошлом, иллюстрация получается значительно лучше с одной кнопки. По сути, я автоматизировал свой собственный алгоритм работы и не надо верить мне на слово, сами попробуйте и оцените, насколько много времени и сил AutoChar экономит.
Пока реализованы не все задуманные мной и предложенные первыми тестерами функции, но всё впереди! Забрасывать разработку не намерен, т.к. каждый день использую скрипт сам в своей работе и сам заинтересован в его улучшении. Буду рад всем предложениям, пожеланиям и сообщениям об ошибках.
https://github.com/alexv0iceh/AutoChar
https://www.reddit.com/r/StableDiffusion/comments/14h5qa3/autochar_new_automatic1111_webui_noscript_for/
https://civitai.com/models/95923?modelVersionId=102438
🔥10❤2👍2
Forwarded from CGIT_Vines (Marvin Heemeyer)
This media is not supported in your browser
VIEW IN TELEGRAM
Тут вылез прекрасный конкурент Gen2, с сумасшедшей демкой!
Красавец называется Zeroscope 2.0XL, может text2video в разрешении 1024х576.
Сама демка просто сок!
Чекнуть тут
Красавец называется Zeroscope 2.0XL, может text2video в разрешении 1024х576.
Сама демка просто сок!
Чекнуть тут
🔥7🤯4
А вот подвезли официальный код DragGAN. Интересно насколько его работа отличается от неофициальной имплементации. В основе StyleGAN3 и StyleGAN-Human.
Код
#image2image
Код
#image2image
Telegram
Нейронавт | Нейросети в творчестве
Очень не очевидный подход к управлению результатами генераций через контроль опорных точек.
С помощью DragGAN можно деформировать изображение с точным контролем расположения пикселей, таким образом манипулируя позой, формой, выражением и расположением различных…
С помощью DragGAN можно деформировать изображение с точным контролем расположения пикселей, таким образом манипулируя позой, формой, выражением и расположением различных…
🔥4🤯2❤1👍1