А вот подвезли официальный код DragGAN. Интересно насколько его работа отличается от неофициальной имплементации. В основе StyleGAN3 и StyleGAN-Human.
Код
#image2image
Код
#image2image
Telegram
Нейронавт | Нейросети в творчестве
Очень не очевидный подход к управлению результатами генераций через контроль опорных точек.
С помощью DragGAN можно деформировать изображение с точным контролем расположения пикселей, таким образом манипулируя позой, формой, выражением и расположением различных…
С помощью DragGAN можно деформировать изображение с точным контролем расположения пикселей, таким образом манипулируя позой, формой, выражением и расположением различных…
🔥4🤯2❤1👍1
Emad твитнул про #SDXL
Версия 1.0 будет будет легко дообучаться и в то же время качественная из коробки. Она уже самая качественная базовая модель.
- Kohya уже подготовил свою дообучалку
- Авторы выложат свою мощную дообучалку
- Текстовая инверсия готова
- t2i адаптеры готовы
- ControlNet готов
- поддержка automatic1111 webui
- Ещё лучше поддержка ComfyUI
Самые крутые файнтюнеры уже получили веса.
Релиз v1.0 в середине июля под лицензией CreativeML
Твит
Версия 1.0 будет будет легко дообучаться и в то же время качественная из коробки. Она уже самая качественная базовая модель.
- Kohya уже подготовил свою дообучалку
- Авторы выложат свою мощную дообучалку
- Текстовая инверсия готова
- t2i адаптеры готовы
- ControlNet готов
- поддержка automatic1111 webui
- Ещё лучше поддержка ComfyUI
Самые крутые файнтюнеры уже получили веса.
Релиз v1.0 в середине июля под лицензией CreativeML
Твит
🔥10❤2
Нейронавт | Нейросети в творчестве
А вот подвезли официальный код DragGAN. Интересно насколько его работа отличается от неофициальной имплементации. В основе StyleGAN3 и StyleGAN-Human. Код #image2image
Демо DragGAN на HF (возможно, сейчас лежит, у меня страница не прогружается)
huggingface.co
DragGan - Drag Your GAN - a Hugging Face Space by DragGan
Users can select a pre-trained model and seed to generate an image. They can then add control points and drag them to manipulate the image. A mask can also be edited to constrain certain areas. The...
👍1
Нейронавт | Нейросети в творчестве
Пощупать Zeroscope уже можно в колабе. Несколько блокнотов для запуска zeroscope в разных вариантах выложили на гитхабе Гитхаб
This media is not supported in your browser
VIEW IN TELEGRAM
В zeroscope_v2_xl мне удалось сгенерировать максимум 20 кадров. На 25 кадров не хватает видеопамяти бесплатного колаба. Где тот герой который поженит Zeroscope и Controlnet?
Darth Vader dancing in a space rickroll, star Wars, cinematic dolly shot, Arri, 30mm lens, parallax#text2video
👍3
Нейронавт | Нейросети в творчестве
PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360° Ах, какое полезное изобретение! Генератор полной 3D модели головы по одному фото. В основе модели - 3D GAN. На видео примеры результатов одного реддитора Код Колаб #GAN #3DGAN #imageto3D #image2head
Google
Google Colab Notebook
Run, share, and edit Python notebooks
Stability Matrix
Однокнопочный инсталлятор/обновлятор для Automatic1111 webui, ComfyUI, SD.Next для Windows.
Простая установка, обновление, интеграция c Civitai
В текущей версии нет возожности выбрать папку установки, и все устанавливается в AppData. В следующих версиях ожидается что сделают выбор папки, я подожду
Гитхаб
Скачать инсталлятор
Реддит
Однокнопочный инсталлятор/обновлятор для Automatic1111 webui, ComfyUI, SD.Next для Windows.
Простая установка, обновление, интеграция c Civitai
В текущей версии нет возожности выбрать папку установки, и все устанавливается в AppData. В следующих версиях ожидается что сделают выбор папки, я подожду
Гитхаб
Скачать инсталлятор
Реддит
Нейронавт | Нейросети в творчестве
Подвезли колаб для PanoHead Колаб #GAN #3DGAN #imageto3D #imagetohead
выдает геометрию в формате .ply, без текстур.
Пока не нашел можно ли ему на вход скормить свое фото. Если он умеет делать головы только из внутренне сгенерированных лиц, то это не так интересно
Пока не нашел можно ли ему на вход скормить свое фото. Если он умеет делать головы только из внутренне сгенерированных лиц, то это не так интересно
ai-coustics
У Adobe podcast появляются конкуренты. Сервис для улучшения звука на аудио. Можно записывать свой микрофон прямо на сайте.
#audio2audio #audiodenoise #enhance
У Adobe podcast появляются конкуренты. Сервис для улучшения звука на аудио. Можно записывать свой микрофон прямо на сайте.
#audio2audio #audiodenoise #enhance
❤1
Eleanor_wide_trim_720p_auphonic.webm
1.9 MB
Auphonic
Еще один мощный улучшайзер звука. Но тут уже есть ограничение: бесплатно обрабатывает только два часа материала в месяц. Зато возможности великолепные
- удаление шума/эха
- удаление нежелательных частот (деессер)
- автоуровень - автоматически выравнивает громкость микса
- Стандарты громкости. Можно задать целевую громкость, true peak limit, MaxLRA
- разбивает на главы
- мультитрековые алгоритмы (ducking, crosstalk removal, noise gate)
И все это делается буквально в несколько кликов
Для сравнения закинул в него демку от ai-coustics
Вычистил радикальнее, но уже слышны искажения. Зато есть несколько опций с которыми можно поиграть
#audio2audio #audiodenoise #audioprocessing #audiomixing #enhance
Еще один мощный улучшайзер звука. Но тут уже есть ограничение: бесплатно обрабатывает только два часа материала в месяц. Зато возможности великолепные
- удаление шума/эха
- удаление нежелательных частот (деессер)
- автоуровень - автоматически выравнивает громкость микса
- Стандарты громкости. Можно задать целевую громкость, true peak limit, MaxLRA
- разбивает на главы
- мультитрековые алгоритмы (ducking, crosstalk removal, noise gate)
И все это делается буквально в несколько кликов
Для сравнения закинул в него демку от ai-coustics
Вычистил радикальнее, но уже слышны искажения. Зато есть несколько опций с которыми можно поиграть
#audio2audio #audiodenoise #audioprocessing #audiomixing #enhance
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
Гугл потихоньку раскатывает дублирование видосов на разные языки. Пока это никакой не онлайн, а выглядит так: вы запилили видос, гугловый ИИ пережевал его, отрыгнул транскипцию (титры), вы можете поправить их, а потом говорите впичать! то есть в перевод. И он переводит и озвучивает ваш ролик попадая в губы. Вы получаете мультиязычные видосы.
Для детских мультиков и аниме, кстати, отличное решение. Там попадать в губы не сильно сложно.
https://aloud.area120.google.com/
Для детских мультиков и аниме, кстати, отличное решение. Там попадать в губы не сильно сложно.
https://aloud.area120.google.com/
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Коллеги из Reality Labs запилили full-body tracking в VR по имеющимся сигналам со шлема и джойстиков. Ещё тут моделируется взаимодействие с предметами (например, сесть/встать со стула).
Работа называется QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors.
Метод натренирован на основе Reinforcement Learning в физической симуляции. То есть во время инференса тоже придется гонять симуляцию и знать примерные 3д меши и позиции предметов, с которыми юзер взаимодействует в реальном мире.
Выглядит правдоподобно, потому что все движения тела соответствуют физическим законам. Из ограничений — это требование гонять симуляцию во время инференса (это ресурсоемкая и небыстрая вещь) и условие, что мы заранее имеем виртуальную копию физического окружёния, в котором действует юзер.
В моей работе Avatars Grow Legs мы решали похожую проблему 3D трекинга тела, но используя кинематический data-driven подход вместо RL и физической симуляции.
@ai_newz
Работа называется QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors.
Метод натренирован на основе Reinforcement Learning в физической симуляции. То есть во время инференса тоже придется гонять симуляцию и знать примерные 3д меши и позиции предметов, с которыми юзер взаимодействует в реальном мире.
Выглядит правдоподобно, потому что все движения тела соответствуют физическим законам. Из ограничений — это требование гонять симуляцию во время инференса (это ресурсоемкая и небыстрая вещь) и условие, что мы заранее имеем виртуальную копию физического окружёния, в котором действует юзер.
В моей работе Avatars Grow Legs мы решали похожую проблему 3D трекинга тела, но используя кинематический data-driven подход вместо RL и физической симуляции.
@ai_newz
🔥7
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Чатаватары: text-to-3Dhead
С МетаХьюманами разобрались, держите ГиперХьюманов!
https://hyperhuman.deemos.com/
Смышленые китайцы понимают, что text-to-3D слишком общая задача. И делают модельку на узком, но очень востребованном подклассе.
Кожаные головы для аватаров.
Ну и в целом, конечно, надо делать сначала text-to-подкласс3Д.
И да, вы можете заказать себе Анджелину Джоли и Дуэйна Джонсона, будут вам 3Д-модели селебритис, но с легким азиатским уклоном.
Я упоролся и сделал себе Тома Круиза.
Самое удивительное, но это криво-косо работает!
Я даже скачал себе меш с текстурами в формате obj.
Сетка - не такой треш как у нерфов и сканов, есть нормальная топология слегка побитая треугольниками. Вероятно в основе болван из Блендора.
При скачивании тебе даже обещают скачать как Метахьюмана, но у меня просто качается OBJ головы, текстуры к нему и даже некое тело в формате FBX (это просто болванчик, с пришитой башкой).
Интересно, что превью генерится быстро, а при скачивании оно что=то там генерит минут семь.
В общем надо разбираться, где тут читы, а где реальная генерация сеток с норм топологией.
Я полазил по сайту и твиттору разработчиков, там уже и Stable Diffusion с КонтролНетом упоминаются.
Поглядите тут, огонь: https://twitter.com/DeemosTech
Правда тут все на китайском, выглядит как пестрый зоопарк всего, что генерится.
https://deemos.com/
https://mp.weixin.qq.com/s/0ihfMfjDfuYHqXx2tO3JXw
С МетаХьюманами разобрались, держите ГиперХьюманов!
https://hyperhuman.deemos.com/
Смышленые китайцы понимают, что text-to-3D слишком общая задача. И делают модельку на узком, но очень востребованном подклассе.
Кожаные головы для аватаров.
Ну и в целом, конечно, надо делать сначала text-to-подкласс3Д.
И да, вы можете заказать себе Анджелину Джоли и Дуэйна Джонсона, будут вам 3Д-модели селебритис, но с легким азиатским уклоном.
Я упоролся и сделал себе Тома Круиза.
Самое удивительное, но это криво-косо работает!
Я даже скачал себе меш с текстурами в формате obj.
Сетка - не такой треш как у нерфов и сканов, есть нормальная топология слегка побитая треугольниками. Вероятно в основе болван из Блендора.
При скачивании тебе даже обещают скачать как Метахьюмана, но у меня просто качается OBJ головы, текстуры к нему и даже некое тело в формате FBX (это просто болванчик, с пришитой башкой).
Интересно, что превью генерится быстро, а при скачивании оно что=то там генерит минут семь.
В общем надо разбираться, где тут читы, а где реальная генерация сеток с норм топологией.
Я полазил по сайту и твиттору разработчиков, там уже и Stable Diffusion с КонтролНетом упоминаются.
Поглядите тут, огонь: https://twitter.com/DeemosTech
Правда тут все на китайском, выглядит как пестрый зоопарк всего, что генерится.
https://deemos.com/
https://mp.weixin.qq.com/s/0ihfMfjDfuYHqXx2tO3JXw
👍1