Нейронавт | Нейросети в творчестве
Подвезли колаб для PanoHead Колаб #GAN #3DGAN #imageto3D #imagetohead
выдает геометрию в формате .ply, без текстур.
Пока не нашел можно ли ему на вход скормить свое фото. Если он умеет делать головы только из внутренне сгенерированных лиц, то это не так интересно
Пока не нашел можно ли ему на вход скормить свое фото. Если он умеет делать головы только из внутренне сгенерированных лиц, то это не так интересно
ai-coustics
У Adobe podcast появляются конкуренты. Сервис для улучшения звука на аудио. Можно записывать свой микрофон прямо на сайте.
#audio2audio #audiodenoise #enhance
У Adobe podcast появляются конкуренты. Сервис для улучшения звука на аудио. Можно записывать свой микрофон прямо на сайте.
#audio2audio #audiodenoise #enhance
❤1
Eleanor_wide_trim_720p_auphonic.webm
1.9 MB
Auphonic
Еще один мощный улучшайзер звука. Но тут уже есть ограничение: бесплатно обрабатывает только два часа материала в месяц. Зато возможности великолепные
- удаление шума/эха
- удаление нежелательных частот (деессер)
- автоуровень - автоматически выравнивает громкость микса
- Стандарты громкости. Можно задать целевую громкость, true peak limit, MaxLRA
- разбивает на главы
- мультитрековые алгоритмы (ducking, crosstalk removal, noise gate)
И все это делается буквально в несколько кликов
Для сравнения закинул в него демку от ai-coustics
Вычистил радикальнее, но уже слышны искажения. Зато есть несколько опций с которыми можно поиграть
#audio2audio #audiodenoise #audioprocessing #audiomixing #enhance
Еще один мощный улучшайзер звука. Но тут уже есть ограничение: бесплатно обрабатывает только два часа материала в месяц. Зато возможности великолепные
- удаление шума/эха
- удаление нежелательных частот (деессер)
- автоуровень - автоматически выравнивает громкость микса
- Стандарты громкости. Можно задать целевую громкость, true peak limit, MaxLRA
- разбивает на главы
- мультитрековые алгоритмы (ducking, crosstalk removal, noise gate)
И все это делается буквально в несколько кликов
Для сравнения закинул в него демку от ai-coustics
Вычистил радикальнее, но уже слышны искажения. Зато есть несколько опций с которыми можно поиграть
#audio2audio #audiodenoise #audioprocessing #audiomixing #enhance
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
Гугл потихоньку раскатывает дублирование видосов на разные языки. Пока это никакой не онлайн, а выглядит так: вы запилили видос, гугловый ИИ пережевал его, отрыгнул транскипцию (титры), вы можете поправить их, а потом говорите впичать! то есть в перевод. И он переводит и озвучивает ваш ролик попадая в губы. Вы получаете мультиязычные видосы.
Для детских мультиков и аниме, кстати, отличное решение. Там попадать в губы не сильно сложно.
https://aloud.area120.google.com/
Для детских мультиков и аниме, кстати, отличное решение. Там попадать в губы не сильно сложно.
https://aloud.area120.google.com/
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Коллеги из Reality Labs запилили full-body tracking в VR по имеющимся сигналам со шлема и джойстиков. Ещё тут моделируется взаимодействие с предметами (например, сесть/встать со стула).
Работа называется QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors.
Метод натренирован на основе Reinforcement Learning в физической симуляции. То есть во время инференса тоже придется гонять симуляцию и знать примерные 3д меши и позиции предметов, с которыми юзер взаимодействует в реальном мире.
Выглядит правдоподобно, потому что все движения тела соответствуют физическим законам. Из ограничений — это требование гонять симуляцию во время инференса (это ресурсоемкая и небыстрая вещь) и условие, что мы заранее имеем виртуальную копию физического окружёния, в котором действует юзер.
В моей работе Avatars Grow Legs мы решали похожую проблему 3D трекинга тела, но используя кинематический data-driven подход вместо RL и физической симуляции.
@ai_newz
Работа называется QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors.
Метод натренирован на основе Reinforcement Learning в физической симуляции. То есть во время инференса тоже придется гонять симуляцию и знать примерные 3д меши и позиции предметов, с которыми юзер взаимодействует в реальном мире.
Выглядит правдоподобно, потому что все движения тела соответствуют физическим законам. Из ограничений — это требование гонять симуляцию во время инференса (это ресурсоемкая и небыстрая вещь) и условие, что мы заранее имеем виртуальную копию физического окружёния, в котором действует юзер.
В моей работе Avatars Grow Legs мы решали похожую проблему 3D трекинга тела, но используя кинематический data-driven подход вместо RL и физической симуляции.
@ai_newz
🔥7
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Чатаватары: text-to-3Dhead
С МетаХьюманами разобрались, держите ГиперХьюманов!
https://hyperhuman.deemos.com/
Смышленые китайцы понимают, что text-to-3D слишком общая задача. И делают модельку на узком, но очень востребованном подклассе.
Кожаные головы для аватаров.
Ну и в целом, конечно, надо делать сначала text-to-подкласс3Д.
И да, вы можете заказать себе Анджелину Джоли и Дуэйна Джонсона, будут вам 3Д-модели селебритис, но с легким азиатским уклоном.
Я упоролся и сделал себе Тома Круиза.
Самое удивительное, но это криво-косо работает!
Я даже скачал себе меш с текстурами в формате obj.
Сетка - не такой треш как у нерфов и сканов, есть нормальная топология слегка побитая треугольниками. Вероятно в основе болван из Блендора.
При скачивании тебе даже обещают скачать как Метахьюмана, но у меня просто качается OBJ головы, текстуры к нему и даже некое тело в формате FBX (это просто болванчик, с пришитой башкой).
Интересно, что превью генерится быстро, а при скачивании оно что=то там генерит минут семь.
В общем надо разбираться, где тут читы, а где реальная генерация сеток с норм топологией.
Я полазил по сайту и твиттору разработчиков, там уже и Stable Diffusion с КонтролНетом упоминаются.
Поглядите тут, огонь: https://twitter.com/DeemosTech
Правда тут все на китайском, выглядит как пестрый зоопарк всего, что генерится.
https://deemos.com/
https://mp.weixin.qq.com/s/0ihfMfjDfuYHqXx2tO3JXw
С МетаХьюманами разобрались, держите ГиперХьюманов!
https://hyperhuman.deemos.com/
Смышленые китайцы понимают, что text-to-3D слишком общая задача. И делают модельку на узком, но очень востребованном подклассе.
Кожаные головы для аватаров.
Ну и в целом, конечно, надо делать сначала text-to-подкласс3Д.
И да, вы можете заказать себе Анджелину Джоли и Дуэйна Джонсона, будут вам 3Д-модели селебритис, но с легким азиатским уклоном.
Я упоролся и сделал себе Тома Круиза.
Самое удивительное, но это криво-косо работает!
Я даже скачал себе меш с текстурами в формате obj.
Сетка - не такой треш как у нерфов и сканов, есть нормальная топология слегка побитая треугольниками. Вероятно в основе болван из Блендора.
При скачивании тебе даже обещают скачать как Метахьюмана, но у меня просто качается OBJ головы, текстуры к нему и даже некое тело в формате FBX (это просто болванчик, с пришитой башкой).
Интересно, что превью генерится быстро, а при скачивании оно что=то там генерит минут семь.
В общем надо разбираться, где тут читы, а где реальная генерация сеток с норм топологией.
Я полазил по сайту и твиттору разработчиков, там уже и Stable Diffusion с КонтролНетом упоминаются.
Поглядите тут, огонь: https://twitter.com/DeemosTech
Правда тут все на китайском, выглядит как пестрый зоопарк всего, что генерится.
https://deemos.com/
https://mp.weixin.qq.com/s/0ihfMfjDfuYHqXx2tO3JXw
👍1
🔥3
Forwarded from CGIT_Vines (Marvin Heemeyer)
В этом посте не будет eye-catching видео для привлечения вашего внимания, но будет картинка, ознаменовывающая начало нейронного рендеринга.
Несмотря на то, что статья больше прославляет чипы Intel для рендеринга, более важным тут является тот факт, что производители уже оптимизируют и пишут алгоритмы для нейронного рендеринга.
А это значит, что там, где стандартным алгоритмам требовались десятки секунд или часы на построение кадра, в ближайшем будущем смогут выводить картинку, посчитанную через патч трейс в реальном времени. Прости, Lumen!
Кроме того, также обещают степень сжатия высокополигональных сцен до 70-95 процентов. Это значит, что мы еще дальше выйдем за ограничения поликаунта и, конечно же, избавимся от лодирования, как в Nanite, только лучше!
К слову, на картинке лес с поликаунтом 1 триллион трисов.
Я в ахуе... давай!
Почитать тут
Несмотря на то, что статья больше прославляет чипы Intel для рендеринга, более важным тут является тот факт, что производители уже оптимизируют и пишут алгоритмы для нейронного рендеринга.
А это значит, что там, где стандартным алгоритмам требовались десятки секунд или часы на построение кадра, в ближайшем будущем смогут выводить картинку, посчитанную через патч трейс в реальном времени. Прости, Lumen!
Кроме того, также обещают степень сжатия высокополигональных сцен до 70-95 процентов. Это значит, что мы еще дальше выйдем за ограничения поликаунта и, конечно же, избавимся от лодирования, как в Nanite, только лучше!
К слову, на картинке лес с поликаунтом 1 триллион трисов.
Я в ахуе... давай!
Почитать тут
🔥8
Automatic1111 webui обновился до версии 1.4.0
Из интересного для меня наконец зум в панели инпейнт и корректный перезапуск процесса вместо перезапуска UI после установки расширений. Полный список изменений по ссылке.
релиз
Из интересного для меня наконец зум в панели инпейнт и корректный перезапуск процесса вместо перезапуска UI после установки расширений. Полный список изменений по ссылке.
релиз
GitHub
Releases · AUTOMATIC1111/stable-diffusion-webui
Stable Diffusion web UI. Contribute to AUTOMATIC1111/stable-diffusion-webui development by creating an account on GitHub.
👍1