Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Вот держите Продукт-Продукт.
Rask AI: перевод и дубляж с синхронизацией с речью спикера.
Берете свое видео (хорошо, чужое), кидаете в этот ИИ, он переводит всё ваше косноязычие на ЛЮБОЙ язык и ДУБЛИРУЕТ так, чтобы новый голос попадал в губы.
Дублирует ЛЮБЫМ голосом, в том числе вашим. То есть там встроен voice cloning.
Итого, клонирование голоса и перевод любого видео. Одной кнопкой.
А теперь представьте, что ваши гениальные видео на ютюбе можно локализовать на разные рынки и языки. Просто переозвучка в один клик.
Плюс это продукт, а не сервис за ацкия тыщщи, как у Flawless. Вы уже щас можете вгружать туда свои видосы и пробовать.
Neurodub от яндекса нервно закуривает овальные сигареты.
Выглядит слишком круто, поэтому я позвонил Маше Чмир, автору проекта в поисках подробностей и подвохов. Но она меня добила. Через месяц будет дипфейковый липсинк, то есть попадание губами в новый дубляж. Как продукт! Flawless рыдает.
В общем, если вы хотите, чтобы продукт поскорее вышел и полетел, срочно бегите на Product Hunt и жмите Upvote!
Это реально прорыв для тех, кто делает контент на одном языке. Блогеры, журналюги, медиа.
Машу знаю сто тысяч лет. DeepCake - это лучшие дипфейки в киношном качестве на планете. Жду продукта и похоже придется расчехлять ютюб канал.
След постом видос из продукта.
https://www.producthunt.com/posts/rask-ai-video-localization-dubbing-app
Rask AI: перевод и дубляж с синхронизацией с речью спикера.
Берете свое видео (хорошо, чужое), кидаете в этот ИИ, он переводит всё ваше косноязычие на ЛЮБОЙ язык и ДУБЛИРУЕТ так, чтобы новый голос попадал в губы.
Дублирует ЛЮБЫМ голосом, в том числе вашим. То есть там встроен voice cloning.
Итого, клонирование голоса и перевод любого видео. Одной кнопкой.
А теперь представьте, что ваши гениальные видео на ютюбе можно локализовать на разные рынки и языки. Просто переозвучка в один клик.
Плюс это продукт, а не сервис за ацкия тыщщи, как у Flawless. Вы уже щас можете вгружать туда свои видосы и пробовать.
Neurodub от яндекса нервно закуривает овальные сигареты.
Выглядит слишком круто, поэтому я позвонил Маше Чмир, автору проекта в поисках подробностей и подвохов. Но она меня добила. Через месяц будет дипфейковый липсинк, то есть попадание губами в новый дубляж. Как продукт! Flawless рыдает.
В общем, если вы хотите, чтобы продукт поскорее вышел и полетел, срочно бегите на Product Hunt и жмите Upvote!
Это реально прорыв для тех, кто делает контент на одном языке. Блогеры, журналюги, медиа.
Машу знаю сто тысяч лет. DeepCake - это лучшие дипфейки в киношном качестве на планете. Жду продукта и похоже придется расчехлять ютюб канал.
След постом видос из продукта.
https://www.producthunt.com/posts/rask-ai-video-localization-dubbing-app
Product Hunt
Rask AI: AI-powered platform for localization and repurposing | Product Hunt
With the Rask AI Platform, you can effortlessly translate, dub, and repurpose your videos into engaging Shorts and tweets, reaching a global audience and connecting with diverse cultures and languages.
Optimize your creative workflow! Without switching to…
Optimize your creative workflow! Without switching to…
🔥2
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
AUDIT
Это как Stable Diffusion только для звука.
Новая работа от Микрософта.
Редактирование имеющегося звука промптами или даже генерация звука с нуля текстом.
Поглядите первые пары примеров: добавление звука в трек, выкусывание голоса, замена смеха на трубу(!), интпайнтинг(расцвечивание звука), Super-resolution.
И все это текстовым промптом!
За художников чуть не спились.
Теперь за звукорежей и звукарей пить полгода.
https://audit-demo.github.io/
Это как Stable Diffusion только для звука.
Новая работа от Микрософта.
Редактирование имеющегося звука промптами или даже генерация звука с нуля текстом.
Поглядите первые пары примеров: добавление звука в трек, выкусывание голоса, замена смеха на трубу(!), интпайнтинг(расцвечивание звука), Super-resolution.
И все это текстовым промптом!
За художников чуть не спились.
Теперь за звукорежей и звукарей пить полгода.
https://audit-demo.github.io/
Яндекс релизнул своё приложение для генерации картонок Шедеврум
Понимает русский и английский, модификаторы в промере приветствуются. Обучен на 280 млн картинок.
Под капотом диффузия.
При попытке что-то сгенерировать обещает прислать уведомление когда уже будет можно((
iOS
Андроид
#text2image
Понимает русский и английский, модификаторы в промере приветствуются. Обучен на 280 млн картинок.
Под капотом диффузия.
При попытке что-то сгенерировать обещает прислать уведомление когда уже будет можно((
iOS
Андроид
#text2image
👍1
Forwarded from Earth&Climate Tech
This media is not supported in your browser
VIEW IN TELEGRAM
AI модель от Мета, которая может стать chatGPT3 в мире компьютерного зрения
Возможно это "chatGPT3-moment" для ИИ в области компьютерного зрения, посмотрим. Только что мета выкатила проект SAM - Segment Anything - модель обученная на самом большом датасете по выделению объектов на изображении. И модель и датасет выложены в открытый доступ.
🔥 SAM позволяет пользователям сегментировать объекты одним щелчком мыши.
🔥 SAM может автоматически находить и маскировать ВСЕ объекты на изображении.
🔥 SAM может генерировать маску сегментации для любой подсказки в режиме реального времени, что позволяет взаимодействовать с моделью в реальном времени.
🔥 Согласно статье работает замечательно для Zero-Shot Learning задач. То есть, когда надо настроить модель для своего датасете и очень быстро без трудоемкого обучения.
Они сделали даже демо, но оно, видимо, перегружено запросами, у меня пока не открылось.
В наших делах по интерпретации и выделению объектов - это может быть прорывна штука. Посмотрим.
Возможно это "chatGPT3-moment" для ИИ в области компьютерного зрения, посмотрим. Только что мета выкатила проект SAM - Segment Anything - модель обученная на самом большом датасете по выделению объектов на изображении. И модель и датасет выложены в открытый доступ.
🔥 SAM позволяет пользователям сегментировать объекты одним щелчком мыши.
🔥 SAM может автоматически находить и маскировать ВСЕ объекты на изображении.
🔥 SAM может генерировать маску сегментации для любой подсказки в режиме реального времени, что позволяет взаимодействовать с моделью в реальном времени.
🔥 Согласно статье работает замечательно для Zero-Shot Learning задач. То есть, когда надо настроить модель для своего датасете и очень быстро без трудоемкого обучения.
Они сделали даже демо, но оно, видимо, перегружено запросами, у меня пока не открылось.
В наших делах по интерпретации и выделению объектов - это может быть прорывна штука. Посмотрим.
🔥3
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Stability AI выпустила превью новой модели под названием SDXL Beta (Stable Diffusion XL Beta).
Уже можно попробовать на https://beta.dreamstudio.ai/generate
Модель SDXL — это новая модель, которая все еще в процессе обучения. Это еще не готовая модель. Круто, что можно посмотреть, так сказать промежуточный чекпойнт, бета версию весов.
Это еще более конская модель с бОльшим количеством параметров чем V2.1, но это не V3.
Немного деталей.
1. Она умеет в текст. См. картинки.
2. Она гораздо лучше исполняет в руки-ноги, анатомию, позы и пропорции.
3. Портреты - на уровне тренированных как рексы моделей с Civitai
4. Короткие промпты. Закос под Midjourney. Меньше колдунства с многословным допиныванием до годного.
5. Политкорректность, будь она неладна. Как и в v2 выпилены жирномясые художники и основная часть знаменитостей. arnold shwarzenegger выглядит скорее как бюрократ. Что в каком-то смысле иронично. Хотя Том Круиз узнаваем (архетип, вестимо)
6. С пальцами по-прежнему беда.
Ну и держите очень классный ресурс, где очень много годноты про Stable Diffusion.
https://stable-diffusion-art.com/tutorials/
Уже можно попробовать на https://beta.dreamstudio.ai/generate
Модель SDXL — это новая модель, которая все еще в процессе обучения. Это еще не готовая модель. Круто, что можно посмотреть, так сказать промежуточный чекпойнт, бета версию весов.
Это еще более конская модель с бОльшим количеством параметров чем V2.1, но это не V3.
Немного деталей.
1. Она умеет в текст. См. картинки.
2. Она гораздо лучше исполняет в руки-ноги, анатомию, позы и пропорции.
3. Портреты - на уровне тренированных как рексы моделей с Civitai
4. Короткие промпты. Закос под Midjourney. Меньше колдунства с многословным допиныванием до годного.
5. Политкорректность, будь она неладна. Как и в v2 выпилены жирномясые художники и основная часть знаменитостей. arnold shwarzenegger выглядит скорее как бюрократ. Что в каком-то смысле иронично. Хотя Том Круиз узнаваем (архетип, вестимо)
6. С пальцами по-прежнему беда.
Ну и держите очень классный ресурс, где очень много годноты про Stable Diffusion.
https://stable-diffusion-art.com/tutorials/
🔥4
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
ControlNet с человеческим лицом. И телом.
Я вот тут приподвзвывал о том, что рано или поздно вся это возня со спичками и точками в крошечном окне ControlNet должна превратиться в убодные инструменты с камерой, костями, кинематикой и прочим ригом.
И пока Автодеск, Максон и даже Миксамо корпоративно отмалчиваются, на сцену выскакивают новые игроки.
Я уже много писал про PlaskAI - это один из популярных нейромокапов. Снимаешь себя на камеру, а он выдает твой скелет в 3Д с анимацией. Примерно то, что делает OpenPose(в кишках контролнета), но только не с одним кадром, а с видео.
Ну и, конечно, они подсуетились и сварганили на базе Stable Diffusion генератор картинок с удобным(условно, на безрыбье) редактором поз.
Регистраций гуглом проходит. А дальше набор стандартных стандратных опций. Пять сэмплеров, негативный промпты. Зачатки стилей и пресетов.
Что-то типа PlaygroundAI только с редактором поз. Денег пока не берут, но сервера у них стонут и кряхтят, очень медленно.
Го тестировать
Доки и видео тут: https://docs.plask.ai/
Генерилка тут:
Иногда глючит и отправляет в корень сайта, тогда нужно выбрать готовую работу и сказать "добавить в мой воркспейс".
https://plask.ai/
Я вот тут приподвзвывал о том, что рано или поздно вся это возня со спичками и точками в крошечном окне ControlNet должна превратиться в убодные инструменты с камерой, костями, кинематикой и прочим ригом.
И пока Автодеск, Максон и даже Миксамо корпоративно отмалчиваются, на сцену выскакивают новые игроки.
Я уже много писал про PlaskAI - это один из популярных нейромокапов. Снимаешь себя на камеру, а он выдает твой скелет в 3Д с анимацией. Примерно то, что делает OpenPose(в кишках контролнета), но только не с одним кадром, а с видео.
Ну и, конечно, они подсуетились и сварганили на базе Stable Diffusion генератор картинок с удобным(условно, на безрыбье) редактором поз.
Регистраций гуглом проходит. А дальше набор стандартных стандратных опций. Пять сэмплеров, негативный промпты. Зачатки стилей и пресетов.
Что-то типа PlaygroundAI только с редактором поз. Денег пока не берут, но сервера у них стонут и кряхтят, очень медленно.
Го тестировать
Доки и видео тут: https://docs.plask.ai/
Генерилка тут:
Иногда глючит и отправляет в корень сайта, тогда нужно выбрать готовую работу и сказать "добавить в мой воркспейс".
https://plask.ai/
🔥4
Авторы StyleGAN-T поделились кодом. А весами не хотят делиться. Так что если хотите, придется тренить самостоятельно.
Один из авторов собрался присоединиться к StabilityAI и там работать над опенсорсными GAN'ами
Код
#text2image #text2video #text2animation #gan
Один из авторов собрался присоединиться к StabilityAI и там работать над опенсорсными GAN'ами
Код
#text2image #text2video #text2animation #gan
🕺🕺🕺 Follow Your Pose 💃💃💃Pose-Guided Text-to-Video Generation using Pose-Free Videos
Смотрите какая штука. Поза + текст, на выходе видео. На базе Stablediffusion, разумеется.
Код
Демо, здесь на вход для позы подаем видео
Колаб
#text2video #pose2video
Смотрите какая штука. Поза + текст, на выходе видео. На базе Stablediffusion, разумеется.
Код
Демо, здесь на вход для позы подаем видео
Колаб
#text2video #pose2video