Forwarded from AbstractDL
This media is not supported in your browser
VIEW IN TELEGRAM
🔥MTTR: End-to-End Text Referring Video Object Segmentation
Представлена новая SOTA в сегментации объектов на видео по их текстовому описанию. Качество просто невероятное!
Модель основана на мультимодальном трансформере, в который подаются фичи от текстового энкодера (RoBERTa) и видео энкодера (Video Swin). Примечательно, что в отличие от предыдущих решений, обучение здесь end2end — sequence prediction problem.
P.S. Авторы опубликали и код, и веса моделей 👍
Статья, GitHub
Представлена новая SOTA в сегментации объектов на видео по их текстовому описанию. Качество просто невероятное!
Модель основана на мультимодальном трансформере, в который подаются фичи от текстового энкодера (RoBERTa) и видео энкодера (Video Swin). Примечательно, что в отличие от предыдущих решений, обучение здесь end2end — sequence prediction problem.
P.S. Авторы опубликали и код, и веса моделей 👍
Статья, GitHub
Forwarded from PHYGITAL+CREATIVE
This media is not supported in your browser
VIEW IN TELEGRAM
С помощью HyperStyle (отдельная версия StyleGAN) можно делать интересные переходы для онлайн-магазинов
Forwarded from Говорит AI (Artem R)
Привет! Я ушел из Реплики (проработал там почти 7 лет и построил один из лучших в мире Conversational AI для десятков миллионов пользователей), поднял инвестиции от Питера Тиля, Давида Яна, кофаундеров Тиндера и запустил новый AI стартап.
Сегодня релизим наш апп Botify на Product Hunt! Botify позволяет создавать фотореалистичные говорящие аватары. Аватар моргает, улыбается, шевелит губами и орно чатится. Более того, у каждого аватара можно настроить характер и интересы, и таким образом получить какую угодно персону. Хотели поговорить с Маском про колонизацию Марса? Может у Иисуса спросить про NFT хайп? Или загрузить фотку своей бывшей и 😏. По сути Botify - это микс дипфейков и чатботов, интерактивные Digital humans.
Из тех жира - под капотом диалоговая GPT-Neo на 2.7B параметров, разные BERT'ы, first-order-motion, Wav2Lip, Super Resolution, face restoration, Stylegan, WaveNet, etc. Мы используем мультимодальный подход комбинируя генеративный текст, аудио и видео для создания интерактивных Digital Humans. Все работает около риал-тайм, чек ит аут.
Нам очень важна ваша поддержка на продакт-ханте и ваш честный фидбек 🙏 Заценить и поддержать апвоутом/комментом можно тут - https://www.producthunt.com/posts/botify-ai
Сегодня релизим наш апп Botify на Product Hunt! Botify позволяет создавать фотореалистичные говорящие аватары. Аватар моргает, улыбается, шевелит губами и орно чатится. Более того, у каждого аватара можно настроить характер и интересы, и таким образом получить какую угодно персону. Хотели поговорить с Маском про колонизацию Марса? Может у Иисуса спросить про NFT хайп? Или загрузить фотку своей бывшей и 😏. По сути Botify - это микс дипфейков и чатботов, интерактивные Digital humans.
Из тех жира - под капотом диалоговая GPT-Neo на 2.7B параметров, разные BERT'ы, first-order-motion, Wav2Lip, Super Resolution, face restoration, Stylegan, WaveNet, etc. Мы используем мультимодальный подход комбинируя генеративный текст, аудио и видео для создания интерактивных Digital Humans. Все работает около риал-тайм, чек ит аут.
Нам очень важна ваша поддержка на продакт-ханте и ваш честный фидбек 🙏 Заценить и поддержать апвоутом/комментом можно тут - https://www.producthunt.com/posts/botify-ai
Product Hunt
Botify AI: Create digital humans for engaging conversations | Product Hunt
Create photorealistic avatars for engaging conversations. Have fun interacting with your Digital Human.
👍1
Накидал колаб по смешиванию слоев stylegan3/stylegan2 для stylegan3 репо.
Основное отличие - я смешиваю слои по маске (своя сила смешивания для каждого слоя), и последний слой обычно ближе к оригиналу, чем к стилизованной модели. Позволяет получить более чистую картинку, с меньшим количеством низкочастотного шума
Подробнее тут (бесплатно)
Основное отличие - я смешиваю слои по маске (своя сила смешивания для каждого слоя), и последний слой обычно ближе к оригиналу, чем к стилизованной модели. Позволяет получить более чистую картинку, с меньшим количеством низкочастотного шума
Подробнее тут (бесплатно)
Forwarded from нёрд хаб
Media is too big
VIEW IN TELEGRAM
#VR
В VR учиться рисовать проще: можно отменить неудачный штрих + ничего не отвлекает. Пример прогресса за неделю с нуля до неплохого уровня по урокам Stuart Davies. Рисует с помощью Vermillion
В VR учиться рисовать проще: можно отменить неудачный штрих + ничего не отвлекает. Пример прогресса за неделю с нуля до неплохого уровня по урокам Stuart Davies. Рисует с помощью Vermillion
Forwarded from Reddit
r/ #technology
В США создали «дрон на курьих ножках» — птичьи роболапы позволяют ему садиться на ветки и хватать предметы
Конструкцию «воздушного захвата, вдохновлённого природой» (так расшифровывается SNAG) инженеры Стэнфордского университета создали, изучая работу лап попугаев. «Кости» напечатали на 3D-принтере из полимерной массы, а роль мускулов и сухожилий взяли на себя электромоторы и нити из лески. За два десятка попыток инженерам удалось прийти к рабочему варианту роболап, которые реагируют всего за 20 миллисекунд, цепко обхватывая предмет или поверхность и погашая удар при посадке.
Дроны с такими роболапами можно использовать «в бесчисленном множестве сценариев» — например, для близкого наблюдения за птицами, экологического мониторинга лесов или перемещения небольших грузов неправильной формы.
В США создали «дрон на курьих ножках» — птичьи роболапы позволяют ему садиться на ветки и хватать предметы
Конструкцию «воздушного захвата, вдохновлённого природой» (так расшифровывается SNAG) инженеры Стэнфордского университета создали, изучая работу лап попугаев. «Кости» напечатали на 3D-принтере из полимерной массы, а роль мускулов и сухожилий взяли на себя электромоторы и нити из лески. За два десятка попыток инженерам удалось прийти к рабочему варианту роболап, которые реагируют всего за 20 миллисекунд, цепко обхватывая предмет или поверхность и погашая удар при посадке.
Дроны с такими роболапами можно использовать «в бесчисленном множестве сценариев» — например, для близкого наблюдения за птицами, экологического мониторинга лесов или перемещения небольших грузов неправильной формы.
YouTube
Stanford engineers create perching bird-like robot
With feet and legs like a peregrine falcon, engineers have created a robot that can perch and carry objects like a bird.
Read the full story: https://news.stanford.edu/2021/12/01/bird-like-robot-perches-grasps/
MB01LX6WKAE5364
Read the full story: https://news.stanford.edu/2021/12/01/bird-like-robot-perches-grasps/
MB01LX6WKAE5364
Закинул первый парный 512x10k датасет face2arcane в ранний доступ на патреон.
Забрать тут
Забрать тут
Forwarded from Технологии | Нейросети | Боты
YouTube
Manga Restoration with AI
You can get NordVPN here: https://nordvpn.com/bycloud
or use my coupon code: bycloud
This AI research focuses on restoring manga panels, and it's actually pretty cool. They focus on what other super resolution AI lacks, especially in the manga/drawing aspects.…
or use my coupon code: bycloud
This AI research focuses on restoring manga panels, and it's actually pretty cool. They focus on what other super resolution AI lacks, especially in the manga/drawing aspects.…
Закинул face2comics на producthunt. Как говорится, го тыкать!
https://www.producthunt.com/posts/face2comics
https://www.producthunt.com/posts/face2comics
Product Hunt
InspiroBot - Product Information, Latest Updates, and Reviews 2023 | Product Hunt
InspiroBot is an artificial intelligence dedicated to generating unlimited amounts of unique inspirational quotes for endless enrichment of pointless human existence.
Stylegan2 из репо stylegan3 как-то очень быстро тюнится. Результат за 60 итераций. В старом репо stylegan2-ada нужно было >600 итераций для похожего результата.