LatentSync: Audio Conditioned Latent Diffusion Models for Lip Sync
Липсинк от ByteDance.
Двигает губы (и челюсть) под звук речи.
Работает по видео.
первое видео на португальском - оригинал, второе на английском - липсинк
Код
Демо
ComfyUI
Попробовать на fal.ai (если есть кредиты)
#lipsync #speech2video #video2video
Липсинк от ByteDance.
Двигает губы (и челюсть) под звук речи.
Работает по видео.
первое видео на португальском - оригинал, второе на английском - липсинк
Код
Демо
ComfyUI
Попробовать на fal.ai (если есть кредиты)
#lipsync #speech2video #video2video
👍12❤1
This media is not supported in your browser
VIEW IN TELEGRAM
VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction
Первая мультимодальная опенсорсная LLM способная обрабатывать видео, изображения, текст и аудио в реальном времени
Код
Веса
#assistant #realtime #vlm #voicemode
Первая мультимодальная опенсорсная LLM способная обрабатывать видео, изображения, текст и аудио в реальном времени
Код
Веса
#assistant #realtime #vlm #voicemode
👍15
Media is too big
VIEW IN TELEGRAM
Китайский нейроинтерфейс NeuroXess расшифровывает мысли в реальном времени. Он может не только понимать китайский язык, но и управлять роботами и взаимодействовать с ИИ.
21-летней женщине с эпилепсией, у которой было серьезное поражение мозга, подключили NeuroXess. Интерфейс выделил электрокортикограмму из её мозговых сигналов, на которой обучили нейросеть. В результате система декодировала мысли в речь с точностью 71%, управляла роботизированной рукой и позволяла общаться с ИИ и цифровым аватаром.
Пациентка научилась управлять умным домом и инвалидной коляской.
#science #brain #mindreading #news
21-летней женщине с эпилепсией, у которой было серьезное поражение мозга, подключили NeuroXess. Интерфейс выделил электрокортикограмму из её мозговых сигналов, на которой обучили нейросеть. В результате система декодировала мысли в речь с точностью 71%, управляла роботизированной рукой и позволяла общаться с ИИ и цифровым аватаром.
Пациентка научилась управлять умным домом и инвалидной коляской.
#science #brain #mindreading #news
👍27❤3
This media is not supported in your browser
VIEW IN TELEGRAM
OmniAudio-2.6B
Самая быстрая и эффективная мультимодальная аудиоязыковая модель, пригодная для запуска на смартфонах и ноутбуках
Внутри Gemma-2-2b, Whisper turbo и модуль для обработки аудио и текста на потребительских устройствах
Репозиторий
Демо
#ALM #assistant #mobile
Самая быстрая и эффективная мультимодальная аудиоязыковая модель, пригодная для запуска на смартфонах и ноутбуках
Внутри Gemma-2-2b, Whisper turbo и модуль для обработки аудио и текста на потребительских устройствах
Репозиторий
Демо
#ALM #assistant #mobile
👍8🔥4❤2
Cosmos-1.0-Diffusion: A Suite of Diffusion-based World Foundation Models
NVIDIA выпустила семейство видеогенераторов с пониманием физического мира. Они предпочитают о них говорить как о генераторах мира по тексту и изображению.
Хронометраж 121 кадр
Позиционируется для разработчиков, в помощь в симуляции мира.
Лицензия на бесплатное коммерческое использование.
Нужно 80GB VRAM
Дают попробовать!
Примеры видео спрятаны в демо
Гитхаб
Веса
Демо
#text2video #image2video #simulation #text2world #image2world
NVIDIA выпустила семейство видеогенераторов с пониманием физического мира. Они предпочитают о них говорить как о генераторах мира по тексту и изображению.
Хронометраж 121 кадр
Позиционируется для разработчиков, в помощь в симуляции мира.
Лицензия на бесплатное коммерческое использование.
Нужно 80GB VRAM
Дают попробовать!
Примеры видео спрятаны в демо
Гитхаб
Веса
Демо
#text2video #image2video #simulation #text2world #image2world
👍13❤3👎1🤡1
NVIDIA аносировали новое поколение видеокарт RTX 5000 серии. Новая архитектура поддерживает вычисления в FP4
И тут они заколабились с Blackforest Labs. Короче, анонсировали Lightning-Fast FLUX - быстрый флюкс в FP4
Веса выложат на HF в начале февраля
На сравнении слева FLUX.1 [dev] BF16, справа FP4
#news #text2image #optimization
И тут они заколабились с Blackforest Labs. Короче, анонсировали Lightning-Fast FLUX - быстрый флюкс в FP4
Веса выложат на HF в начале февраля
На сравнении слева FLUX.1 [dev] BF16, справа FP4
#news #text2image #optimization
👍23
Короче не верьте красивым графикам Хуанга
4090 тестировали на FP8, а 5090 на FP4, которая требует вдвое меньше видеопамяти
#news
4090 тестировали на FP8, а 5090 на FP4, которая требует вдвое меньше видеопамяти
#news
😁21😱8🤡5😭2😈1
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
ProTracker: Probabilistic Integration for Robust and Accurate Point Tracking
Очередной трекер группы точек.
Такое может пригодиться для точных манипуляций со сложными движущимися объектами на видео
Код
#tracking #opticalflow
Очередной трекер группы точек.
Такое может пригодиться для точных манипуляций со сложными движущимися объектами на видео
Код
#tracking #opticalflow
🔥10
К истории о том что террорист, взорвавший кибертрак в опасной близости от президента США, получил рецепт бомбы от ChatGPT.
Последний день каникул, позволю себе репостнуть простыню
Последний день каникул, позволю себе репостнуть простыню
Forwarded from Love. Death. Transformers.
День первый
Хакер приходит в общественную столовую и с возмущением обнаруживает, что солонку на столе может открутить кто попало и насыпать туда что угодно. Хакер приходит домой и пишет гневное письмо директору столовой: "Я, meG@Duc, обнаружил уязвимость солонки в Вашей столовой. Злоумышленник может вскрыть солонку и насыпать туда яду! Примите меры срочно!"
День второй
Директор среди прочих деловых писем, запросов о поставках еды и курьерских уведомлений получает письмо, и пожимает плечами: "Кому этот бред только в голову пришёл?"
День пятый
Хакер приходит в столовую, насыпает во все солонки яду. Погибает триста человек, директора три месяца таскают по судам и, в конце концов, оправдывают за отсутствием состава преступления. Хакер пишет письмо в стиле "ну что, видали?".
День 96-ой
Директор покупает специально спроектированные солонки с кодовым замком. Посетители столовой чувствуют, что они в этой жизни чего-то не понимают.
День 97-ой
Хакер обнаруживает, что дырки в солонках пропускают соль в обе стороны. И не только соль, а вообще всё, что угодно. Он пишет возмущенное письмо директору и ссыт во все солонки столовой. Триста человек перестают посещать эту столовую вообще, тридцать попадают в больницы с отравлением. Хакер вдогонку посылает директору смс-ку "Ну как вам?". Директора тем временем три месяца таскают по судам и дают год условно.
День 188-ой
Директор столовой клянется в жизни больше не работать ни в одной столовой, а тихо-мирно грузить лес в Сибири. Инженеры работают над новой солонкой с односторонним клапаном. Официантки тем временем изымают все старые солонки и раздают соль вручную.
День 190-ый
Хакер тырит солонку из столовой и изучает дома её устройство. Пишет гневное письмо директору: "Я, meG@Duc, стырил солонку и нахожу этот факт возмутительным! Любой может стырить солонку из Вашей столовой!" До этого непьющий директор читает письмо, идет домой и выпивает водки.
День 193-ый
Хакер обнаруживает, что все солонки в столовой прибиты цепями к столам. Он приезжает на очередной хакерский СПРЫГ и докладывает о своих успехах, получая там заслуженную награду за защиту интересов общества и потребителя. К счастью, директор ничего про это не знает и не сопьется раньше времени.
День 194-ый
В рамках дьявольски гениально продуманной операции хакеры всем СПРЫГом вламываются в столовую и высыпают соль из всех солонок себе в карманы. Хакер meG@Duc пишет возмущенное письмо директору, намекая на то, что никакой заботы о посетителях в столовой нет и любой гад может лишить честных людей соли в одно мгновение. Дозатор соли с авторизацией необходим просто позарез.
Инженеры в поте лица работают над новой солонкой, пока официантки опять раздают соль вручную. Директор уезжает в отпуск на Сейшельские острова и обедает только в номере, избегая столовых, ресторанов и баров.
День 200-ый
Посетители столовой с ужасом находят, что, чтобы насыпать соли, они должны подойти к официанту, предьявить паспорт, получить специальный 8-значный одноразовый код к солонке. Для получения перца процедуру следует повторить.
Хакер приходит в общественную столовую и с возмущением обнаруживает, что солонку на столе может открутить кто попало и насыпать туда что угодно. Хакер приходит домой и пишет гневное письмо директору столовой: "Я, meG@Duc, обнаружил уязвимость солонки в Вашей столовой. Злоумышленник может вскрыть солонку и насыпать туда яду! Примите меры срочно!"
День второй
Директор среди прочих деловых писем, запросов о поставках еды и курьерских уведомлений получает письмо, и пожимает плечами: "Кому этот бред только в голову пришёл?"
День пятый
Хакер приходит в столовую, насыпает во все солонки яду. Погибает триста человек, директора три месяца таскают по судам и, в конце концов, оправдывают за отсутствием состава преступления. Хакер пишет письмо в стиле "ну что, видали?".
День 96-ой
Директор покупает специально спроектированные солонки с кодовым замком. Посетители столовой чувствуют, что они в этой жизни чего-то не понимают.
День 97-ой
Хакер обнаруживает, что дырки в солонках пропускают соль в обе стороны. И не только соль, а вообще всё, что угодно. Он пишет возмущенное письмо директору и ссыт во все солонки столовой. Триста человек перестают посещать эту столовую вообще, тридцать попадают в больницы с отравлением. Хакер вдогонку посылает директору смс-ку "Ну как вам?". Директора тем временем три месяца таскают по судам и дают год условно.
День 188-ой
Директор столовой клянется в жизни больше не работать ни в одной столовой, а тихо-мирно грузить лес в Сибири. Инженеры работают над новой солонкой с односторонним клапаном. Официантки тем временем изымают все старые солонки и раздают соль вручную.
День 190-ый
Хакер тырит солонку из столовой и изучает дома её устройство. Пишет гневное письмо директору: "Я, meG@Duc, стырил солонку и нахожу этот факт возмутительным! Любой может стырить солонку из Вашей столовой!" До этого непьющий директор читает письмо, идет домой и выпивает водки.
День 193-ый
Хакер обнаруживает, что все солонки в столовой прибиты цепями к столам. Он приезжает на очередной хакерский СПРЫГ и докладывает о своих успехах, получая там заслуженную награду за защиту интересов общества и потребителя. К счастью, директор ничего про это не знает и не сопьется раньше времени.
День 194-ый
В рамках дьявольски гениально продуманной операции хакеры всем СПРЫГом вламываются в столовую и высыпают соль из всех солонок себе в карманы. Хакер meG@Duc пишет возмущенное письмо директору, намекая на то, что никакой заботы о посетителях в столовой нет и любой гад может лишить честных людей соли в одно мгновение. Дозатор соли с авторизацией необходим просто позарез.
Инженеры в поте лица работают над новой солонкой, пока официантки опять раздают соль вручную. Директор уезжает в отпуск на Сейшельские острова и обедает только в номере, избегая столовых, ресторанов и баров.
День 200-ый
Посетители столовой с ужасом находят, что, чтобы насыпать соли, они должны подойти к официанту, предьявить паспорт, получить специальный 8-значный одноразовый код к солонке. Для получения перца процедуру следует повторить.
👍26😁14🤡3💩2