Тут Tensor Banana собрал ассистента на русском языке
Talk-llama-fast с поддержкой wav2lip:
- добавил поддержку XTTSv2 и wav-streaming.
- добавил липсинк с видео через wav2lip-streaming.
- уменьшил задержки везде где только мог.
- русский язык и UTF-8.
- поддержка множественных персонажей.
- отстановка генерации при обнаружении речи.
- команды: Google, стоп, переделай, удали всё, позови.
Под капотом:
- STT: whisper.cpp large
- LLM: Mistral-7B-v0.2-Q5_0.gguf
- TTS: XTTSv2 wav-streaming
- lipsync: wav2lip-streaming
- Google: langchain google-serp
Работает на 3060 12 GB,
Видео
Гитхаб
спасибо за наводку @moistofficial
#llm #assiatant
Talk-llama-fast с поддержкой wav2lip:
- добавил поддержку XTTSv2 и wav-streaming.
- добавил липсинк с видео через wav2lip-streaming.
- уменьшил задержки везде где только мог.
- русский язык и UTF-8.
- поддержка множественных персонажей.
- отстановка генерации при обнаружении речи.
- команды: Google, стоп, переделай, удали всё, позови.
Под капотом:
- STT: whisper.cpp large
- LLM: Mistral-7B-v0.2-Q5_0.gguf
- TTS: XTTSv2 wav-streaming
- lipsync: wav2lip-streaming
- Google: langchain google-serp
Работает на 3060 12 GB,
Видео
Гитхаб
спасибо за наводку @moistofficial
#llm #assiatant
Telegram
Tensor Banana
Нейросети и всё такое. https://youtube.com/@tensorbanana
Чат по нейронкам: https://news.1rj.ru/str/+zFDiHuL1iVA1YWMy
Чат с ботами: https://news.1rj.ru/str/+m2TQ5VJLhIRiY2U6
Написать админу и донаты: @talkllamabot
Чат по нейронкам: https://news.1rj.ru/str/+zFDiHuL1iVA1YWMy
Чат с ботами: https://news.1rj.ru/str/+m2TQ5VJLhIRiY2U6
Написать админу и донаты: @talkllamabot
❤12
Forwarded from CG дневничок (Sergey Frolov)
Adobe добавит в Premiere Pro и After Effects ИИ-инструменты, с помощью которых можно будет убирать или добавлять объекты в видео.
В сервис также планируют добавить сторонние генеративные модели, например, Sora от OpenAI, Pika Labs или Runway
Композеры напряглись🤨
В сервис также планируют добавить сторонние генеративные модели, например, Sora от OpenAI, Pika Labs или Runway
Композеры напряглись
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥28👍3
CG дневничок
Adobe добавит в Premiere Pro и After Effects ИИ-инструменты, с помощью которых можно будет убирать или добавлять объекты в видео. В сервис также планируют добавить сторонние генеративные модели, например, Sora от OpenAI, Pika Labs или Runway Композеры напряглись…
YouTube
Generative AI in Premiere Pro powered by Adobe Firefly | Adobe Video
Coming to #PremierePro in 2024: revolutionary #GenerativeAI features like Object Addition, Object Removal, and Generative Extend - powered by our new Adobe Firefly video model.
Early research explorations with our friends at Open AI, Runway and Pika Labs…
Early research explorations with our friends at Open AI, Runway and Pika Labs…
This media is not supported in your browser
VIEW IN TELEGRAM
MagicTime: Time-lapse Video Generation Models as Metamorphic Simulators
Генератор видео, обученный на таймлапсах, в силу чего лучше понимает физику.
От авторов Open-Sora-Plan
Код
Демо
Колаб
#timelapse #text2video
Генератор видео, обученный на таймлапсах, в силу чего лучше понимает физику.
От авторов Open-Sora-Plan
Код
Демо
Колаб
#timelapse #text2video
👍16❤3
CustomNet: Zero-Shot Object Customization with Variable-Viewpoints in Text-to-Image Diffusion Models
Генерация изображений объекта с заданного ракурса в заданной локации с сохранением идентичности самого объекта
Код
Демо
#conditioning #image2image
Генерация изображений объекта с заданного ракурса в заданной локации с сохранением идентичности самого объекта
Код
Демо
#conditioning #image2image
👍7❤1
MindBridge: A Cross-Subject Brain Decoding Framework
Разработка для декодирования мозговой активности, но она пересекается с генерацией изображений.
Метод эффективного обучения генератора картинок на небольшом количестве изображений за счет межобъектных (подскажите как это правильнее перевести) знаний об объектах.
Код
#finetuning #text2image
Разработка для декодирования мозговой активности, но она пересекается с генерацией изображений.
Метод эффективного обучения генератора картинок на небольшом количестве изображений за счет межобъектных (подскажите как это правильнее перевести) знаний об объектах.
Код
#finetuning #text2image
❤4👍2
Stable Diffusion 3 API
Архитектура SD3 еще сырая, и саму модель выкладывать пока не собираются.
Но.
Stability AI открыли зарегистрированным пользователям API доступ к Stable Diffusion 3.
Там каждое телодвижение стоит кредитов. У меня с момента регистрации валяются 25 кредитов. Предполагаю, что и у вас они могут быть. Так что, для тех кто не боится кода - можно попробовать.
Документация
Цены и колаб-ноутбуки
#news #text2image #image2image
Архитектура SD3 еще сырая, и саму модель выкладывать пока не собираются.
Но.
Stability AI открыли зарегистрированным пользователям API доступ к Stable Diffusion 3.
Там каждое телодвижение стоит кредитов. У меня с момента регистрации валяются 25 кредитов. Предполагаю, что и у вас они могут быть. Так что, для тех кто не боится кода - можно попробовать.
Документация
Цены и колаб-ноутбуки
#news #text2image #image2image
❤2
Animatable Gaussians: Learning Pose-dependent Gaussian Mapsfor High-fidelity Human Avatar Modeling
Анимируемые аватары человеков на гауссианах по исходному видео с нескольких ракурсов.
Из входного обучающего видео вытаскивает параметрические заготовки для вида спереди и со спины. Далее для динамического моделирования поз прикручен StyleGAN. Модель подстраивается под одежду, все дела.
И, конечно же,
Код
#humanavatar #gaussian #videoto3D #video2avatar #poseto3D
Анимируемые аватары человеков на гауссианах по исходному видео с нескольких ракурсов.
Из входного обучающего видео вытаскивает параметрические заготовки для вида спереди и со спины. Далее для динамического моделирования поз прикручен StyleGAN. Модель подстраивается под одежду, все дела.
И, конечно же,
Эксперименты показывают, что наш метод превосходит другие современные подходы
Код
#humanavatar #gaussian #videoto3D #video2avatar #poseto3D
🔥10🤯2
OneDiff v1.0.0
Обновка ускорителя SD и SVD OneDiff
Ускорение генерации одной строчкой кода
Гитхаб
#text2image #text2video #tools
Обновка ускорителя SD и SVD OneDiff
Ускорение генерации одной строчкой кода
Гитхаб
#text2image #text2video #tools
❤4
This media is not supported in your browser
VIEW IN TELEGRAM
Dough
Управление генерацией видео через Steerable Motion и Motion Director
Код
Дискорд
#video2video #video2motion #motion2video #conditioning
Управление генерацией видео через Steerable Motion и Motion Director
Код
Дискорд
#video2video #video2motion #motion2video #conditioning
🔥22❤3
This media is not supported in your browser
VIEW IN TELEGRAM
Llama 3
Meta AI выпустили мощную языковую модель. Кроме того что она крутая и бесплатная, она еще умеет шустро рисовать. Но пока только для США
Попробовать здесь (включаем VPN США)
Альтернативная ссылка для всех (только генератор текста)
#assistant #chatbot #text2image #llm #vlm
Meta AI выпустили мощную языковую модель. Кроме того что она крутая и бесплатная, она еще умеет шустро рисовать. Но пока только для США
Попробовать здесь (включаем VPN США)
Альтернативная ссылка для всех (только генератор текста)
#assistant #chatbot #text2image #llm #vlm
👍5