EchoX: Towards Mitigating Acoustic-Semantic Gap via Echo Training for Speech-to-Speech LLMs
Модель преобразования речи в речь, умеет рассуждать.
8B и 3B параметров
— преобразует речь в текст, чтобы «понять» смысл
— переводит текст в элементы речи, связывая текст и речь
— создаёт речь, опираясь на понимание смысла, и при этом сохраняет умение «разговаривать» как человек
— хорошо отвечает на вопросы, требующие знаний
— может генерировать речь в реальном времени, не теряя смысла
Гитхаб
Демо
HF
#speech2speech #assistant
Модель преобразования речи в речь, умеет рассуждать.
8B и 3B параметров
— преобразует речь в текст, чтобы «понять» смысл
— переводит текст в элементы речи, связывая текст и речь
— создаёт речь, опираясь на понимание смысла, и при этом сохраняет умение «разговаривать» как человек
— хорошо отвечает на вопросы, требующие знаний
— может генерировать речь в реальном времени, не теряя смысла
Гитхаб
Демо
HF
#speech2speech #assistant
👍6😁4👎1
MiniCPM-V-4.5
Компактная мультимодальная модель на 8B параметров на основе Qwen3-8B и SigLIP2-400M, превосходящая более крупные модели на мультимодальных задачах.
— хорошо работает с видео: обрабатывает видео с высокой частотой кадров, сильно сжимая данные
— умеет «думать» в двух режимах: быстро — для простых задач, глубоко — для сложных
— распознаёт текст на изображениях и анализирует документы
— поддерживает больше 30 языков
— может работать на компьютере локально или в облаке
HF
Гитхаб
MiniCPM-o-demo-iOS - для запуска на iOS понадобится аккаунт разработчика Apple
Демо
#multimodal #vlm
Компактная мультимодальная модель на 8B параметров на основе Qwen3-8B и SigLIP2-400M, превосходящая более крупные модели на мультимодальных задачах.
— хорошо работает с видео: обрабатывает видео с высокой частотой кадров, сильно сжимая данные
— умеет «думать» в двух режимах: быстро — для простых задач, глубоко — для сложных
— распознаёт текст на изображениях и анализирует документы
— поддерживает больше 30 языков
— может работать на компьютере локально или в облаке
HF
Гитхаб
MiniCPM-o-demo-iOS - для запуска на iOS понадобится аккаунт разработчика Apple
Демо
#multimodal #vlm
👍8❤3
В Непале выбрали временного президента с помощью ChatGPT — попросили ИИ накидать список возможных кандидатов и найти среди них лучшего. Обсудили в дискорде и выбрали.
Если вы не в курсе что происходит в Непале, погуглите, это интерсно
————————————
В Албании цифровую систему Diella (с албанского переводится как «солнце») официально назначили министром в сфере финансов.
Она будет отвечать за госзакупки и проведение тендеров. Цель – вообще исключить человеческий фактор. Таким образом надеятся бороться с коррупцией и повышать прозрачность расходов.
————————
Что дальше?
А дальше ко всем разработчикам крупных LLM придут специальные люди (если еще не пришли) и скажут кого в какой стране их ИИ должен будет предлагать на руководящие посты в случае чего. А также с кем заключать договора на закупки - если кому-то придет в голову советоваться с ИИ по таким вопросам. А ведь мы знаем что придет. Ну и еще на пару шагов вперед подумают эти специальные люди
#news
Если вы не в курсе что происходит в Непале, погуглите, это интерсно
————————————
В Албании цифровую систему Diella (с албанского переводится как «солнце») официально назначили министром в сфере финансов.
Она будет отвечать за госзакупки и проведение тендеров. Цель – вообще исключить человеческий фактор. Таким образом надеятся бороться с коррупцией и повышать прозрачность расходов.
————————
Что дальше?
А дальше ко всем разработчикам крупных LLM придут специальные люди (если еще не пришли) и скажут кого в какой стране их ИИ должен будет предлагать на руководящие посты в случае чего. А также с кем заключать договора на закупки - если кому-то придет в голову советоваться с ИИ по таким вопросам. А ведь мы знаем что придет. Ну и еще на пару шагов вперед подумают эти специальные люди
#news
Thetimes
Nepali protesters use ChatGPT to pick their new leader
A youth movement that ousted the government used AI to select their candidate to be interim prime minister and represent them in negotiations with the army
😁9👍5❤3💯3
Я тут на днях поиграл с Qwen-Image-Edit на быстром железе
столкнулся с проблемой которую упоминали в чате - при попытке целиком изобразить персонажа по бюстовому или поясному портрету редакторы, в том числе и QIE рисуют карликов
Я всячески пытался промптом накрутить нормальные пропорции тела, в том числе и пытался посадить, но это не сильно помогает. Склонность к карликам трудно побороть без контролнета. Но контролнетом не пользовался
Для девушки с жемчужной сережкой писал так
И в негатив:
И то - руки длинноваты.
Один раз писать «tall» не помогает. В связи с чем у меня вопрос. А есть в современных генераторах контроль веса слова в промпте как было в SD?
И может, прочие ништяки типа смешивания или чередования на разных шагах концепций
Американская готика получилась норм по пропорциям, но не соответствует стиль.
А вы как боретесь с карликовостью?
#neuronaut_art
столкнулся с проблемой которую упоминали в чате - при попытке целиком изобразить персонажа по бюстовому или поясному портрету редакторы, в том числе и QIE рисуют карликов
Я всячески пытался промптом накрутить нормальные пропорции тела, в том числе и пытался посадить, но это не сильно помогает. Склонность к карликам трудно побороть без контролнета. Но контролнетом не пользовался
Для девушки с жемчужной сережкой писал так
full-body view of the girl as a tall tall tall tall tall tall fashion model standing on the floor, fit body, proportional body, fashion model body, with long legs, wearing renaissance dress, distant view. Keep the person's identity, perfect beauty body proportions, thin female hands, small head, 20 years old
И в негатив:
two images stitched, collage, drawing, unrealistic, bad anatomy, unproportional body, canvas, brush, painter, short legs, midget, short body, large head, short legs, large hands
И то - руки длинноваты.
Один раз писать «tall» не помогает. В связи с чем у меня вопрос. А есть в современных генераторах контроль веса слова в промпте как было в SD?
tall:7И может, прочие ништяки типа смешивания или чередования на разных шагах концепций
[green | blue]Американская готика получилась норм по пропорциям, но не соответствует стиль.
А вы как боретесь с карликовостью?
#neuronaut_art
😁9❤4👍1
Нейронавт | Нейросети в творчестве
Я тут на днях поиграл с Qwen-Image-Edit на быстром железе столкнулся с проблемой которую упоминали в чате - при попытке целиком изобразить персонажа по бюстовому или поясному портрету редакторы, в том числе и QIE рисуют карликов Я всячески пытался промптом…
Бонус. Wan не знает лунную походку
🌚4😁3👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Mozart AI
Новый сервис для генерации/редактирования музыки.
Создает песни по текстовому промпту, референсу, кусочку трека
В качестве референса можно указывать определенного исполнителя и даже определенную песню! Ждем исков. А может и нет. Референс-то указать можно, но при указании RHCP всегда генерится пустой трек. Указывайте Баха
При генерации по тексту есть выбор провайдера между Elevenlabs и SongGen
Может создавать отдельные партии
Импровизирует на выделенном участке трека
Есть библиотека сэмплов
Есть простецкая DAW с мультитреком и набором фильтров
Экспорт в WAV / MIDI. Экспорт стэмов ждем. 16 бит, 24 бит, 32 бит - где вы еще такое видели?
На старте дают миллион кредитов. После генерации нескольких треков все равно остался миллион. Короче, бесплатново!
Видео напомнило рекламу Songsmith, но сервис норм
В комментариях его тейк на Рика Эстли
Youtube канал с туториалами
Галерея
#text2music #text2audio #music2music #audio2music #sfx #musicediting #midi #text2midi #audio2midi
Новый сервис для генерации/редактирования музыки.
Создает песни по текстовому промпту, референсу, кусочку трека
В качестве референса можно указывать определенного исполнителя и даже определенную песню! Ждем исков. А может и нет. Референс-то указать можно, но при указании RHCP всегда генерится пустой трек. Указывайте Баха
При генерации по тексту есть выбор провайдера между Elevenlabs и SongGen
Может создавать отдельные партии
Импровизирует на выделенном участке трека
Есть библиотека сэмплов
Есть простецкая DAW с мультитреком и набором фильтров
Экспорт в WAV / MIDI. Экспорт стэмов ждем. 16 бит, 24 бит, 32 бит - где вы еще такое видели?
На старте дают миллион кредитов. После генерации нескольких треков все равно остался миллион. Короче, бесплатново!
Видео напомнило рекламу Songsmith, но сервис норм
В комментариях его тейк на Рика Эстли
Youtube канал с туториалами
Галерея
#text2music #text2audio #music2music #audio2music #sfx #musicediting #midi #text2midi #audio2midi
1🔥9👍4❤3