Там Яндекс обновил одну из самых полезных своих фич — голосовой перевод в Браузере. Теперь закадровая речь звучит почти как в оригинале — с тембром, интонациями, паузами. Будто англоязычный спикер сходил на курсы русского. В основе технологии — новая генеративная нейронка, которая сначала анализирует оригинальное аудио, переводит его и выделяет особенности голоса.
Чтобы избежать косяков на уровне фонетики, вместо BPE-токенов собрали общую фонемную систему для английского и русского. Чтобы не терять тембр спикера — прикрутили биометрические эмбеддинги, созданные на основе доступных данных. А чтобы всё не звучало как будто записано в кинотеатре на телефон — денойзят промты. За перевод и стилистику речи отвечает языковая модель на базе YandexGPT. Которую, к слову, не так давно международный бенчмарк DiBiMT признал лидером по качеству перевода с английского.
Для управляемости синтеза перевода добавили авто-метрику UTMOS на обучении и держат фиксированное значение — 3.75 на инференсе. А чтобы все это было быстро, оптимизировали инференс: уменьшили количество гипотез в языковой модели и число итераций в диффузионной модели + добавили техники ускорения. В итоге RTF около 0.18.
В общем, совместили фундаментальные исследования из области генеративного ИИ и биометрии с инженерной оптимизацией. Потестить уже можно в поиске Яндекса и через Яндекс Браузер на YouTube, VK Видео, Дзене и Rutube.
Чтобы избежать косяков на уровне фонетики, вместо BPE-токенов собрали общую фонемную систему для английского и русского. Чтобы не терять тембр спикера — прикрутили биометрические эмбеддинги, созданные на основе доступных данных. А чтобы всё не звучало как будто записано в кинотеатре на телефон — денойзят промты. За перевод и стилистику речи отвечает языковая модель на базе YandexGPT. Которую, к слову, не так давно международный бенчмарк DiBiMT признал лидером по качеству перевода с английского.
Для управляемости синтеза перевода добавили авто-метрику UTMOS на обучении и держат фиксированное значение — 3.75 на инференсе. А чтобы все это было быстро, оптимизировали инференс: уменьшили количество гипотез в языковой модели и число итераций в диффузионной модели + добавили техники ускорения. В итоге RTF около 0.18.
В общем, совместили фундаментальные исследования из области генеративного ИИ и биометрии с инженерной оптимизацией. Потестить уже можно в поиске Яндекса и через Яндекс Браузер на YouTube, VK Видео, Дзене и Rutube.
Хабр
Как мы научились сохранять тембр и интонацию спикера при переводе видео в Яндекс Браузере
Осенью 2021 года мы впервые представили пользователям технологию перевода видео в Яндекс Браузере. Этот инструмент быстро стал популярен: с его помощью переведены уже миллионы...
This media is not supported in your browser
VIEW IN TELEGRAM
Проиграл с этих роботов на недавнем робо-полумарафоне проходившем в Китае.
Очень похоже на те случаи, когда ведешь слишком быстро накидавшегося друга из бара
Очень похоже на те случаи, когда ведешь слишком быстро накидавшегося друга из бара
Занимательная география от ChatGPT
Хотя, я сам знаю географию примерно на том же уровне
Хотя, я сам знаю географию примерно на том же уровне
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
NotebookLM от Гугла теперь поддерживает 50+ языков, включая русский.
Загружаете PDF- и аудиофайлы, указываете ссылки на сайты, видео YouTube, документы и презентации Google. NotebookLM будет обобщать всю информацию и проводить интересные связи между темами с помощью мультимодальной ИИ-модели Gemini 2.0.
Пора заводить подкаст, вестимо.
https://notebooklm.google/
@cgevent
Загружаете PDF- и аудиофайлы, указываете ссылки на сайты, видео YouTube, документы и презентации Google. NotebookLM будет обобщать всю информацию и проводить интересные связи между темами с помощью мультимодальной ИИ-модели Gemini 2.0.
Пора заводить подкаст, вестимо.
https://notebooklm.google/
@cgevent
Вы когда-нибудь задумывались, что может рассказать о вас ваша ДНК?
Я — да. И в этом может помочь ДНК-тест от Genotek. Это история не про страхи и болезни, а про понимание: какие особенности тебе достались по наследству, как заботиться о здоровье точнее, где сильные стороны, и откуда вообще ты по происхождению.
У Genotek есть тест «Генетический паспорт», он включает в себя анализ рисков заболеваний, природных способностей, особенностей метаболизма и происхождение — всё в одном. Сдаётся дома, никаких походов в клинику. А потом — консультация с врачом, который всё объяснит.
Если вы, как и я, любите разбираться в себе, то сейчас самое время: заказывайте свой генетический паспорт со скидкой 66% по промокоду NEURAL2
ИМЕЮТСЯ ПРОТИВОПОКАЗАНИЯ. НЕОБХОДИМО ПРОКОНСУЛЬТИРОВАТЬСЯ СО СПЕЦИАЛИСТОМ.
Я — да. И в этом может помочь ДНК-тест от Genotek. Это история не про страхи и болезни, а про понимание: какие особенности тебе достались по наследству, как заботиться о здоровье точнее, где сильные стороны, и откуда вообще ты по происхождению.
У Genotek есть тест «Генетический паспорт», он включает в себя анализ рисков заболеваний, природных способностей, особенностей метаболизма и происхождение — всё в одном. Сдаётся дома, никаких походов в клинику. А потом — консультация с врачом, который всё объяснит.
Если вы, как и я, любите разбираться в себе, то сейчас самое время: заказывайте свой генетический паспорт со скидкой 66% по промокоду NEURAL2
ИМЕЮТСЯ ПРОТИВОПОКАЗАНИЯ. НЕОБХОДИМО ПРОКОНСУЛЬТИРОВАТЬСЯ СО СПЕЦИАЛИСТОМ.
This media is not supported in your browser
VIEW IN TELEGRAM
Сука, это настолько проклято и плохо, что аж хорошо
This media is not supported in your browser
VIEW IN TELEGRAM
Визуализация моего гитхаба