😸Филимон в поисках лучшего инструмента для обработки аудиоконтента. Pisets от ученых из Новосибирска

🥶В статье Pisets: A Robust Speech Recognition System for Lectures and Interviews авторы представили улучшенный подход преобразования речи в текст, адаптированный под длинные аудиозаписи (лекции, интервью), с фокусом на точность распознавания.

Современные ASR-модели (модели автоматического распознавания речи), включая Whisper (модель глубокого обучения от OpenAI), при работе с длинными записями склонны накапливать ошибки, а также генерировать галлюцинации. В результате смысл текста искажается, особенно в шумных или сложных акустических условиях.

Чтобы решить проблему, авторы статьи предлагают трехкомпонентную архитектуру:
1️⃣Wav2Vec2 — выделяет участки, содержащие речь, помогая отсеять пустые или сегменты c шумом.
2️⃣AST (Audio Spectrogram Transformer) — дополнительная фильтрация ложноположительных фрагментов, которые могли быть ошибочно приняты за речь.
3️⃣Whisper — финальное распознавание текста уже на предварительно очищенном аудио.

Чего удалось добиться и как?
Такой подход позволил уменьшить долю шумов и ложноположительных сегментов перед передачей в модель распознавания, что снизило количество ошибок и галлюцинаций. Кроме того, обучение на разнообразных аудиоматериалах русской речи и учет уверенности модели в распознавании отдельных слов повысило стабильность системы в сложных акустических условиях.

🎯Результаты
В сравнении Pisets и WhisperX на датасете длинных аудиолекций результаты следующие:
🔹WER (Word Error Rate):
Pisets — 0.1065, WhisperX — 0.1683. Это означает, что Pisets делает меньше ошибок по словам (около 10,6% против 16,8%), то есть формально точнее распознает речь.
🔹BERT‑score:
Pisets — 0.9652, WhisperX — 0.9479. Более высокий BERT‑score показывает, что Pisets лучше сохраняет смысл распознанного текста, даже если отдельные слова отличаются, снижая риск галлюцинаций модели.

Эти результаты показывают, что Pisets делает меньше формальных ошибок (более низкий WER) и сохраняет лучше семантику речи (BERT‑score выше) по сравнению с WhisperX на длинных записях.

Писец — лицо, занимавшееся перепиской или составлением рукописей и рукописных книг в древней Руси. Аналогично работает система в посте.

😸Филимон отправляется распознавать звуки тишины