😸Филимон в поисках лучшего инструмента для обработки аудиоконтента. Pisets от ученых из Новосибирска

🥶В статье Pisets: A Robust Speech Recognition System for Lectures and Interviews авторы представили улучшенный подход преобразования речи в текст, адаптированный под длинные аудиозаписи (лекции, интервью), с фокусом на точность распознавания.

Современные ASR-модели (модели автоматического распознавания речи), включая Whisper (модель глубокого обучения от OpenAI), при работе с длинными записями склонны накапливать ошибки, а также генерировать галлюцинации. В результате смысл текста искажается, особенно в шумных или сложных акустических условиях.

Чтобы решить проблему, авторы статьи предлагают трехкомпонентную архитектуру:
1️⃣Wav2Vec2 — выделяет участки, содержащие речь, помогая отсеять пустые или сегменты c шумом.
2️⃣AST (Audio Spectrogram Transformer) — дополнительная фильтрация ложноположительных фрагментов, которые могли быть ошибочно приняты за речь.
3️⃣Whisper — финальное распознавание текста уже на предварительно очищенном аудио.

Чего удалось добиться и как?
Такой подход позволил уменьшить долю шумов и ложноположительных сегментов перед передачей в модель распознавания, что снизило количество ошибок и галлюцинаций. Кроме того, обучение на разнообразных аудиоматериалах русской речи и учет уверенности модели в распознавании отдельных слов повысило стабильность системы в сложных акустических условиях.

🎯Результаты
В сравнении Pisets и WhisperX на датасете длинных аудиолекций результаты следующие:
🔹WER (Word Error Rate):
Pisets — 0.1065, WhisperX — 0.1683. Это означает, что Pisets делает меньше ошибок по словам (около 10,6% против 16,8%), то есть формально точнее распознает речь.
🔹BERT‑score:
Pisets — 0.9652, WhisperX — 0.9479. Более высокий BERT‑score показывает, что Pisets лучше сохраняет смысл распознанного текста, даже если отдельные слова отличаются, снижая риск галлюцинаций модели.

Эти результаты показывают, что Pisets делает меньше формальных ошибок (более низкий WER) и сохраняет лучше семантику речи (BERT‑score выше) по сравнению с WhisperX на длинных записях.

Писец — лицо, занимавшееся перепиской или составлением рукописей и рукописных книг в древней Руси. Аналогично работает система в посте.

😸Филимон отправляется распознавать звуки тишины

😸Филимон продолжает докладывать о новостях в мире ИИ

В 2023-2024 годах рынок ИИ обсуждал в первую очередь большие языковые модели: какие точнее отвечают, какие лучше кодят. Но к 2026 фокус сместился. Главный вопрос больше не "насколько хорошо модель генерирует ответ?", а "что она может сделать?".
🧠Так началась эра автономных AI-агентов — систем, которые не просто разговаривают, а действуют.

⭐️OpenClaw — самый яркий пример
Это open-source агент, который можно запускать локально и расширять под собственные задачи. В отличие от классических LLM, он не ждет пошаговых инструкций. Пользователь ставит задачу высокого уровня, а агент сам формирует план, выбирает инструменты, выполняет действия, проверяет результат и корректирует стратегию.

Как об этом узнал мир?
В конце 2025 года австрийский разработчик Питер Штайнбергер выложил на GitHub небольшой проект — способ общаться с AI прямо в мессенджере, то есть в привычном чате вроде Telegram, без отдельного сайта или интерфейса модели. Изначально это был личный эксперимент, но аудитория быстро поняла, что это не просто интерфейс для переписки с моделью, а архитектура полноценного автономного агента, способного выполнять реальные действия. Репозиторий начал стремительно расти — тысячи звезд в первый день, десятки тысяч через несколько дней. Проект стал вирусным и превратился в самый быстрорастущий AI-репозиторий на Github благодаря демонстрации реальной пользы, а не маркетингу.

⚙️Как это устроено?
Технически OpenClaw — это система, где языковая модель работает внутри агента, а не сама по себе. Агент принимает задачу, обращается к LLM за анализом, получает план действий, выбирает инструмент, выполняет шаг и проверяет результат. Если нужно, он корректирует план и продолжает работу. Модель отвечает за рассуждение, а агент управляет процессом и действиями в системе.

Главная ценность OpenClaw в расширяемости. Через плагины он может работать с почтой и календарем, файлами, API, браузером, скриптами и другими сервисами.
Ему можно поручить:
🔹разобрать входящие письма
🔹подготовить отчет
🔹собрать метрики
🔹проанализировать код
— и это не все, что он умеет.

Еще один важный момент — локальный запуск. Систему можно развернуть у себя и самостоятельно определить, к каким данным у нее есть доступ и какие действия ей разрешены. В эпоху автономных агентов вопрос доверия стал особенно важным, и такой подход помогает сохранить контроль и снизить риски.

💔Но не все так волшебно, это важно понимать
Агент зависит от качества LLM, может ошибаться в планировании и требует технической настройки. Это не коробочный продукт, а инженерная платформа. Автономность — одновременно сила и зона ответственности.

AI теперь не только думает, но и действует.
Возможно, уже в ближайшие годы локальный AI-агент станет таким же привычным инструментом, как мессенджер🤔

😸Филимон убегает продолжать исследовать рынок ИИ