ASR в гугле не очень признает ChatGPT (ChachiBT 😃)

Qwen3-Omni-30B-A3B-Captioner

Тут Qwen на днях выпустили модель, которая хорошо умеет описывать аудио файлы.

То есть у нее хороший audio understanding, и тут разговор не про распознавание речи. Модель понимает:

multiple speaker emotions, multilingual expressions, and layered intentions. It can also perceive cultural context and implicit information within the audio, enabling a deep comprehension of the underlying meaning behind the spoken words. In non-speech scenarios, the model demonstrates exceptional sound recognition and analysis capabilities, accurately distinguishing and describing intricate layers of real-world sounds, ambient atmospheres, and dynamic audio details in film and media.

Я прогнал через модель звук из видео «Бурановские Бабушки»: В кругу друзей. (всего 223 просмотра — поднажмем!) Получилось достаточно хорошо (см. скрин). Модель даже понимает, к какой секунде относится каждая часть контента.

НО! Нельзя задать промпт, модель принимает только аудио. То есть нельзя, например, попросить оценить акцент вашей речи, — можно только получить полное общее описание.

Вопрос — в каком продукте такая модель могла бы понадобиться?

⛏ модель
😛 демка

This is misspelled, but we can't change it because that would be a breaking change

👋 Забавная "бага" в либе openai-agents-python

ps
правильно: occured -> occurred

Qwen3-VL

Наконец вышли завершающие размеры в серии Qwen3-VL — 4B и 8B.

В двух форматах: instruct и thinking
И в двух точностях: bf16 и fp8

До этого вышли MoE версии: 235B-A22B, 30B-A3B

Qwen-VL это моя любимая модель ♥️, мне понравилось с ней работать в поколении Qwen2.5-VL. На моей задачи многоклассовой классификации удалось выбить ~0.95 F1

Я пробовал gemma-3(n), SmolVLM(2), Phi-4, Phi-3.5 — все они так себе. Только Kimi-VL хорошо работала, но была существенно тяжелее.

В планах попробовать Qwen3-VL для text-only задач. Кажется, должна работать прям хорошо

⛓️ Коллекция на хагинфейсе

Попался, Atlas Chrome!

Залогинился в твиттер через новый браузер от OpenAI — Atlas.

И мне твиттер вот такой имейл прислал 😰

Claude до сих пор не поддерживает structured output?

В 2025 это must have

Да, claude сможет работать с простыми JSON схемами на выходе.

НО если у меня вложенная структура? Десятки разных enum типов? Ограничение на длину списков и тд?

Показывать пример JSON-а в промпте? — this is so 2023

К счастью, хотя бы tool use у них со строгой схемой.

Еще и API-шка супер дорогая, еще и кредиты (покупные!) сгорают за год. Они у меня так сожгли пару десятков долларов 😱

Кто как Claude использует? 4.5 sonnet в курсоре? Как-то еще?