#полезное
🛞 Абсолютно проклятый бенч для VLM

Визуальные модели крайне подвержены стереотипам — например, если на изображении добавить лишний палец человеку или у пумы пририсовать лишнюю ногу, модели всё равно будут отвечать как-будто бы видят оригинал, игнорируя реальные изменения в картинке. VLMBias использует отфотошопленные картинки чтобы проверить, насколько модели реально думают об их содержании, а не просто запоминают ответ.

В среднем точность на таких отретушированных изображениях падает до 17 %, причём ~76% ошибок совпадали с заранее заданным предвзятым ответом из знаний модели, а добавление в изображение названий брендов вроде Adidas делало результаты ещё хуже (а это авторы ещё не пробовали Abibas).

Чтобы выявить, когда модель полагается на заученные ассоциации вместо анализа картинки, авторы генерируют пары знакомых объектов и их слегка изменённых версий. Тестируются 7 доменов — от животных и логотипов до шахмат, флагов, оптических иллюзий и искусственно созданных паттернов.

6 из 7 категорий генерируются и модифицируются автоматически, а человек только проверяет результаты. Для редактирования обычных изображений используют Gemini Flash и GPT Image Generation, а для SVG — o4-mini. Похожий пайплайн можно легко использовать для генерации adversarial синтетических данных, чтобы натренировать LLM реально смотреть на картинки, а не прибегать к стереотипам.
vlmsarebiased.github.io

👉Новости 👉База вопросов

#полезное
👨‍💻 Imagen 4, SOTA txt2img модель от Google, появилась в официальном API

На Artificial Analysis Image Arena Leaderboard модель пока сидит на 3м месте, при этом ultra версия уже успела занять топ-1 на арене от LMSYS.

Цены: $60/$40/$20 за 1000 изображений для режимов Ultra, Standard и Fast соответственно. В режиме Fast картинка генерируется за пару секунд. В Ultra, даже в разрешении 2K, — около 20 секунд, что в разы быстрее той же GPT. Но, к сожалению, без редактирования текстом

👉Новости 👉База вопросов

#полезное
❤️‍🔥 Tencent Hunyuan только что выкатили AutoCodeBench — мощный open-source инструмент для проверки способностей ИИ в генерации кода.

Что внутри?
🟠 AutoCodeGen — генерация многоязычных датасетов кода без ручной разметки
🟠 AutoCodeBench — почти 4 000 сложных задач на 20 языках программирования (версии Full / Lite / Complete)
🟠 MultiLanguageSandbox — песочница для работы с поддержкой 30+ языков

C AutoCodeBench можно быстро тестировать LLM в кодинге, сравнивать модели и даже создавать свои бенчмарки.

🟠Статья: arxiv.org/abs/2508.09101
🟠Код: github.com/Tencent-Hunyuan/AutoCodeBenchmark
🟠Датасет: huggingface.co/datasets/tencent/AutoCodeBenchmark

👉Новости 👉База вопросов

#полезное
🏠 Детали DeepSeek V3.1

Самый сильный прирост заметен в агентных бенчах и использованию инструментов. Это гибридная модель, где можно включать и выключать ризонинг. Инстракт режим модели заметно вырос по бенчам по сравнению с V3-0324. А вот прироста у ризонинг режима по сравнению с R1-0528 нет, но ризонинг теперь использует заметно меньше токенов при том же качестве.

Обновили и Base модель для лучшей работы с длинным контекстом — в 10 раз увеличили context extension с 32к токенов и в 3 раза с 128к токенов. Кроме этого модель тренировали в формате совместимом с mxfp8 и mxfp4, которые добавили в Blackwell.

С этим релизом обновили и официальное API — добавили режим совместимый с API Anthropic, так что туда теперь можно подключаться с Claude Code. Длину контекста в API расширили до 128к, плюс начали тестить улучшения для function calling.

Кроме этого с 5 сентября (16:00 UTC) в официальном API будет действовать новый прайсинг — убирают ночные (по китайскому времени) скидки и разницу в прайсинге между ризонинг и инстракт режимами. Новая цена за аутпут — $1.68 за миллион токенов (сейчас $1.1 за инстракт режим и $2.19 за ризонинг). Инпут токены стоят $0.07/миллион если они уже есть в кэше и $0.56 при промахе мимо кэша.

👉Новости 👉База вопросов