#полезное
🛞 Абсолютно проклятый бенч для VLM

Визуальные модели крайне подвержены стереотипам — например, если на изображении добавить лишний палец человеку или у пумы пририсовать лишнюю ногу, модели всё равно будут отвечать как-будто бы видят оригинал, игнорируя реальные изменения в картинке. VLMBias использует отфотошопленные картинки чтобы проверить, насколько модели реально думают об их содержании, а не просто запоминают ответ.

В среднем точность на таких отретушированных изображениях падает до 17 %, причём ~76% ошибок совпадали с заранее заданным предвзятым ответом из знаний модели, а добавление в изображение названий брендов вроде Adidas делало результаты ещё хуже (а это авторы ещё не пробовали Abibas).

Чтобы выявить, когда модель полагается на заученные ассоциации вместо анализа картинки, авторы генерируют пары знакомых объектов и их слегка изменённых версий. Тестируются 7 доменов — от животных и логотипов до шахмат, флагов, оптических иллюзий и искусственно созданных паттернов.

6 из 7 категорий генерируются и модифицируются автоматически, а человек только проверяет результаты. Для редактирования обычных изображений используют Gemini Flash и GPT Image Generation, а для SVG — o4-mini. Похожий пайплайн можно легко использовать для генерации adversarial синтетических данных, чтобы натренировать LLM реально смотреть на картинки, а не прибегать к стереотипам.
vlmsarebiased.github.io

👉Новости 👉База вопросов

#полезное
👨‍💻 Imagen 4, SOTA txt2img модель от Google, появилась в официальном API

На Artificial Analysis Image Arena Leaderboard модель пока сидит на 3м месте, при этом ultra версия уже успела занять топ-1 на арене от LMSYS.

Цены: $60/$40/$20 за 1000 изображений для режимов Ultra, Standard и Fast соответственно. В режиме Fast картинка генерируется за пару секунд. В Ultra, даже в разрешении 2K, — около 20 секунд, что в разы быстрее той же GPT. Но, к сожалению, без редактирования текстом

👉Новости 👉База вопросов