Дорогие читатели, друзья, коллеги, поздравляю всех с Днём российской науки🔬

Желаю выдающихся открытий, передовых результатов, никогда не сдаваться в процессе исследований и побольше мечтать! Наука - это не только про формулы и законы, но и про удачу, чутьё и целеустремлённость! «Per aspera ad astra» (Через тернии к звёздам) (это всё, что я знаю на латыни — мама в детстве как-то сказала, я запомнил и регулярно вспоминаю это выражение)

У науки нет границ и пусть так остаётся всегда!

У нас тут кстати случилось чудесное событие после одного телефонного звоночка на прошлой неделе)

Разблокировали гитхаб лаборатории — https://github.com/FusionBrainLab 🎉

Все звёзды на месте🔥🔥🔥

⚡⚡⚡Прекрасная новость!
Наша статья про open source фреймворк LLM-Microscope и методы оценки языковых моделей на предмет измерения контекстуальности токенов, нелинейности, logit lens и прочего снова борется за первое место на Hugging Face за звание Paper of the day🏆

Поддержите upvote'ами🙏
Мы пока на втором месте, но верю, что можем на первом оказаться)
Cтатья принята на большую международную конференцию Core A — NAACL 2025

Отдать голос за статью можно тут👇
https://huggingface.co/papers/2502.15007

UPD: Спасибо всем большое🙏 Вы как всегда крутые💪

⚡️+1 Accept на CVPR-2025

Детали о принятой статье расскажу чуть позже😉

Kandinsky в платёжных терминалах по всей стране готовится поздравлять всех женщин и девушек 💐

🎉Всех женщин и девушек, читающих этот канал, сердечно поздравляю с Международным женским днём!

Прекрасно понимаю, что среди читателей представительницы совершенно разных профессий: учёные, преподаватели, студенты, менеджеры, маркетологи, дизайнеры и многие другие. И в каждом деле, в каждой профессии, в доме и в семье вы приносите душевность, нежность, вдохновение и заряжаете окружающих вас мужчин огромным зарядом энергии, оптимизма и стремления совершать открытия💐 Спасибо вам за то, что вы есть каждый день! Мы вам очень-очень благодарны за это💐❤️

На прошлой неделе вышло моё небольшое интервью для @snobru на тему технологической гонки в ИИ в мире. Обсуждали глобальные вызовы, подходы к развитию ИИ в США, Европе и Азии.

Подробнее можно посмотреть по ссылке

M-Attack: как обмануть GPT-4.5 и Gemini

Все привыкли, что атаковать современные мультимодальные модели (типа GPT-4o, Claude, Gemini и т.п.) крайне сложно — особенно, если это black-box модели, где нет доступа к градиентам и архитектуре. Стандартные подходы атак типа "выдать одну картинку за другую" часто генерируют какие-то невнятные шумы, которые либо игнорируются моделью, либо приводят к абстрактным ответам типа "размытое изображение".

Но оказалось, что проблема была не в самих моделях, а в подходе к генерации возмущений. В свежей статье предложили очень простой, но мощный подход — M-Attack:
1. Берём исходную и целевую картинки.
2. На каждом шаге рандомно crop'аем кусок исходного изображения (50-100% площади) и затем ресайзим обратно до исходного размера.
3. Заставляем эмбеддинги этого кусочка максимально приблизиться к эмбеддингам целевого изображения оптимизируясь в white-box режиме по ансамблю открытых визуальных моделей (например, CLIP, ViT и тп).

И всё! После нескольких итераций в центральной области картинки "проявляется" целевая семантика, при этом возмущения выглядят крайне незаметно и аккуратно (в отличие от других подходов).

Авторы добились совершенно впечатляющих результатов: успех атаки (ASR) превышает 90% (!) для GPT-4.5, GPT-4o и даже для o1 и Gemini. Код и датасет из 100 атакованных картинок выложили в открытый доступ.

Статья, GitHub, dataset

⚡️Наша новая статья про прунинг визуальных энкодеров в мультимодальных моделях «When Less is Enough: Adaptive Token Reduction for Efficient Image Representation» снова борется за звание Paper of the day на Hugging Face

Особенность исследования в том, что от 30 до 50% визуальных фичей можно исключить из контекста мультимодальной модели при незначительном проседании в качестве на бенчах. Очень интересный результат, который мы продолжаем проверять на различных задачах - несёт пользу для экономии длины контекста мультимодальных моделей

Немного не хватает до первого места) Будем очень рады и благодарны вашим апвоутам 🔝

https://huggingface.co/papers/2503.16660