Nvidia выпустила NVLM 1.0 – собственную мультимодальную LLM, которая на некоторых тестах опережает GPT-4o

NVLM 1.0 (NVIDIA Vision Language Model) – это семейство открытых мультимодальных LLM, состоящее из моделей NVLM-D (Decoder-only Model), NVLM-X (X-attention Model) и NVLM-H (Hybrid Model) на 34B и 72B.

Модели особенно хорошо показывают себя на визуальных задачах. Например, на OCRBench NVLM-D обогнала даже GPT-4o. На вопросах по математике модель тоже выделяется: обгоняет Gemini и всего на 3 пункта отстает от Claude 3.5.

Архитектура у всех трех примерно одинковая, не считая обработку изображений. NVLM-D использует для картинок предобученный энкодер, который соединен с обычным двухслойным перцептроном (эффективно по параметрам, но кушает много GPU). NVLM-Х же для обработки токенов изображения использует cross-attention (не очень эффективно, зато лучше обрабатывает картинки с высоким разрешением). NVLM-H стала чем-то средним.

Больше технических деталей можно найти в статье. Веса самих моделей скоро можно будет найти на Hugging Face, а в этом репозитории лежит код.