Подробнее о новом бенчмарке для проверки долгосрочного планирования LLM в виртуальных RPG-мирaх — в блоге AIRI на Хабре ⤵️

HeroBench — это бенчмарк, выросший из студенческого проекта школы «Лето с AIRI». Основанный на MMORPG-песочнице Artifacts, он проверяет способность больших языковых моделей к сложному многошаговому планированию и выполнению комплексных задач в виртуальной среде.

Ведущий научный сотрудник, руководитель группы «Нейрокогнитивные архитектуры» Института AIRI Пётр Анохин и команда создали адаптированную версию среды, где агенты выполняют задачи по сбору ресурсов, крафту предметов и сражениям с монстрами. В тестировании приняли участие 25 открытых и проприетарных моделей, включая Gemini 2.5-Pro, Claude-4, Grok-4 и GPT-5. Это позволило определить, на какие современные LLM можно полагаться при планировании сложных процессов.

Команда, начавшая работу над бенчмарком ещё на школе: Роман Халиков, Сбер AGI NLP, МГУ, Виктор Волков, ТГУ и Стефан Ребриков, НИЦ Курчатовский институт, ВШЭ.

📎Читайте по ссылке.

«Холодный старт» в рекомендательных системах требует нового подхода 🔖

Учёные Института AIRI сформулировали новый вызов в развитии рекомендательных систем — отсутствие единого подхода к выбору порога «холодного старта».

Анализ статей за последние 3 года на конференции RecSys показал: лишь 10% исследователей объясняют смысл фильтрации датасетов, и ни один не раскрывает обоснование выбранного порога.

Эффект «холодного старта» возникает, когда в системе появляется пользователь или товар с недостаточным числом взаимодействий. Правильный выбор порога фильтрации — ключ к качественным рекомендациям и корректным научным выводам. Сегодня чаще всего используют «5-core» фильтрацию (не менее 5 взаимодействий), но это решение часто принимается «на глаз».

Исследователи AIRI предложили методику автоматического определения оптимального порога, анализируя влияние числа взаимодействий на качество рекомендаций. Они протестировали популярные алгоритмы — SASRec, PureSVD, ItemKNN, EASER — на четырёх разнообразных датасетах (фильмы, косметика, искусство, пиво). Результаты показали, что оптимальный порог зависит от задачи и модели: например, SASRec требует в три раза больше взаимодействий, чем классические методы. Для честной оценки и воспроизводимости результатов важно обосновывать выбор порогов и использовать единые параметры фильтрации при сравнении моделей.

Работа была представлена на ведущей конференции ACM RecSys.

Научная статья | ТАСС

«Зачетку на стол, тянем билет»: нужен ли новый тест Тьюринга для ИИ — колонка в Forbes ⤵️

Андрей Кузнецов, кандидат технических наук, директор лаборатории FusionBrain Института AIRI, рассказывает:

⚫️почему классический тест Тьюринга уже не отражает всех возможностей и ограничений современных ИИ-систем
⚫️какие альтернативные методы оценки ИИ существуют и что они проверяют
⚫️почему сравнивать ИИ с человеком — задача сложная и неоднозначная
⚫️как мультимодальность и коллективный интеллект меняют подходы к оценке ИИ-систем
⚫️зачем нужны бизнес-ориентированные метрики для измерения пользы ИИ

📎Читайте материал по ссылке.