Создан бенчмарк для оценки качества химических языковых моделей 🔖

Учёные Института AIRI разработали инструмент для оценки эффективности нейросетевых языковых моделей в решении сложных химических задач. В отличие от простого извлечения фактов, современные химические LLM испытывают трудности с многоступенчатыми задачами, требующими последовательного логического рассуждения — например, определения продуктов реакции и оценки их свойств.

Новый бенчмарк, созданный на основе комбинации базовых химических задач, имитирует реальные рабочие процессы химиков при разработке лекарств и катализаторов. Исследование показало, что универсальные языковые модели дают содержательные ответы, но профильные химические LLM точнее в решении специализированных задач, хоть и уступают по формальным метрикам.

Исследование подготовили сотрудники группы органической химии центра ИИ-разработки лекарственных препаратов AIDD и группы «Прикладное NLP» под руководством Артура Кадурина и доктора компьютерных наук, старшего научного сотрудника ИСП РАН Елены Тутубалиной. Работа будет представлена на конференции EMNLP 2025.

📎Подробности — в материале ТАСС.

О том, как устроены калькуляторы биологического возраста, и перспективах их применения — читайте в интервью для «Ъ-Науки» ⤵️

Дмитрий Крюков, PhD, руководитель группы исследования биомаркеров лаборатории «Сильный ИИ в медицине» Института AIRI, младший научный сотрудник Центра молекулярной и клеточной биологии Сколтеха, рассказывает:

⚫️что такое биологический возраст и как точнее всего его измерить
⚫️чем отличаются алгоритмы первого и второго поколения в определении биологического возраста
⚫️как «часы старения» могут помочь в медицине: от раннего выявления заболеваний до оценки эффективности новых препаратов
⚫️почему важно создавать международные стандарты и связывать биомаркеры с теорией старения

📎Читайте материал по ссылке.

Новый датасет и алгоритмы помогут врачам кодировать диагнозы 🔖

Учёные Института AIRI совместно с Центром практического ИИ Сбера и Центром индустрии здоровья Сбербанка разработали систему автоматического кодирования диагнозов по Международной классификации болезней (МКБ). Новый тщательно размеченный датасет и алгоритмы позволяют точно сопоставлять диагнозы с корректными МКБ-кодами. После внедрения это позволит снизить административную нагрузку на врачей и улучшить качество медицинской статистики.

В группу исследователей от AIRI вошли доктор компьютерных наук, руководитель группы «Прикладное NLP», старший научный сотрудник ИСП РАН Елена Тутубалина, кандидат математических наук, старший научный сотрудник группы «Мультимодальные архитектуры ИИ» лаборатории «Сильный ИИ в медицине» Александр Нестеров, кандидат биологических наук, руководитель группы «Нейрокогнитивные архитектуры» Пётр Анохин и инженер-исследователь группы «Нейрокогнитивные архитектуры» Владимир Махарев.

Результаты исследования и инструменты опубликованы в открытом доступе и представлены на международной конференции EMNLP 2025.

Научная статья | GitHub | ТАСС