​​Доверчивые ученые и искусственный интеллект
#metascience #ai

Публикация: Messeri, L., Crockett, M.J. Artificial intelligence and illusions of understanding in scientific research. Nature 627, 49–58 (2024).

Сложно представить сферу деятельности, в профессиональную обыденность которой не внедрился искусственный интеллект. Наука не стала исключением. Уже не раз обсуждалась проблематичность этого феномена на примере "галлюцинирующего" GPT, плохой интерпретируемости многих моделей и набивших оскомину этических ограничений. Авторы же вышедшей на днях публикации, проанализировав литературу с примерами использования ИИ в науке, вынесли на поверхность проблемы, относящиеся не столько непосредственно к ИИ как к технологии, сколько к тому, какие ложные ожидания на него накладывают сами учёные.

Авторы выделили роли, которые ИИ уже выполняет в практике учёных:
1. "Оракул": изучение бесконечно растущего пласта научных публикаций, его обобщение, выдвижение гипотез (реальный пример – предсказание комплексных биологических структур);
2. "Суррогат": синтез или аугментация данных, сбор которых в реальности сопряжен с временными и финансовыми затратами;
3. "Аналитик данных": наиболее привычная роль ИИ –автоматизированная обработка огромных массивов данных;
4. "Арбитр": роль, схожая с "оракулом" – анализ отправляемых на рецензию статей (в этом случае ИИ должен быть непредвзятым, уметь оценивать реплицируемость исследования и устранять publication biases).

Какие риски сопровождают эти роли?

Первый риск – это иллюзия глубины понимания (illusion of explanatory depth). Люди не могут охватить все доступные знания, поэтому склонны полагаться на экспертизу других лиц, которых считают авторитетными. Ощущение, что другое лицо понимает изучаемый феномен глубоко, может создавать иллюзию, что и сам человек обладает этим пониманием. Перенос этой иллюзии в сферу ИИ формирует ситуации, в которых высокая точность предсказания модели может создавать ложное ощущение объяснимости феномена. При этом самая точная модель не обязательно должна соотноситься с реальными механизмами, порождающими изучаемые данные. Это может подтверждаться, в частности, существованием эффекта Расёмона в машинном обучении, в соответствии с которым одинаково точные модели могут опираться на взаимоисключающие принципы связей входных данных и целевых переменных.

Второй риск – иллюзия широты исследования (illusion of exploratory breadth). В этом случае учёные ограничивают спектр гипотез только теми, которые возможно адаптировать под использование ИИ. В частности, используя ИИ как "суррогат", симулирующий данные поведения людей, мы можем отдавать предпочтение тем данным, которые моделируются менее проблематично (напр., результаты опросников против данных физически осуществляемых движений). Другие проблемы связаны и с тем, что алгоритмы могут требовать упрощения данных и при универсальном использовании на широком спектре данных порождать не самые точные предсказания.

Третий риск – иллюзия объективности. ИИ может восприниматься как агент, не имеющий точки зрения или учитывающий все возможные точки зрения. На самом же деле ИИ содержит в себе все искажения данных, на которых он обучался, и способов, которыми его обучали и ограничивали.

Все перечисленные риски имеют отношение к исходно существующим когнитивным искажениям, связанным с ситуациями, когда мы делегируем те или иные элементы процесса научного познания как социальной практики или оказываемся частью научной "монокультуры". Грядущая ИИ-центрированность этой монокультуры может снизить разнообразие тестируемых гипотез или используемых подходов, но при этом не исключено, что в ней и без того присутствует большое количество деформаций, которые уже сложно чем-либо испортить.

А пока что самыми безопасными условиями использования ИИ в науке оказываются рутинность выполняемых задач, связь задач с областью экспертизы использующего ИИ учёного, а также осведомлённость учёного о технических и концептуальных ограничениях ИИ в целом.