❔ Почему "умный” ИИ может ошибаться там, где вы уверены в нём на 100%

На новогодней стратегической сессии Центра ИИ прозвучали две большие идеи: почему нейросети могут быть точными и при этом нестабильными, и как физика, многомасштабное моделирование и мемристоры меняют траекторию развития ИИ.

Профессор Иван Тюкин, руководитель лаборатории надёжного, адаптивного и доверительного искусственного интеллекта, начал с вопроса, который редко звучит вслух: а что, если у ИИ есть фундаментальные пределы?

🗣Речь шла о кризисе distribution-agnostic learning: могут существовать нейросети, которые точны, хорошо обобщают и выглядят «идеальными», но при этом принципиально неустойчивы.

На конечном наборе точек из обучающих/валидационных данных они могут внезапно «сломаться» — и это поведение нельзя заранее надёжно распознать как системный риск.
Дальше — ещё важнее: даже если существует решение, которое не проявляет нестабильности на найденных «проблемных» точках, у нас нет гарантированного способа понять, что мы пришли именно к нему.

⬆️Более того, такое «устойчивое» решение неизбежно окажется нестабильным на каком-то другом наборе данных/распределений. Попытки стабилизировать модель «поверх» (например, рандомизированным сглаживанием) тоже не дают универсального спасения — на нестабильных точках метод с высокой вероятностью проваливается.
Из этого вытекает неожиданно практичный вывод: этика и моральные нормы в системах принятия решений на эмпирических данных неизбежны — не как лозунг, а как инженерный слой управления тем, что не удаётся закрыть одними гарантиями устойчивости.

Профессор Николай Бриллиантов, руководитель группы «Многомасштабное моделирование и нейроморфные вычисления», рассказал, как соединять ИИ для моделирования - моделирование для ИИ.

Речь про новые методы обучения: Umbrella RL — подход, который опирается на континуальный (по сути бесконечный) ансамбль агентов и непрерывное время и за счёт этого даёт выигрыш на «тяжёлых» задачах.

🔄А также мост между континуальными моделями и атомистикой: RL-подход к многомасштабной молекулярной динамике, где вводятся «квази-атомы», представляющие крупные куски вещества, а их эффективные потенциалы строятся ИИ, чтобы сохранять свойства континуума и при этом точно моделировать критические области.

И, наконец, то, что звучит почти как научная фантастика, но сделано “руками”: нейроморфные вычисления и мемристоры. Николай говорил и про квантовую теорию диффузионных мемристоров для оптимизации их характеристик и технологии, и про концепцию мемристоров на основе суперсмазочности (графен на золоте) в магнитном поле — где изменением поля можно менять режим работы устройства.

🚀В этой логике появляется и провокационная цель - приблизиться к Strong (Emotional) AI, где нейроморфная архитектура пытается моделировать не только «расчёт», но и сложные регуляторные механизмы, вплоть до аналогий с ролью астроцитов и идеей «семи чувств».