Новая статья от DeepMind: учим модели видеть, как люди

Помните класическую детсткую игру "Найди лишнее"? Из нескольких картинок нужно вычеркнуть ту, которая выбивается из общего ряда, по английски называется odd-one-out. Так вот: авторы протестировали на этой игре несколько vision моделей и выяснили, что они далеко не всегда рассуждают, как люди.

Это связано с тем, что модели, даже самые мощные, все еще видят мир иначе, нежели мы. Люди группируют объекты по смыслу, а модели – чаще по визуальным/текстурным признакам. Например, в задаче <морская звезда, кот, лиса> люди выбирают морскую звезду, потому что она живет в воде, а модели – кота, потому что картинка выделяется из цветовой палитры.

Недостаток важный, потому что если модель не структурирует свой внутренний образ мира, как человек, ее решения могут быть алогичными и ненадежными.

Что сделали в DeepMind:

– Взяли большую visual модель, заморозили ее и искусственно пристроили небольшой адаптер, обученный только на датасете с человеческими ответами по odd-one-out.

– Нагенерировали с помощью этой модели гигантский датасет с миллионами решений odd-one-out.

– На основе этого большого датасета дообучали другие модели так, чтобы их внутренние представления стали ближе к человеческой логике группировки.

То есть, вроде как, модельки просто натаскали на какую-то одну детскую игру, ничего удивительного. Но оказалось, что это качественно изменило их скрытое пространство. См. третий скрин: слева модель до элаймента, справа после. Видно, как появляются четкие кластеры, соответствующие человеческой логике (например, животные, еда и тд). Красота же?

А еще такая модель оказалось более устойчивой с точки зрения изменения распределения. Например, если на картинках поменять фон, освещение или другие условия, ее ответы все еще остаются подвластными логике. В целом можно ожидать, что такая модель и генерализоваться будет быстрее обычной.

deepmind.google/blog/teaching-ai-to-see-the-world-more-like-we-do/

OpenAI выпустили довольно интересную статью про интерпретируемость моделей

Сейчас модельки уже во всю помогают принимать решения в медицине, в науке, образовании и тд. Но интерпретировать их ответы мы так и не научились, к сожалению. Многие уповают на интерпретацию через CoT, но это дело очень хрупкое и ненадежное.

OpenAI утверждают: проблема в том, что мы пытаемся распутывать внутренности модели постфактум, когда это уже почти невозможно. Во время обучения модели подбирают миллиарды весов, из которых в итоге получается очень плотная сеть. В итоге поведение модели размазано по массе параметров, и структурировать эту паутину, мягко говоря, сложно.

Вместо этого они предлагают сразу обучать структурно более простую разреженную сетку.

На практике исследователи берут архитектуру, похожую на GPT-2 и ограничивают веса так, чтобы подавляющее большинство было равно нулю. То есть если в обычной плотной сети каждый нейрон связан со всеми из следующего слоя, то здесь остаются связи только с несколькими. Сеть становится более чистой и читаемой.

Это первый шаг. Такая структура сети позволяет для конкретной задачи брать и находить маленькую часть модели, отвечающую за ее решение. В статье это называется circuit. Формально, – минимальный поднабор весов, обладающий необходимостью и достаточностью: то есть если выкинуть все, кроме него, задача все еще будет решаться; а если выкинуть только его, а остальную сеть оставить – нет.

Ну а затем в этом маленьком наборе весов уже можно копаться и непосредственно анализировать поведение сети.

В статье приведен пример с простенькой задачей закрытия кавычки. Модели надо запомнить тип открывающейся кавычки и в конце последовательности поставить такую же. И вот оказывается, что делает она это по определенному логическому алгоритму, заложенному в 5 residual-каналах, двух MLP-слоях и 1 канале аттеншена. На картинке можете посмотреть, как это работает.

Представьте: если за маленькой задачкой скрывается что-то такое, то что можно найти, если посмотреть, как модель решает сложную математику или пишет код?

Короче, подход интересный. И есть даже занятный практический результат, в который нужно вдуматься: чем больше модель и чем более она разреженная, тем проще становятся схемы, реализующие одни те же способности. Makes sense.

Тем не менее, не факт, что если это работает для таких игрушечных моделек, заработает и для больших. К тому же обучать разреженные модельки только ради интерпретируемости никто не будет: слишком дорого и неэффективно.

Но вот если в OpenAI научатся извлекать что-то подобное из уже обученных dense-моделей, будет совсем другой разговор.

openai.com/index/understanding-neural-networks-through-sparse-circuits/