Новая статья от DeepMind: учим модели видеть, как люди

Помните класическую детсткую игру "Найди лишнее"? Из нескольких картинок нужно вычеркнуть ту, которая выбивается из общего ряда, по английски называется odd-one-out. Так вот: авторы протестировали на этой игре несколько vision моделей и выяснили, что они далеко не всегда рассуждают, как люди.

Это связано с тем, что модели, даже самые мощные, все еще видят мир иначе, нежели мы. Люди группируют объекты по смыслу, а модели – чаще по визуальным/текстурным признакам. Например, в задаче <морская звезда, кот, лиса> люди выбирают морскую звезду, потому что она живет в воде, а модели – кота, потому что картинка выделяется из цветовой палитры.

Недостаток важный, потому что если модель не структурирует свой внутренний образ мира, как человек, ее решения могут быть алогичными и ненадежными.

Что сделали в DeepMind:

– Взяли большую visual модель, заморозили ее и искусственно пристроили небольшой адаптер, обученный только на датасете с человеческими ответами по odd-one-out.

– Нагенерировали с помощью этой модели гигантский датасет с миллионами решений odd-one-out.

– На основе этого большого датасета дообучали другие модели так, чтобы их внутренние представления стали ближе к человеческой логике группировки.

То есть, вроде как, модельки просто натаскали на какую-то одну детскую игру, ничего удивительного. Но оказалось, что это качественно изменило их скрытое пространство. См. третий скрин: слева модель до элаймента, справа после. Видно, как появляются четкие кластеры, соответствующие человеческой логике (например, животные, еда и тд). Красота же?

А еще такая модель оказалось более устойчивой с точки зрения изменения распределения. Например, если на картинках поменять фон, освещение или другие условия, ее ответы все еще остаются подвластными логике. В целом можно ожидать, что такая модель и генерализоваться будет быстрее обычной.

deepmind.google/blog/teaching-ai-to-see-the-world-more-like-we-do/