«Блеск и нищета нейросеток GPT » – несколько слов о проблемах деменции искусственных интеллектов

За последние несколько месяцев я прочитал немало лекций по ИИ (особенно в образовании) и интерес все только возрастает. Налицо тренд «растущего доверия нейросетевым сервисам» и перекладывания на них целого ряда человеческих функций. Но давайте поговорим немного и о «темной стороне». Контр тренд известный тех специалистам – деградация ИИ.

Новая версия ChatGPT показывает низкий результат на бенчмарке «Простые вопросы»

С бенчмарком с простыми вопросами по википедии (Simple Questions) ChatGPT 4 справляется очень плохо, хуже, чем GPT-3.

Вообще по целому ряду параметров GPT 4 показывает худший результат чем предыдущая версия (картинка выше). Этот феномен уже получил название «ИИ-деменция». В чем причина?

Причина 1️⃣ «Не учи ученого».

Часто одну нейросеть дообучают на данных, сгенерированных другой нейросетью (а не человеком). Эта статья наглядно показывает, что в этом случае новая модель забывает то чему ее обучали изначально.

Причина 2️⃣ «Плохие учителя… »

GPT "тупеет" из-за людей. Раньше модель GPT-3 могла написать код с первого раза с вероятностью 52%, а сейчас GPT-4 только с 10%. Исследователи из Стенфорда доказали, что причина в «свободном до-обучении на пользователях».

Причина 3️⃣ «Подтекание данных»

При обучении моделей возникает «перетекание данных» между датасетами. Команда VK Cloud перевела статью о том, как информация из тестового датасета ошибочно попадает в обучающий, и чем это грозит.

Причина 4️⃣ «Не надо угадывать»

Деградация может быть вызвана самими OpenAI. В частности модуль RLHF вынуждает модель отказываться от ответа, если она в нём не уверена. А вот предыдущая версия GPT-3 просто генерируя «что-то» часто могла угадывать верный ответ.

🏳️ИИ и данные в образовании на канале Дизайн Образования

#ai