Это страшное слово — деградация
В Твиттере X (иксе? экс? мы пока не разобрались, как это называть) завирусился тред про деградацию GPT-4. За последние пять дней в сети появилось много комментариев и мнений на тему работы модели, а именно ухудшения качества ответов. Но началось все с одного исследования…

Рассказываем!
Недавно вышла научная статья ученых из Стэнфорда и Беркли в которой показано, что версия GPT-4, выпущенная в июне, работает хуже, чем более ранняя версия, выпущенная в марте.

Команда оценивала модели, используя 500 задач, в которых модели должны были определить, является ли число простым. В марте GPT-4 правильно ответил на 488 вопросов, а в июне правильных ответов было всего 12. То есть качество ответов упало с 97.6% до всего лишь 2.4%!

Однако, исследование было проведено странно
Все дело в том, что в эксперименте проверялись только числа, которые на самом деле были простыми. Составных чисел в выборке не было, а это не может не влиять на результаты. В итоге, команда провела более честный тест с простыми и составными числами. И выяснилось, что обе модели весьма некомпетентны в этом отношении — мартовская чаще говорила, что число простое, а июньская — наоборот.

Очевидный вывод состоит в том, что GPT-4 не умеет определять, является ли число простым. Хуже не стало — никогда не было хорошо.

В любом случае, по-прежнему остаются нерешенные проблемы, связанные с ухудшениям в других направлениях, например, генерации кода.

Почему это вообще происходит?
По слухам, OpenAI перешли на использование подмоделей, которые ведут себя также как основная GPT-4, но дешевле в эксплуатации. Когда пользователь задает вопрос, система решает, к какой модели его направить. Вероятно, перенаправление запроса и влияет на серьезные ухудшения в качестве ответов.

Конечно, это тревожный сигнал для тех, кто создает приложения на основе GPT-4. Потому что мы уже не просто восхищаемся тем, что могут делать языковые модели, но выпускаем на их основе сервисы и продукты, а значит толерантность к ошибкам резко снизилась.

Если бы фильм Barbie рассказывал про мир анализа данных…
@leftjoin

Никто не хочет разговоривать с чат-ботами
Старший вице-президент Stepstone по инжинирингу Лукас Макгрегор в своем блоге поднял важную проблему развития современных сайтов и приложений.

Немного истории
Когда в 90-х появились веб-сайты, их создатели представляли себе «customer journey» сильно иначе — они ставили на формирование прочных отношений человек-сайт. Эх, на практике все оказалось иначе.

Спустя некоторое время, главной отправной точкой любого пользовательского пути стали поисковые системы. Еще через несколько лет появились смартфоны и люди смогли запускать приложения непосредственно с экрана своего устройства. А затем на сцену вышли виртуальные помощники: Apple с Siri, а затем Microsoft, Amazon, Яндекс и Google представили аналогичные системы.

Вначале они использовались для простых задач, вроде «Алиса, какая сегодня погода?» и долгое время их главной проблемой был ограниченный уровень языковых навыков. Виртуальные ассистенты могли успешно выполнять простые задачи, но сталкивались с трудностями в понимании сложных запросов пользователей.

Подходим к сути
С развитием больших языковых моделей (LLM) всё стало меняться: теперь виртуальные помощники стали лучше понимать пользователей. Поэтому, вскоре они наверняка станут новой отправной точкой для взаимодействия с онлайн-сервисами. Новое поколение пользователей, обученное общаться с такими системами, не захочет тратить время на общение с сотней отдельных чат-ботов. Вместо этого, пользователи предпочтут использовать единую платформу как посредника для взаимодействия со остальными сервисами.

Таким образом, компаниям стоит уделить внимание интеграции своих продуктов с виртуальными помощниками, чтобы оставаться актуальными и удовлетворять потребности современных пользователей. А не просто выпускать чат-бот или ИИ-интерфейс на сайте, ожидая, что пользователь потратит время, разберется и будет пользоваться им регулярно.

Просто магазинчик цветов в Копенгагене 🇩🇰