Часто, когда мы делимся опытом работы с LLM-based поддержками, нас спрашивают: «Все таки, какая модель лучшая на рынке?»

Мы решили разобраться и поставить окончательную точку в этом вопросе. Выбрали 6 самых популярных моделей в России и за рубежом, чтобы сравнить, как они справятся с разными запросами клиентов.

Оценивали по 5 критериям:

🔸 Понимание проблемы
🔸 Критичные ошибки в матчасти
🔸 Некритичные ошибки в матчасти
🔸 Язык общения
🔸 Структура общения

Бонусом сравнили, как модели работают с претензиями клиентов!

Что получилось — читайте в нашей Базе Знаний по ссылке 🚀

Мы рассказывали, как пересобирали подход к сервису вместе с Timeweb.

Даша и Паша написали большую статью, где делятся впечатлениями о курсе. А также рассказывают про вызовы, которые стояли перед командой поддержки и как они их решали ✨

Не стесняйтесь задавать им вопросы в комментариях!

Привет, ребята!
Это Инга — основательница Supprt.Science.

У нас в канале мало авторских заметок (что считаю упущением), писать тексты про себя и свой опыт как будто всегда некогда, да еще и постоянно ловишь «самозванца». Но эта история дала сил выйти из «коробочки» и позвать вас в SLP @startupleadership. Startup Leadership Program — это образовательная программа для предпринимателей.

В начале года я задалась вопросом, как это для меня быть предпринимателем. Supprt.Science не задумывался, как бизнес, это проект, где мы с командой калибруем свой опыт, занимаемся развитием себя и своих навыков. Но идея того как агентство может стать больше или как я могу сделать что-то больше висела в воздухе (еще висит, но ясно как теперь ее заземлить).

Я учусь и вдохновляюсь об опыт других людей. Меня заряжают истории успеха и истории провалов, в которых много опыта, драйва, эмоций и знаний. SLP — это комбо!

Первое это образовательные модули, которые проходят в формате peer-to-peer, когда твои сокурсники через призму опыта рассказывают про какой-нибудь важный блок в предпринимательстве – как искать Product Market Fit, про фандрейзинг, маркетинг, корпоративные конфликты и т.д.

А потом это Люди. Список выпускников SLP легендарен.

Старт программы 1 октября
Заявки принимаются до 15 сентября | подробнее о программе | заполнить заявку

Когда-то я попала в SLP по рекомендации благодарного выпускника, теперь и моя очередь передать палочку. Откликайтесь, приходите в личку обсудить и задать вопросов! И будем вместе «мечтать о космосе»!

⚔️ Идущие на сравнение ИИ приветствуют тебя

Появилась LLM арена для сравнения языковых моделей на русском языке. Платформа помогает определиться с выбором модели — какая на текущий момент лучше всего решает пользовательские задачи. Лидерборд работает на основании оценок пользователей — вы и сами можете проверить работу моделей и оценить их.

Как тестировать модели на арене:

• Выбираете две модели, например, GPT-4о и YandexGPT Experimental.
• Вводите запрос, на котором хотите протестировать качество ответов.
• Получаете два параллельных ответа от каждой из выбранных моделей.
• Голосуете за ответ, который вам понравился больше.
• Модель, набравшая больше голосов, поднимается в общем рейтинге.

Из классного — текущий рейтинг арены отчасти совпадает с данными нашего последнего исследования LLM, где мы изучали, какие модели лучше всего решают клиентские истории. Впрочем, модели не стоят на месте — в лидеры могут выбиться и другие LLM.

В исследовании мы оценивали модели по качественным критериям, а на арене рейтинг определяется мнением большинства — получается, что интуитивные предпочтения пользователей совпадают и с нашими аналитическими выводами 🙂