Аналитика 4 LLM-моделей: готовый фреймворк для выбора в LegalTech

Вчера закончила сравнение четырёх моделей, которые тестировали юристы. Делюсь не только выводами, но и методологией, она может быть полезна, если у вас похожая задача.

Итоговая матрица тестирования (после отборки) вышла такая: 4 модели, 30 вопросов, 4 ключевых критерия (К1, К2, К3, К4), и N-количество респондентов.

На бумаге все критерии «равны», но в реальном продукте это не так.

Для юриста важнее, чтобы бот дал правильный и подтверждаемый ответ с корректными ссылками, чем чтобы текст был идеальным по структуре. Структуру потом можно причесать через промпт-инжиниринг. Неправильный же ответ — это деньги и репутация.

Поэтому проверяла три гипотезы:
1. все критерии равнозначны,
2. сначала отсекаем «балластную» модель по критическим провалам,
3. даем вес критериям с точки зрения реального UX юриста (К1, К2, К4 важнее К3).

Что получилось:
– При равных весах стабильно лидирует Модель 3, Модель 4 замыкает список.
– По доле критических ошибок (ответ «1» по всем критериям) Модели 1–3 ведут себя одинаково (≈13%), а Модель 4 проваливается (≈31%) на меньшей выборке — это красный флаг для продакшена.
– При введении весов (К1, К2, К4 > К3) порядок моделей не меняется: Модель 3 все равно на первом месте, Модель 4 — кандидат на исключение из тестов. При этом, если менее важному критерию присвоить вес такой же, как и другим важным, и убрать вес значимости у и так очевидного критерия, то К3 ощутимо поднимается по среднему.

Так-то)) Хорошо варьировать веса под разную аудиторию: юристу важно то, что не особо важно при сборке образовательного курса, например.

Вывод: даже при разных подходах к оценке (равные веса, веса по важности для юриста, анализ критических провалов) ранжирование устойчиво. В продакшн логично брать Модель 3, Модель 4 не дорабатывать и выкидывать на этапе тестирования. Улучшение К3 (соответствие CREAC, например) стоит выносить в зону промпт‑инжиниринга и интерфейса, а не в базовый критерий выбора модели.

#LegalTech #LLM #Аналитика #ИИ #AI #PromptEngineering #LegalPromptEngineering

Привет, это я !

Заливаю свои мюсли, чтобы иметь точку вдохновения:
«В любом размытом споре, где каждый отстаивает свою точку зрения на *здесь могла бы быть ваша реклама, но здесь всего полтора землекопа читателей*, достаточно сказать, что
1. ваши фундаментальные допущения не сходятся, полемика не состоятельна,
2. вам интересны в жизни другие вещи».

Как ребятам из Euclid, которые собрали самую большую на сегодняшний день модель Вселенной. Такие новости.

Всё.
Вы великолепны.
Пользуйтесь.