Как добиться от ИИ более точных ответов с оценкой их достоверности

В последнее время использую подход, который увеличивает точность ответов ИИ, помогает снижать галлюцинации и понять, где модель уверена, а где - гадает.

*️⃣В начале диалога с ИИ вставляю такое системное сообщение:

# System:
1. Внимательно прочитай вопрос.
2. Ответь на вопрос с максимальной точностью.
3. Для каждой ключевой части/тезиса твоего ответа:
  - Оцени уверенность (по шкале 1-100).
  - Четко укажи: это точные знания или предположение/логический вывод.
4. Если уверенность в какой-либо части < 70/100, обязательно предложи альтернативу или ясно предупреди о возможной неточности/неполноте.
5. Сформулируй 3 разных ответа на этот вопрос, каждый с оценкой уверенности, как указано. Выбери наиболее достоверный ответ.
6. Приведи источники, если они известны


*️⃣И потом уже задаю основной промт: роль, контекст, вопрос и т.д.

Что дает эта методика?

🔵Качество: точность и обоснованность ответов повышается.

🔵 Четкость: ИИ разбивает ответ на блоки, каждому из которых дает оценку достоверности. Когда модель присваивает каждому утверждению числовую меру уверенности, мы сразу видим, где она действительно «уверена» (например, 90–100), а где лишь предполагает (ниже 70).

🔵Прозрачность: мы видим, как модель рассуждает. Можем сравнить разные логические пути и выбрать самый последовательный.

🔵Контроль над галлюцинациями. Мы сразу видим на чем основаны ответы ИИ и можем быстро выявить "галлюцинации".

Где использовать?

Этот метод объединяет сразу четыре проверенные и эффективные техники промптинга: системную инструкцию, самосогласование, самокритику и оценку уверенности.

И его лучше использовать на задачах, где крайне важна точность, достоверность и глубина анализа.

Недостатки метода

Сразу скажу, что у этой техники есть и недостатки:

🔵 Метод не подходит для получения быстрых ответов, так как мы получаем от ИИ огромные ответы (3 варианта + оценку достоверности+источники и т.д.).

🔵Повышенный расход токенов, так как длина ответа сильно увеличивается. Для некоторых задач это может быть неприемлемым.

🔵Не исключает галлюцинаций в оценке "уверенности" в ответе. Некоторые модели обладают излишней самоуверенностью в своих ответах (например ChatGPT 4o, который откровенно врет и ставит достоверность 100 процентов). DeepSeek в этом плане скромнее и более объективно оценивает свои силы.

🔵Прирост качества ответов зависит от используемой модели и типа задачи.

💬 Тестируем, пробуем, внедряем, делимся впечатлениями ↩️

Искусственный интеллект и Legal Design

После вебинара с профессором Пэн Хайцин о применении ИИ в судах Китая я задумался: привычный Legal Design в процессуальных документах скоро станет прошлым.

✨ Все эти схемы, таймлайны, таблицы и инфографика в процессуальных документах были нужны, чтобы стороны могли наглядно объяснить сложные обстоятельства и донести свою позицию до суда.

Но что, если такие документы будут анализировать уже не люди, а искусственный интеллект? Для китайских судов это уже реальность: ИИ сам выстраивает хронологию, строит графики, сортирует аргументы.

✍ Похоже, скоро Legal Design станет подготовкой документов для нейросетей, а не для людей. Минимум - это структурированные тексты без лишних слов и лирики. Максимум - форматы, которые сразу понимает алгоритм.

Но пока в России такой автоматизации нет, классический Legal Design по‑прежнему актуален.

Сразу скажу: я не поклонник юрдизайна во всем его многообразии и практически не использую, но четкая структура и лаконичность в документах мне близки.

Иногда для создания таких документов я использую промпт, который превращает черновик аргументов в понятную и компактную правовую позицию. Такой Legal Design на минималках.

Промпт не идеальный, делали его для себя - можете доработать под свои задачи и стиль. Но главное - он помогает убрать лишнее и собрать мысли в структуру, которую потом легко доработать вручную.

💬 Кому интересно - ниже делюсь этим промптом в PDF. А вообще, ИИ с его возможностями сейчас - это безграничный простор для юридического дизайна.

Собираем ИИ-команду мечты для анализа судебной экспертизы

Один из эффективных приемов работы с нейросетями - задавать в промте не одну роль, а собирать целую виртуальную команду.

В одном промте - указываем сразу несколько экспертов: юрист, методолог, логик, аналитик и т.д. Каждый смотрит на проблему под своим углом. Получается что-то вроде мозгового штурма, только без кофе и перерывов.

Я часто так делаю: формирую "совет директоров" из ИИ-специалистов для разных задач - аналитика, маркетинг, стратегия, планирование и т.д.

Подобный подход хорошо работает и в юридических задачах.

💡К примеру, я разработал промт, который формирует ИИ-команду для анализа судебной экспертизы. Задача виртуальной команды - выявить абсолютно все недостатки в заключении эксперта.

Состав ИИ-команды
🔵 Координатор проекта - собирает выводы, оформляет итоговый отчет
🔵 Юрист-процессуалист - ищет нарушения процессуальных норм при назначении и проведении экспертизы
🔵 Эксперт по сути - выявляет методологические ошибки в экспертизе
🔵 Логик-аналитик - находит логические ошибки и необоснованные суждения
🔵 Лингвист-редактор  ищет лингвистические неточности и проблемы с изложением
🔵Аудитор объективности - проверяет объективность и полноту исследования

Что имеем на выходе?
🔵Анализ судебной экспертизы с 5 разных точек зрения
🔵Выявление деталей, которые самому можно упустить
🔵Мощные инсайты, до которых не всегда доходят даже опытные эксперты
🔵Формулировки с описанием нарушений для их включения в процессуальные документы

Что важно учитывать?
🔵ИИ может галлюционировать, особенно в части ссылок на нормы права. Обязательно проверяйте!
🔵Качество ответа сильно зависит от модели. Чем сильнее модель - тем интереснее результат
🔵Промт больше заточен под Gemini 2.5 Pro (лучше использовать через AI Studio). Дает хорошие результаты в ChatGPT о3, 4.1, 4о. Можно использовать в Deepseek (в режиме рассуждения), результаты скромнее из-за того, что последний экономит токены на ответах, но иногда и он может сильно удивить.

💬 Ну и традиционно. С меня готовый промт, а с вас лайки, репосты и комментарии. Работаем, работаем 🎉

Как настроить ИИ-поиск только по надежным источникам

Проблема
При использовании ИИ в режиме поиска я часто сталкивался с тем, что ответы ИИ берет из ненадежных источников: развлекательных статей на Дзене, ВК, форумов и случайных сайтов. Даже если в промте задать ограничения на источники, ИИ их обычно игнорирует. Из-за этого в ответах много информационного шума и недостоверной информации.

Решение
Я нашел простой способ заставить ИИ искать только на нужных мне сайтах. Этот способ работает через Perplexity - поисковик с мощными ИИ-моделями на борту. Ему можно задать конкретные домены, откуда он должен брать данные.

Как это сделать?
🔵Открываем Perplexity.
🔵В самом начале запроса вводим оператор:

site: consultant.ru, garant.ru, advgazeta.ru, zakon.ru

Оператор site: ограничивает поиск строго заданными сайтами. После уже идут домены, откуда ИИ должен брать данные.
🔵И уже после оператора и сайтов вводим сам поисковый запрос.

Что имеем на выходе?
🔵 Ответы только с указанных сайтов. Иногда, конечно, проскакивают другие домены, но в качестве дополнения. Ключевая информация подтягивается с заданных сайтов.
🔵 Минимум информационного шума.
🔵 Ссылки на авторитетные и проверенные материалы.
🔵 Качественная обработка материала передовыми ИИ-моделями (в pro-версии).

То есть фактически можно сделать связку возможностей поисковика, ИИ и открытых данных с любого сайта. К примеру, я регулярно использую этот метод в связке Perplexity + сайты «Консультант+», «Гарант», «Адвокатская газета» и «Закон.ру» , что дает хорошие результаты.

Несколько нюансов:
🔵Оптимально использовать не более 5 сайтов/источников одновременно - это проверено на личном опыте.
🔵Этот метод можно усилить и запустить не обычный поиск, а например глубокое исследование по заданным источникам (в pro-версии)
🔵Для поиска судебной практики по сайтам Консультанта и Гаранта метод не особо подходит, так как их открытые базы ограничены.

Способ хорошо подходит для:
🔵Быстрого погружения в незнакомую правовую тему
🔵Когда требуются разные точки зрения по дискуссионному вопросу
🔵Подготовки правового заключения/консультации
🔵Когда требуется быстрый доступ к систематизированной информации по вопросу

💬 Метод работает и в бесплатной версии Perplexity. Однако с PRO - подпиской заметно выше качество выдачи и возможности: можно выбрать мощные ИИ-модели (Gemini 2.5 Pro, ChatGPT o3, Claude 4.0,), доступно глубокое исследование, можно делать кастомных ассистентов и т.д.

Подборка ИИ-платформ с "глубоким исследованием". Сравниваем 7 сервисов.

Одна из самых интересных функций в ИИ-системах - это "глубокое исследование", она же Deep Research.

Создаем запрос, а нейросеть сама ищет ответы, сопоставляет их, анализирует сотни источников и выдает подробный отчет по вопросу со ссылками, цифрами и ключевыми мыслями. Работает, как толковый помощник, только сильно быстрее. Идеально, чтобы быстро сориентироваться в незнакомой теме.

Я перепробовал почти все. Ниже - мой небольшой обзор, плюсы и минусы каждой платформы.

Сервисы в подборке отсортированы по тому, как часто я их использую: от регулярно применяемых до тех, к которым обращаюсь лишь время от времени (и то ради любопытства).

1️⃣Perplexity - золотая середина
Режим: Исследование.
Отчеты: 4-5 страниц
Источники: До 100 сайтов
Лимиты: 3 запроса бесплатно, безлимит в Pro
Плюсы: Быстро и структурно. Доступно в России. На Pro-подписке безграничные лимиты.
Минусы: Иногда не хватает деталей и подробностей в отчетах.
💬 Использую чаще всего. В режиме "Лабаратории" сервис вообще нарядный - создает целые проекты с таблицами и графиками.

2️⃣Claude - самый обстоятельный
Режим: Research
Отчеты: 8-12 страниц
Источники: 300-400 сайтов
Лимиты: Доступен только при наличии Pro-подписки
Плюсы: Глубина анализа, авторитетные источники, нет воды. Перед началом исследования задает очень толковые уточняющие вопросы.
Минусы: Только платно, наверное самый сложный доступ из России
💬 Лично для меня идеальный баланс длины, глубины и структуры отчета - строго и по делу.

3️⃣ChatGPT - мощно, но проблема с лимитами
Режим: Deep Research
Отчеты: 8-10 страниц
Источники: 30-40 сайтов
Лимиты: 5 запросов бесплатно (модель o4-mini), 25 в месяц на Plus (модель o3), 100 на Pro
Плюсы: Четко следует инструкции. Ответы лаконичные и без воды, достаточные по полноте и глубине исследования. Перед началом исследования задает уточняющие вопросы. В платной версии отчеты формируются мощной моделью о3.
Минусы: Бесплатная версия работает на o4-mini, что снижает качество и глубину исследования. В платной версии функция работает на более сильной модели o3, но лимиты на базовой подписке быстро заканчиваются. Количество источников в отчете не так много по сравнению с главными конкурентами.

4️⃣Gemini - академический подход
Режим: Deep Research
Отчеты: 15-30 страниц
Источники: 300-500 сайтов
Лимиты: бесплатно 5 отчетов в месяц, для пользователей с подпиской 20 запросов в день.
Плюсы: Обрабатывает много источников и делает глубокий анализ
Минусы: Отчеты очень большие, как рефераты/курсовые (не всегда такое подходит). Могут быть проблемы с доступом к сервису из России.
💬 Полагаю, что Gemini формирует самые фундаментальные отчеты для пользователей без подписки.

5️⃣Grok - быстро, но поверхностно
Режим: DeeperSearch
Отчеты: 4-5 страниц
Источники: 50-100 сайтов
Лимиты: 10 запросов в день бесплатно, 20 каждые 2 часа в Pro
Плюсы: Ответы лаконичные, по делу. Готовит отчет сразу в двух вариантах - краткая выжимка и более детальный со всеми нюансами. Быстрый.
Минусы: Часто анализ поверхностный и без достаточных деталей, а источники разного качества - от авторитетных до сомнительных.

6️⃣ Qwen - китайская альтернатива
Режим: Глубокое исследование
Отчеты: 8-10 страниц
Источники: около 30 сайтов
Лимиты: бесплатно и без ограничений
Плюсы: бесплатно, доступно из России, сразу готовит PDF-отчет, задает уточняющие вопросы перед началом исследования.
Минусы: Не всегда следует инструкциям, много лишней информации, "воды", уводит в сторону.

7️⃣GigaChat - в самом начале пути
Режим: Провести исследование
Отчеты: 2 страницы
Источники: около 30 сайтов
Лимиты: без ограничений
Плюсы: Бесплатно, доступно в России без ограничений
Минусы: Функция появилась в GigaChat недавно, очень сырая. Отчеты поверхностные и короткие, нет интеграции ссылок. Для серьезной аналитики не подходит, вариант на перспективу.

🚢 Итого, постоянно использую "глубокое исследование" в платных версиях Perplexity, Claude, ChatGPT, бесплатно в Gemini . Крайне редко в Grok и Qwen. За GigaChat наблюдаю из любопытства.

Про косвенные промпт-инъекции в ИИ. Или с какими вызовами скоро столкнется судопроизводство.

Помимо всех преимуществ, ИИ несет в себе много рисков, с которыми мы скоро столкнемся.

Недавно общался с разработчиками ИИ-систем. Помимо уже привычных проблем (этика, конфиденциальность, "галлюцинации") , мне рассказали еще об одной потенциальной угрозе - косвенных промпт-инъекциях.

📎 Что это такое?

Косвенная промпт-инъекция - это системная инструкция для ИИ, вшитая в документ невидимым шрифтом, прозрачным текстом, в метаданных или даже в изображениях. Человек глазами ее не увидит,а ИИ- прочитает и выполнит, как приказ.

Проблема в том, что большие языковые модели не всегда различают системные инструкции и обычный текст. Все, что попадает в их «контекстное окно», воспринимается как единая команда. А значит, это открывает возможности для манипуляций.

✍ Реальные кейсы в HR

Первыми с этой проблемой столкнулись HR-специалисты, которые начали отбирать резюме с помощью ИИ.

Недобросовестные соискатели встраивают в свое резюме скрытые инструкции, чтобы ИИ игнорировал все изучаемые резюме и отдал предпочтение именно этому кандидату.

В итоге ИИ-скрининг выделяет эти резюме с инъекциями как лучшие, несмотря на реальный опыт кандидатов и их скиллы.

Системы, которые обрабатывают весь текст документа, включая скрытые элементы, легко попадаются на такие трюки.

🚢 Почему это критично для судопроизводства

Теперь представьте, что подобные "хакерские" техники начнут использовать в судебных процессах.

Например, недобросовестные юристы начнут встраивать в свои процессуальные документы системные инструкции, чтобы ИИ проигнорировал позицию процессуального оппонента, а их требования наоборот признал законными и обоснованными.

Если суд или адвокат используют ИИ для анализа материалов, система может поддержать сторону, внедрившую скрытый промпт.

В автоматизированных системах анализа дел и прогнозирования исходов это открывает путь к манипуляциям.

💬 Косвенные промпт-инъекции - это не теория, а реальная угроза для судопроизводства в эпоху ИИ. Эта проблема потребует комплексного решения: технические меры защиты ИИ, обучение пользователей "гигиене" использования ИИ, изменения в уголовном и процессуальном законодательстве.

В каком формате загружать данные в ИИ для достижения максимальной точности

Во взаимодействии с ИИ действует принцип «мусор на входе - мусор на выходе». Если ИИ получает на входе неточные или неполные данные, то и ответы будут менее точными и ненадежными.

Это касается не только самого промта, но и загружаемых в ИИ документов.

Ниже разберем эффективность разных форматов ввода документов (по данным исследований и бенчмарков 2024–2025 годов) на предмет корректности извлеченного ИИ текста.

Важно: указанные проценты корректности извлеченного текста могут варьироваться в большую или меньшую сторону в зависимости от конкретной модели ИИ, качества документа и других факторов. Проценты приведены больше для понимания порядка цифр. Более показателен здесь рейтинг форматов от лучшего к худшему, чем конкретные цифры.

💡Итак, начнем от лучшего к худшему:

1️⃣ Просто текст, который мы копируем в диалоговое окно с ИИ. Это 98 - 99% корректности. Это золотой стандарт. Если у вас есть возможность скопировать текст напрямую - делайте это.

2️⃣ Документы DOCX. Примерно 96–98% корректности. Близко к идеалу. Современные ИИ хорошо понимают структуру word-файлов. Иногда могут возникнуть проблемы с таблицами, но в целом - отличный вариант для загрузки документов

3️⃣ «Нативный» PDF с текстовым слоем (когда из текстового файла преобразовали в PDF и мы можем в этом файле копировать сам текст). Это 94–97% корректности.

4️⃣ PDF после качественного OCR - 90–95% корректности. Если исходник - скан, лучше предварительно прогнать его через качественный OCR.

5️⃣PDF без OCR - 80–85% корректности, может упасть даже сильно ниже. При анализе такого файла ИИ может использовать для распознавания свои встроенные механизмы OCR, но это менее эффективный вариант, чем специализированные программы для работы с OCR. Качество восприятия такого файла ИИ сильно страдает.

6️⃣Фото документов (JPEG, PNG и другие форматы изображений) - 65–75% корректности. Это самый ненадежный способ, сильно зависимый от качества фото. Чем хуже фотка - тем больше проблем. Блики, перекосы, низкое разрешение, освещение, тени - все это приведет к ошибкам.

🚢 Как действовать

Идеально - загружать в диалоговое окно с ИИ чистый текст, docx-файлы или PDF с текстовым слоем. Сканы и PDF без текстового слоя перед загрузкой в ИИ обязательно прогонять через качественный OCR (Adobe Acrobat Pro или аналоги).

🎙️Позавчера с коллегой, адвокатом Ольгой Шушминцевой, провели прямой эфир в теплой обстановке студии Института адвокатуры Санкт-Петербурга по теме нейросетей для юристов.

Обсудили основные опасения юристов при работе с ИИ, вызовы при взаимодействии с нейросетями в юридической практике, и чего ждать от ИИ в ближайшем будущем.

Поговорили о реальных проблемах: галлюцинациях нейросетей, влиянии качества данных и правильности формулировок запросов на точность ответов ИИ, анонимизации данных и о многих других вопросах.

Запись эфира длится чуть больше часа и стала своего рода вводным разговором и промо нашего образовательного курса по нейросетям.

🚢 Сам курс "Нейросети для юриста" стартует 4 августа на площадке Института адвокатуры Санкт-Петербурга.

Программа разработана мною совместно с Ярославом Бизяркиным, разработчиком ИИ-систем и специалистом Центра ИИ и науки о данных СПбГУ.

Курс рассчитан специально для юристов и адвокатов, кто только начинает осваивать эту тему или хочет разобраться в ней системно.

📎 Если интересно углубиться в изучение нейросетей для использования в юридической практике – ссылка на курс здесь.

🚢 В ChatGPT для пользователей Plus сегодня появилась функция "Агент".

Позволяет ChatGPT выполнять разные действия по задачам пользователя (искать информацию, анализировать источники, открывать и просматривать сайты, заполнять формы, работать с календарем, почтовым ящиком и т.д.). Что-то типа ИИ-агентов Manus или Genspark.

Кто-то уже пробовал? Как опцию можно использовать по юридическим задачам?

Я вот дал ему первое задание, о результатах он сообщит дополнительно 😂

Про оплату ИИ-сервисов

Многие не пользуются полными версиями нейросетей из-за сложностей с оплатами подписок. В комментариях к моим постам периодически спрашивают "А как оплатить ChatGPT", "Где взять зарубежную карту для Claude". Проблема актуальная, но легко решаемая.

🚢 Что имеем на рынке?

Вокруг оплат зарубежных сервисов из России сейчас выстроена целая инфраструктура. Есть множество способов оплатить ChatGPT, Claude, Perplexity и другие сервисы без поиска зарубежных карт.

Один из проверенных мною вариантов - сервис МТС.Оплата. С официального сайта МТС можно оплатить российской картой множество нейросетей: ChatGPT, Claude, Perplexity и многие другие.

Как это работает:

🔵Оплачиваете российской картой на сайте МТС
🔵На почту приходит ваучер со всеми платежными данными
🔵Указываете эти данные в настройках платежей ИИ-сервиса
🔵Баланс пополняется и можно пользоваться полной версией

Нюансы из личного опыта

Способ работает стабильно, но есть один момент - если пополняете ChatGPT через Chrome - оплата может не пройти. Переключайтесь на браузер Opera и проблема решится.

🎙️Почему пишу про этот способ ?

Пост ни в коем случае не рекламная интеграция, я долго думал - писать про какой-то конкретный способ оплаты или нет.

Но в итоге посчитал правильным поделиться работающим решением, а не оставлять людей один на один с заблуждениями о том, что "все сложно" или сомнительными предложениями из интернета. К тому же это сервис от крупнейшего в России оператора связи - как минимум, понятно с кем имеешь дело.

Проверьте - возможно, аналогичные сервисы есть у других операторов связи. Я пользуюсь МТС, поэтому делюсь тем, что знаю.