Делай bench_legal human-eval.pdf
5.4 MB
Всем привет!
Я с результатом достаточно случайной, но в итоге очень большой и интересной работы — причём не только моей, а ещё 11 человек, самоотверженно уделивших время задуманной мной авантюре. #делай_bench
Авантюра эта — небольшой любительский бенчмарк, а точнее т.н. human evaluation benchmark (то есть без автоматизированной проверки по эталонным ответам) 5 нейросетевых сервисов:
🤩 open-source модель Ken1.0-67B (дообученный на российской нормативной и правоприменительной базе Qwen 2). Для того, чтобы потестировать эту модель на хороших видеокарточках начала собирать у сообщества нетривиальные юридические задачки.
🤩 сервис АйЮрист — та же модель с RAG-технологией, доступ к которой предложил Кенан Коюшов, основатель сервиса. Именно после этого предложения Кенана появилась идея сделать мини-бенчмарк, предложить авторам вопросов поучаствовать в оценке ответов не только на свои вопросы, но и другие вопросы от разных нейросетей.
🤩 Нейроюрист — в представлении не нуждается, показалось интересным сравнить сопоставимые по функционалу сервисы от стартапа и технологического гиганта.
🤩 бразузерный DeepSeek в двух обличиях — стандартный и думающий, оба без поиска в Интернете. DeepSeek бесплатный, доступен в РФ без дополнительных танцев с бубном, довольно популярен среди юристов. Интересно было увидеть, есть ли для обычного пользователя резон идти в платные сервисы, или модель общего назначения может хорошо решать юридические задачки.
Результаты приложены и, как мне кажется, очень интересные получились. Не пугайтесь объёма документа, там в основном картинки и наглядные графики.
Я, думаю, напишу ещё как минимум один пост с рассказом о процессе, своих личных впечатлениях от взаимодействия с Нейроюристом и продуктами Кенана и вообще от всего этого мероприятия. Вот и контент-план на остаток года☕
Ещё раз хочу поблагодарить всех, кто согласился и смог выступить экспертами в это загруженное предновогоднее время!🥰 Я убеждена, что мы сделали совершенно правильную вещь, даже несмотря на её некоторую методологическую наивность.
Я с результатом достаточно случайной, но в итоге очень большой и интересной работы — причём не только моей, а ещё 11 человек, самоотверженно уделивших время задуманной мной авантюре. #делай_bench
Авантюра эта — небольшой любительский бенчмарк, а точнее т.н. human evaluation benchmark (то есть без автоматизированной проверки по эталонным ответам) 5 нейросетевых сервисов:
Результаты приложены и, как мне кажется, очень интересные получились. Не пугайтесь объёма документа, там в основном картинки и наглядные графики.
Я, думаю, напишу ещё как минимум один пост с рассказом о процессе, своих личных впечатлениях от взаимодействия с Нейроюристом и продуктами Кенана и вообще от всего этого мероприятия. Вот и контент-план на остаток года
Ещё раз хочу поблагодарить всех, кто согласился и смог выступить экспертами в это загруженное предновогоднее время!
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥36❤17👍11👏3🤯1
Пост рефлексии о бенчмарке
(#делай_bench — полная версия на Telegraph)
На уровне эмоций есть два плана: мой личный и реакция сообщества. Мне было очень интересно этим заниматься: сюда были направлены самые сильные мои компетенции (метод-дизайн, последующая аналитика и возможность «развернуться», подробно показав изнутри весь процесс). Это по сути работа по соотнесению реальной супер-нюансированной и хаотичной юридической практики с высокоабстрактным уровнем статистики. И эта работа внезапно стала актуальной с появлением LLM и конкурирующих сервисов для юристов. Точнее эту актуализацию я для себя вижу как в каком-то смысле «идеологическую» стратегическую задачу: юристы ничем не хуже других областей знаний, где бенчмаркинг — абсолютная норма, и нужно, чтобы как можно больше использующих нейронки юристов знали о таком способе оценки качества моделей.
Про общественную реакцию — из всех моих проектов за прошедшие полгода на бенч она получилась самой бурнойв стакане воды (в моих личных масштабах это действительно очень значимо). Думаю, здесь несколько причин, одна из главных — люди любят конфликты, соревнования и сравнения (думаю, это какие-то примитивные механизмы нашего мозга), даже если сравнивают вот эти вот электронные сущности без особой шоу-помпы. Второе — юридическая практика и юридическое знание очень далеки от всех этих формул, графиков, непараметрической статистики и ранговой корреляции… и что это вообще за страшные слова? Какой линейкой это ты тут что-то измеряешь? А точно ли у тебя правильная линейка? В общем любопытство, помноженное на подозрение и некоторое сопротивление. Ну и третье — просто какая-то новая необычная штука появилась.
И реакция была от токсичной (в единичных проявлениях типа «не взять chatGPT — это кринж») до не просто конструктивной, а, я бы даже сказала за неимением другого слова, illuminating. И поскольку одной из задач на первый квартал следующего года мне хочется видеть если и не новый бенч, то какую-то адекватную методологию (разработанную советомстарейшин инициативных умников, этакий White paper, рекомендованный сообществом стандарт проведения бенчмарков), для старта хочу здесь собрать основные идеи, возражения, комментарии, поступившие за прошедшие несколько дней.
Разбила их по смысловым группам:
1. Кто и как оценивает (субъект и процесс оценки)
Проблемы (🤔 )
- субъективность и противоречивость human-eval, невозможность полностью её устранить
- влияние на оценку узнавания модели оценщиком
- разный уровень экспертизы оценщиков в разных областях
Идеи (😏 )
- LLM-as-a-judge как более надежный метод, выражающий позицию «коллективного разума»
- метод Дельфи («второй раунд»)
- использование эталонных ответов от мэтров отрасли или базовых судебных решений для упрощения работы оценщиков
2. Критерии оценки
🤔
- использование эталонных ответов подходит не для всех ситуации (вопросы-кейсы, где нужно приняти риски, определить тактику / схему)
- в силу разных доктринальных позиций в праве часто нет единственно правильного ответа
- оценщикам предложены взятые «с потолка» критерии оценки, усиливающие субъективизм, а не какая-то четкая шкала
😏
- 100-балльная шкала вместо ранжирования (я ещё в процессе вспомнила своё муткортовское прошлое и судейство в настоящем, и это повышает объективность, но очень усложняет работу оценщика)
- использование в экспериментах «простых вопросов» с эталонными ответами и «вопросов-кейсов» с разными системами оценки
Продолжение в комментах (и в Телеграфе)! А вообще, спасибо всем огромное за интерес! Надеюсь до конца года вернуться ещё с какими-то новостями об этой истории.
(#делай_bench — полная версия на Telegraph)
На уровне эмоций есть два плана: мой личный и реакция сообщества. Мне было очень интересно этим заниматься: сюда были направлены самые сильные мои компетенции (метод-дизайн, последующая аналитика и возможность «развернуться», подробно показав изнутри весь процесс). Это по сути работа по соотнесению реальной супер-нюансированной и хаотичной юридической практики с высокоабстрактным уровнем статистики. И эта работа внезапно стала актуальной с появлением LLM и конкурирующих сервисов для юристов. Точнее эту актуализацию я для себя вижу как в каком-то смысле «идеологическую» стратегическую задачу: юристы ничем не хуже других областей знаний, где бенчмаркинг — абсолютная норма, и нужно, чтобы как можно больше использующих нейронки юристов знали о таком способе оценки качества моделей.
Про общественную реакцию — из всех моих проектов за прошедшие полгода на бенч она получилась самой бурной
И реакция была от токсичной (в единичных проявлениях типа «не взять chatGPT — это кринж») до не просто конструктивной, а, я бы даже сказала за неимением другого слова, illuminating. И поскольку одной из задач на первый квартал следующего года мне хочется видеть если и не новый бенч, то какую-то адекватную методологию (разработанную советом
Разбила их по смысловым группам:
1. Кто и как оценивает (субъект и процесс оценки)
Проблемы (
- субъективность и противоречивость human-eval, невозможность полностью её устранить
- влияние на оценку узнавания модели оценщиком
- разный уровень экспертизы оценщиков в разных областях
Идеи (
- LLM-as-a-judge как более надежный метод, выражающий позицию «коллективного разума»
- метод Дельфи («второй раунд»)
- использование эталонных ответов от мэтров отрасли или базовых судебных решений для упрощения работы оценщиков
2. Критерии оценки
- использование эталонных ответов подходит не для всех ситуации (вопросы-кейсы, где нужно приняти риски, определить тактику / схему)
- в силу разных доктринальных позиций в праве часто нет единственно правильного ответа
- оценщикам предложены взятые «с потолка» критерии оценки, усиливающие субъективизм, а не какая-то четкая шкала
- 100-балльная шкала вместо ранжирования (я ещё в процессе вспомнила своё муткортовское прошлое и судейство в настоящем, и это повышает объективность, но очень усложняет работу оценщика)
- использование в экспериментах «простых вопросов» с эталонными ответами и «вопросов-кейсов» с разными системами оценки
Продолжение в комментах (и в Телеграфе)! А вообще, спасибо всем огромное за интерес! Надеюсь до конца года вернуться ещё с какими-то новостями об этой истории.
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegraph
Пост рефлексии о бенчмарке
В декабре 2025 года я с помощью 11 коллег, согласившихся уделить своё время на чтение большого количества нейросетевого текста, провела небольшой любительский human-eval бенчмарк (то есть без автоматизированной проверки по эталонным ответам) 5 нейросетевых…
1❤10🔥4
Сегодня команда Рунетлекс Академии проводила открытую встречу (как-то не хочется даже называть вебинаром, просто тёплая встреча) об итогах года, рассказывая от первого лица о пути, пройденном курсом о применении нейронок в работе юриста за год.
Я имела очень особенную радость в этом году благодаря менторству на двух потоках — видеть работу команды изнутри. Не во всех деталях, но сильно больше, чем доступно слушателям (и вообще недоступно со стороны).
Вы могли заметить, с какой упоротостью и перфекционизмом я отношусь к своим проектам — в других людях я ищу и ценю то же самое. И могу подписаться под тем, что ребята (их всего 5, на минуточку) делают огромную ежедневную работу. Делают так, чтобы из постоянно обновляемого и устаревающего потока информации извлекать базовые принципы и лучшие практики, складывать их в систему, прививающую определённый тип мышления и набор навыков, которые очень многим людям приносят совершенно измеримую окупаемую ценность.
И делается это всё в поддерживающей атмосфере: выпускников курса уже сотни, они самые разные, в том числе очень авторитетные в юридическом сообществе, и они не дадут соврать. И on top of that просто делают это красиво и удобно для слушателей, просто потому что стремление сделать круто идёт прямо из души. Ксения Даньшина и Валентина Виноградова, делающие всю эту красоту, мне кажется, даже не смотрят на это как на трату ресурсов, а сами заряжаются от классного результата.
Про то, что это очень приятные в общении люди, по счастливому совпадению очень близкие мне по ценностям, я скажу кратко, что в социальном плане мой год можно считать совершенно удавшимся (посылаю обнимашки всем организаторам и менторам)💕
Я не могу не ассоциировать себя с Академией и курсом, потому что все мои начинания начались благодаря созданной ребятам вдохновляющей среде и спикерам курса. На слайде из сегодняшней презентации (а также на умопомрачительно красивом сайте пятого потока) среди спикеров можно найти теперь и меня😀
В марте на углубленном треке я буду рассказывать, ни за что не догадаетесь, про что (про RAG, удивились? )
Мне самой немного сложно поверить в то, что в мае я пришла в растерянности, куда эти нейронки к своей работе прикладывать, но…
—— вы находитесь здесь ——
В общем, можно сделать себе новогодний подарок и приобщиться к одному из самых необычных образовательных продуктов для юристов (я убеждена, что то, что делает Ксения — это будущее юр.образования).Ну и меня послушать, хах (но это необязательный трек)! И еще спросить у меня в личке промокодик 🌚
Сюда напрашиваются и мои итоги года, но уже длиннопост, и вообще это пост моего восхищения Ксюше, Паше, Мише, Вале и Кате и всей нашей менторской шайке! Так что попозже, наделаю картиночек👀
Я имела очень особенную радость в этом году благодаря менторству на двух потоках — видеть работу команды изнутри. Не во всех деталях, но сильно больше, чем доступно слушателям (и вообще недоступно со стороны).
Вы могли заметить, с какой упоротостью и перфекционизмом я отношусь к своим проектам — в других людях я ищу и ценю то же самое. И могу подписаться под тем, что ребята (их всего 5, на минуточку) делают огромную ежедневную работу. Делают так, чтобы из постоянно обновляемого и устаревающего потока информации извлекать базовые принципы и лучшие практики, складывать их в систему, прививающую определённый тип мышления и набор навыков, которые очень многим людям приносят совершенно измеримую окупаемую ценность.
И делается это всё в поддерживающей атмосфере: выпускников курса уже сотни, они самые разные, в том числе очень авторитетные в юридическом сообществе, и они не дадут соврать. И on top of that просто делают это красиво и удобно для слушателей, просто потому что стремление сделать круто идёт прямо из души. Ксения Даньшина и Валентина Виноградова, делающие всю эту красоту, мне кажется, даже не смотрят на это как на трату ресурсов, а сами заряжаются от классного результата.
Про то, что это очень приятные в общении люди, по счастливому совпадению очень близкие мне по ценностям, я скажу кратко, что в социальном плане мой год можно считать совершенно удавшимся (посылаю обнимашки всем организаторам и менторам)
Я не могу не ассоциировать себя с Академией и курсом, потому что все мои начинания начались благодаря созданной ребятам вдохновляющей среде и спикерам курса. На слайде из сегодняшней презентации (а также на умопомрачительно красивом сайте пятого потока) среди спикеров можно найти теперь и меня
В марте на углубленном треке я буду рассказывать, ни за что не догадаетесь, про что (
Мне самой немного сложно поверить в то, что в мае я пришла в растерянности, куда эти нейронки к своей работе прикладывать, но…
—— вы находитесь здесь ——
В общем, можно сделать себе новогодний подарок и приобщиться к одному из самых необычных образовательных продуктов для юристов (я убеждена, что то, что делает Ксения — это будущее юр.образования).
Сюда напрашиваются и мои итоги года, но уже длиннопост, и вообще это пост моего восхищения Ксюше, Паше, Мише, Вале и Кате и всей нашей менторской шайке! Так что попозже, наделаю картиночек
Please open Telegram to view this post
VIEW IN TELEGRAM
❤22👍4
Предновогодний пост, и отправляюсь джинглбелсить! 😎
Сегодня боту 5 месяцев, и есть итоги, которые прямо напрашиваются быть подведёнными — суммировала основные на картинке. Картинка — часть лендинга проекта, который я сегодня обновила, сделав новогодний скин, сходите зацените, пожалуйста, я очень старалась😚
Когда я только задумывала делать бот, было много сопротивления и блоков. Один из самых сильных — что им просто никто не будет пользоваться, что это будет работа в стол. И спустя 5 месяцев можно окончательно считать, что этот страх был совершенно неоправданным. Для практически двух десятков человек бот стал полноценным рабочим инструментом (то есть они проверили более 20 реклам). Из них 12 использовали бот более 50 раз, ну и есть абсолютные рекордсмены с 90 и 127 использованиями. Спасибо, коллеги!🥰
Не всё(ну ладно, почти ничего) из задуманных наполеоновских планов по совершенствованию функционала сделать не успелось, но всё равно получился неплохой product-ready инструмент, за который не стыдно. Я до последнего регулярно делала #RAG_expansion, вот сегодня добавила 65 кейсов, и теперь в базе 1️⃣ 9️⃣ 6️⃣ 8️⃣ (не удалось добить до 2 тысяч, эх) с охватом с 2019 по конец 2025.
Из бота вырос датасет, работа над ботом подарила мне кучу озарений на тему оптимального и эффективного вайб-кодинга, вдохновила дальше исследовать построение RAG-систем для юристов. А также открыла много дверей, принесла интереснейшие предложения о сотрудничестве, познакомила с большим количеством замечательных людей. То есть всё, чем я полгода назад уговорила себя попробовать ворваться в юридический вайб-кодинг, сбылось с горкой.
Мне, конечно, уже хочется, чтобы меня воспринимали шире, чем только лишь создательницу бота, но всё равно это дорогой сердцу проект, который я не брошу — хотя и рада, что он живёт своей бурной жизнью as is.
Всех, кто ботом пользовался, следил за его развитием (для новеньких — по тегу #ботоводство много эмоциональных переживаний), а также всех, кто пришёл на канал уже позже — вот вас всех поздравляю с наступающими праздниками!🙏
Желаю вам отлично провести каникулы, подзарядить свои батарейки о любимые ваши занятия, с новыми силами ворваться в 2026 и принять всё, что он для вас приготовил. Делайте, что должно (то есть из души), и будет, что положено (то есть только всё лично вам нужное)!
Сегодня боту 5 месяцев, и есть итоги, которые прямо напрашиваются быть подведёнными — суммировала основные на картинке. Картинка — часть лендинга проекта, который я сегодня обновила, сделав новогодний скин, сходите зацените, пожалуйста, я очень старалась
Когда я только задумывала делать бот, было много сопротивления и блоков. Один из самых сильных — что им просто никто не будет пользоваться, что это будет работа в стол. И спустя 5 месяцев можно окончательно считать, что этот страх был совершенно неоправданным. Для практически двух десятков человек бот стал полноценным рабочим инструментом (то есть они проверили более 20 реклам). Из них 12 использовали бот более 50 раз, ну и есть абсолютные рекордсмены с 90 и 127 использованиями. Спасибо, коллеги!
Не всё
Из бота вырос датасет, работа над ботом подарила мне кучу озарений на тему оптимального и эффективного вайб-кодинга, вдохновила дальше исследовать построение RAG-систем для юристов. А также открыла много дверей, принесла интереснейшие предложения о сотрудничестве, познакомила с большим количеством замечательных людей. То есть всё, чем я полгода назад уговорила себя попробовать ворваться в юридический вайб-кодинг, сбылось с горкой.
Мне, конечно, уже хочется, чтобы меня воспринимали шире, чем только лишь создательницу бота, но всё равно это дорогой сердцу проект, который я не брошу — хотя и рада, что он живёт своей бурной жизнью as is.
Всех, кто ботом пользовался, следил за его развитием (для новеньких — по тегу #ботоводство много эмоциональных переживаний), а также всех, кто пришёл на канал уже позже — вот вас всех поздравляю с наступающими праздниками!
Желаю вам отлично провести каникулы, подзарядить свои батарейки о любимые ваши занятия, с новыми силами ворваться в 2026 и принять всё, что он для вас приготовил. Делайте, что должно (то есть из души), и будет, что положено (то есть только всё лично вам нужное)!
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥20❤9
Всем привет и с Новым годом! 🥰 😎
Я с коротким уведомлением о том, что о #делай_bench я написала публикацию для Хабра. Там, в принципе, всё то же самое, что в отчёте и последовавшем посте, но в формате 13-минутного чтения с небольшим дополнением о моём мнении по LLM-as-a-judge.
Очень интересно, будет ли реакция, и какой она будет! Вас я приглашаю не только почитать, но и поставить плюсик, если у вас есть аккаунт🥹 for what it is worth, я поставила тег, отправляющий публикацию на конкурс, а вдруг что!…
Ну всё, продолжаем отдыхать, осталось совсем немного!)
Я с коротким уведомлением о том, что о #делай_bench я написала публикацию для Хабра. Там, в принципе, всё то же самое, что в отчёте и последовавшем посте, но в формате 13-минутного чтения с небольшим дополнением о моём мнении по LLM-as-a-judge.
Очень интересно, будет ли реакция, и какой она будет! Вас я приглашаю не только почитать, но и поставить плюсик, если у вас есть аккаунт
Ну всё, продолжаем отдыхать, осталось совсем немного!)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16❤7👍4
Всем привет! Раскачались, выновогодились? 🐧 Я нет, и поэтому…
Сегодня о вайбкодерском, точнее о достижениях других юристов на кодинговом поприще: хочу всё таки сделать это постоянной рубрикой на канале.
Помните, была такая у меня методичка про вайбкодинг? Почти одновременно с ней Анастасия Антоновская опубликовала свой мануал, который может быть отличным первым шагом в кодинг: в нём Анастасия даёт инструкции по установке самых базовых инструментов.
Моя методичка скорее для тех, кто уже попробовал кодить, даёт идеи по структурированию процесса. А мануал Анастасии — точка входа для тех, кто пока ещё даже не подступался и не понимает, что вообще нужно, чтобы начать.
Следующим номером — воспоминание о премии сообщества Нейросети | ilovedocs. В ней победила Наталья Данилова, которая создала заполнялку шаблонов реквизитами (установочные файлы здесь), автоматически проверяемыми по API сервиса ДаДата (о чём статью опубликовала у себя сама ДаДата).
Очень рада за Наташу! Она сделала это приложение ещё на втором потоке курса по нейронкам — на этом потоке училась и я, и я отлично помню, что Наташа была вообще первой из нас, кто что-то наваубкодил ещё во время курса. Кстати, на приближающемся пятом потоке Наташа будет ментором, чему мы ужасно рады! И вообще ура женскому вайбкодингу!
Ну и парочка новостей о героях предыдущего выпуска🍊
Александр, сделавший игрушку про ТЭЦ, таки опубликовал её в RuStore, можно поставить на Андроид. У меня нет Андроида и Рустора, но очень хочется поддержать коллегу добрым отзывом, поэтому призываю вас скачать, попробовать и поставить оценочку.
А Глеб и Алексей, делавшие биллинг-бота, тоже пошли в вайб-геймдев, и в честь Дня юриста опубликовали очень смешную игрушку Pixel Lawyer Run, рассказав также о ней на Хабре. Ну что за молодцы у нас коллеги!💻
У меня у самой также есть две ваубкодинговые новости, точнее анонсы.
Скоро должна появиться публикация о том, как юристам начать кодить с нейросетями (и, главное, зачем) в одной, не побоюсь этого слова, ГАЗЕТЕ!)
А также я расширила свои вайбкодерские границы, начав делать один непубличный проект в Antigravity от Google. Поэтому скоро поделюсь своими мыслями об агентских IDE в целом и Antigravity в частности. Спойлер —полностью от кодинга в привычном мне формате (браузерные нейронки + копипаст кода в JupyterLab) я не уйду. Но и IDE пользовать буду, а то немодно живу.
По темам бота и RAGов тоже кое-что готовлю, и вообще надеюсь не сбавлять ритм публикаций в Новом году. На этой ноте расходимся, хорошего всем окончания недели!❤️
Сегодня о вайбкодерском, точнее о достижениях других юристов на кодинговом поприще: хочу всё таки сделать это постоянной рубрикой на канале.
Помните, была такая у меня методичка про вайбкодинг? Почти одновременно с ней Анастасия Антоновская опубликовала свой мануал, который может быть отличным первым шагом в кодинг: в нём Анастасия даёт инструкции по установке самых базовых инструментов.
Моя методичка скорее для тех, кто уже попробовал кодить, даёт идеи по структурированию процесса. А мануал Анастасии — точка входа для тех, кто пока ещё даже не подступался и не понимает, что вообще нужно, чтобы начать.
Следующим номером — воспоминание о премии сообщества Нейросети | ilovedocs. В ней победила Наталья Данилова, которая создала заполнялку шаблонов реквизитами (установочные файлы здесь), автоматически проверяемыми по API сервиса ДаДата (о чём статью опубликовала у себя сама ДаДата).
Очень рада за Наташу! Она сделала это приложение ещё на втором потоке курса по нейронкам — на этом потоке училась и я, и я отлично помню, что Наташа была вообще первой из нас, кто что-то наваубкодил ещё во время курса. Кстати, на приближающемся пятом потоке Наташа будет ментором, чему мы ужасно рады! И вообще ура женскому вайбкодингу!
Ну и парочка новостей о героях предыдущего выпуска
Александр, сделавший игрушку про ТЭЦ, таки опубликовал её в RuStore, можно поставить на Андроид. У меня нет Андроида и Рустора, но очень хочется поддержать коллегу добрым отзывом, поэтому призываю вас скачать, попробовать и поставить оценочку.
А Глеб и Алексей, делавшие биллинг-бота, тоже пошли в вайб-геймдев, и в честь Дня юриста опубликовали очень смешную игрушку Pixel Lawyer Run, рассказав также о ней на Хабре. Ну что за молодцы у нас коллеги!
У меня у самой также есть две ваубкодинговые новости, точнее анонсы.
Скоро должна появиться публикация о том, как юристам начать кодить с нейросетями (и, главное, зачем) в одной, не побоюсь этого слова, ГАЗЕТЕ!)
А также я расширила свои вайбкодерские границы, начав делать один непубличный проект в Antigravity от Google. Поэтому скоро поделюсь своими мыслями об агентских IDE в целом и Antigravity в частности. Спойлер —
По темам бота и RAGов тоже кое-что готовлю, и вообще надеюсь не сбавлять ритм публикаций в Новом году. На этой ноте расходимся, хорошего всем окончания недели!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16❤10
Статья_Фундаментальные_ограничения_ИИ_в_юриспруденции_Смирнова_O2.pdf
5.8 MB
Софья Смирнова опубликовала на своём канале хороший обзорный материал об ограничениях применения нейросетей в юридической работе. Мне очень нравится такой формат: во-первых, многобукав, которые телеграмная сокращалка не сократит, с одной стороны написано очень доступно для новичков в ИИ — тех, кто уже что-то попробовал и, возможно, очаровался или разочаровался, но не понимает почему. Информированность об ограничениях технологии очень помогает правильно её использовать. С другой стороны, текст достаточно детальный, фактически точный и аргументированный, с разных углов comprehensively рассматривает проблематику — то есть опытным пользователям тоже может помочь всё собрать в голове.
Короче, материал я похвалила и читать советую, но добавлю свои 15 копеек про RAG. Ему в материале достаточно много внимания уделяется именно с ракурса «почему это не панацея». Я была и продолжаю быть убежденной в том, что это перспективная технология для юристов, особенно вписанная в агентские архитектуры, но вокруг неё складываются всякие мисконцепции и недооценки масштаба работы, которые нужно вести для поддержания эффективности системы. То есть буквально можно услышать «да почему они просто не сделают RAG по всему российскому законодательству???»
Работа там нужна и инженерно-архитектурная, но в первую очередь — работа с данными. Нормальный RAG — это очень много работы с данными. И предварительной (тактика чанкинга, структурирования и иерархирования, суммаризация, метадатирование), и последующий полноценный knowledge management.
Можно за всё вышеперечисленное не заморачиваться и быстро собрать себе свой персональный RAG из того, что было под рукой или выкачалось из К+ средствами типа гугловского File Search. Но из такого подхода получается так называемый «наивный» RAG (это не я придумала его так обзывать). О его проблемах я много писала в #rise_of_RAG, и в конечном счете это не устойчивая и не работающая на вас «вдолгую» система. Со временем начнёт разочаровывать, и через любой значимый промежуток времени будет тяжело разбираться, какой именно кусок данных устарел и как его выкорчевать и заменить.
И есть ещё всякие слабые стороны даже в моменте — сложно простраивать длинные ресечерские цепочки, так как ретриверы не знают контекста предыдущих итераций (а юридический анализ именно итеративный: что-то нашли, обдумали, пошли копать глубже / шире, ещё обдумали — покопали на другом участке и так далее). В общем с беспорядочной структурой инпута получается если и не ерунда, то и ничего особенно ценного в аутпуте.
Мне здесь видятся три стратегии развития:
1) community supported databases — энтузиасты на понятном им кусочке разрабатывают и поддерживают open-source базы, которыми делятся друг с другом (мой датасет задуман как таковая);
2) рынок: провайдеры и компании работают над такими базами, держат их как свой актив, зашитый внутри своих ИИ-сервисов для юристов или реализуемый по лицензиям другим сервисам (этим могли бы заниматься СПС);
3) государство: при официальной публикации любых НПА формируется пакет машиночитаемых данных о новом акте или об отменяемых им актах, которые можно было бы легко интегрировать в любые векторные базы и системы. Уполномоченные институты ведут работу по формированию баз актуального законодательства и правоприменительной практики. Sounds like a dream.
Впрочем и первый сценарий тоже — если и будет, то очень точечно и для тех, кто любит позаморачиваться. А второй сценарий уже реализуется, в общем, рыночек и ресурсность уже порешали!
Итого! Спасибо Софье за повод высказаться о том, о чём давно думаю и говорю по разным углам, но не соберу в одном месте. Видите, как серьёзно всё, ни одного эмодзи на пост.
И за материал, конечно, тоже спасибо — читайте и делитесь с коллегами, pdfку приложила.
Короче, материал я похвалила и читать советую, но добавлю свои 15 копеек про RAG. Ему в материале достаточно много внимания уделяется именно с ракурса «почему это не панацея». Я была и продолжаю быть убежденной в том, что это перспективная технология для юристов, особенно вписанная в агентские архитектуры, но вокруг неё складываются всякие мисконцепции и недооценки масштаба работы, которые нужно вести для поддержания эффективности системы. То есть буквально можно услышать «да почему они просто не сделают RAG по всему российскому законодательству???»
Работа там нужна и инженерно-архитектурная, но в первую очередь — работа с данными. Нормальный RAG — это очень много работы с данными. И предварительной (тактика чанкинга, структурирования и иерархирования, суммаризация, метадатирование), и последующий полноценный knowledge management.
Можно за всё вышеперечисленное не заморачиваться и быстро собрать себе свой персональный RAG из того, что было под рукой или выкачалось из К+ средствами типа гугловского File Search. Но из такого подхода получается так называемый «наивный» RAG (это не я придумала его так обзывать). О его проблемах я много писала в #rise_of_RAG, и в конечном счете это не устойчивая и не работающая на вас «вдолгую» система. Со временем начнёт разочаровывать, и через любой значимый промежуток времени будет тяжело разбираться, какой именно кусок данных устарел и как его выкорчевать и заменить.
И есть ещё всякие слабые стороны даже в моменте — сложно простраивать длинные ресечерские цепочки, так как ретриверы не знают контекста предыдущих итераций (а юридический анализ именно итеративный: что-то нашли, обдумали, пошли копать глубже / шире, ещё обдумали — покопали на другом участке и так далее). В общем с беспорядочной структурой инпута получается если и не ерунда, то и ничего особенно ценного в аутпуте.
Мне здесь видятся три стратегии развития:
1) community supported databases — энтузиасты на понятном им кусочке разрабатывают и поддерживают open-source базы, которыми делятся друг с другом (мой датасет задуман как таковая);
2) рынок: провайдеры и компании работают над такими базами, держат их как свой актив, зашитый внутри своих ИИ-сервисов для юристов или реализуемый по лицензиям другим сервисам (этим могли бы заниматься СПС);
3) государство: при официальной публикации любых НПА формируется пакет машиночитаемых данных о новом акте или об отменяемых им актах, которые можно было бы легко интегрировать в любые векторные базы и системы. Уполномоченные институты ведут работу по формированию баз актуального законодательства и правоприменительной практики. Sounds like a dream.
Впрочем и первый сценарий тоже — если и будет, то очень точечно и для тех, кто любит позаморачиваться. А второй сценарий уже реализуется, в общем, рыночек и ресурсность уже порешали!
Итого! Спасибо Софье за повод высказаться о том, о чём давно думаю и говорю по разным углам, но не соберу в одном месте. Видите, как серьёзно всё, ни одного эмодзи на пост.
И за материал, конечно, тоже спасибо — читайте и делитесь с коллегами, pdfку приложила.
❤17👍10🔥5
Вайбкодинговое… опять! Но в моей жизни произошел опыт кодинга с Antigravity от Google, и по какой-то причине, которую я до конца не понимаю, мне хочется поделиться пережитым. Причём во всех подробностях. Вот вам длинный Телеграф 🐈 🐈 🐈 🐈 🐈 🐈 🐈 🐈 🐈 🐈
Это не будет гайдом по продукту. Во-первых, на мой взгляд, пока сам не попробуешь хоть немного потыкать программу, ни один гайд не приземлится должным образом. Во-вторых, я использовала достаточно малую часть функционала, а перфекционизм не даст мне опубликовать что-то недостаточно всеобъемлющее. В-третьих, у Antigravity очень понятная документация с рассказом обо всех фичах. Можно сначала скачать, посмотреть и понажимать кнопки самостоятельно, а потом пройтись по документации и понять, что вам из этого релевантно.
Эта публикация — это скорее рассказ (довольно плотный и эмоциональный) о моём опыте: от первого лица, с субъективными оценками и, возможно, полезной информацией (как минимум, по доступу). Буквально «дорогой дневник, мне не подобрать слов…»
Также в конце будет блок о том, что я теперь вообще думаю о работе с агентскими IDE в противовес формату копипаста из чата с нейронкой в браузере, который я практиковала до этого (что иногда вызывало у некоторых какое-то почти невежливое удивление).
Текст я не стремилась адаптировать под какую-либо аудиторию, писала как-то от души, как если бы просто говорила. Мне кажется, больше всего он будет понятен, конечно, тем, кто имеет какой-то опыт кодинга с нейросетями. Но вообще из него вполне можно составить для себя впечатление, хочется ли вам самим попробовать воспарить над вайбкодинговой схваткой (не, ну а зачем они это так назвали?…)
UPD от 07.02.2026 — оказалось, что и для бесплатного использования российские аккаунты автоматом не подходят, поэтому лучше заранее проверить доступность сервиса для вашего аккаунта. Приношу извинения, если кого-то сбила с толку.
Это не будет гайдом по продукту. Во-первых, на мой взгляд, пока сам не попробуешь хоть немного потыкать программу, ни один гайд не приземлится должным образом. Во-вторых, я использовала достаточно малую часть функционала, а перфекционизм не даст мне опубликовать что-то недостаточно всеобъемлющее. В-третьих, у Antigravity очень понятная документация с рассказом обо всех фичах. Можно сначала скачать, посмотреть и понажимать кнопки самостоятельно, а потом пройтись по документации и понять, что вам из этого релевантно.
Эта публикация — это скорее рассказ (довольно плотный и эмоциональный) о моём опыте: от первого лица, с субъективными оценками и, возможно, полезной информацией (как минимум, по доступу). Буквально «дорогой дневник, мне не подобрать слов…»
Также в конце будет блок о том, что я теперь вообще думаю о работе с агентскими IDE в противовес формату копипаста из чата с нейронкой в браузере, который я практиковала до этого (что иногда вызывало у некоторых какое-то почти невежливое удивление).
Текст я не стремилась адаптировать под какую-либо аудиторию, писала как-то от души, как если бы просто говорила. Мне кажется, больше всего он будет понятен, конечно, тем, кто имеет какой-то опыт кодинга с нейросетями. Но вообще из него вполне можно составить для себя впечатление, хочется ли вам самим попробовать воспарить над вайбкодинговой схваткой (не, ну а зачем они это так назвали?…)
UPD от 07.02.2026 — оказалось, что и для бесплатного использования российские аккаунты автоматом не подходят, поэтому лучше заранее проверить доступность сервиса для вашего аккаунта. Приношу извинения, если кого-то сбила с толку.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤15👍9🔥7
Внезапно контент про #делай_bench. В конце вопросики к вам, буду признательна за ваши мысли и релевантный опыт ☕️
Недавно я участвовала в интереснейшей беседе со специалистом по психометрике.
Психометрика решает три главные задачи:
🤩 валидность (измерено ли то, что заявлено)
🤩 надёжность (воспроизводимость результатов)
🤩 шкалирование (корректная агрегация оценок)
То есть если хочется сделать надёжный human eval, то, как мне кажется, без техник и инструментов психометрики получится что-то странное(например, мой бенч 😎 ) .
Из разговора я вынесла две идеи:
1) для валидации и подтверждения статистической значимости исследований психометрические методы подбираются под конкретный корпус вопросов
2) вопросы при этом должны быть однородными, то есть проверяться должен один конструкт. Это описывается красивым, длинным и новым для меня словом — унидименсиональность. То есть тест / шкала / бенчмарк измеряют одну конкретную характеристику, а не какую-то смесь.
Посмотрим на вопросы из моего бенчмарка, что же мы видим:
То есть вопросы ориентированы на разный тип мыслительной деятельности или же на разные когнитивные задачи. Когда я усредняю оценку по настолько разным задачам, то я измеряю абстрактную «спортивность» человека, смешав результаты по шахматам, пинг-понгу и фигурному катанию.
Так родилась гипотеза: нужно делать бенчамарк с блоками вопросов, которые были бы однородны и соответствовали одному конструкту. И такими конструктами могут быть конкретные когнитивные задачи, характерные для работы юриста, и которые можно аутсорсить нейросети. Так уйдёт весомая часть проблем, о которых я писала здесь, например, низкая согласованность экспертов по одному и тому же вопросу. И, соответственно, валидно и со статистически значимыми результатами сравнивать нейросети по классам задач, выдавая рекомендации не «эта нейросеть в целом лучше», а «нейросеть Х лучше справляется с задачей Y». Соответствующим образом формулировать бенчмарки, подбирать экспертов-оценщиков и списки сравниваемых сервисов (например, по задаче ресерча не брать нейросети без выхода в Интернет).
В рамках этой гипотезы встаёт первая и главная задача: декомпоновать юридическую деятельность на принципиальные типы когнитивных задач. Например, драфтинг документов / юридический анализ / риск-оценка фактических обстоятельств / консультирование.
Однодначно определиться с таким списком довольно сложно (в том числе прочертить границы между смежными типами задач), поэтому хочется услышать как можно больше юристов:
1. как вы могли бы поделить свою работу по классам когнитивных задач?
2. было бы вам полезно подбирать ИИ-сервисы исходя из оценки их способностей решать релевантные вам задачи?
Приглашаю порассуждать о своей работе, мне кажется, мы редко это делаем, так как привыкли воспринимать свою работу как единый поток, а не комплекс задач, задействующих разные когнитивные функции.
Недавно я участвовала в интереснейшей беседе со специалистом по психометрике.
Психометрика — это область знаний о конструировании измерительных инструментов для конструктов, то есть характеристик и явлений, которые мы не можем наблюдать напрямую и к которым не применимы «физические» метрики: знаний, способностей, качества работы.
Психометрика решает три главные задачи:
То есть если хочется сделать надёжный human eval, то, как мне кажется, без техник и инструментов психометрики получится что-то странное
Из разговора я вынесла две идеи:
1) для валидации и подтверждения статистической значимости исследований психометрические методы подбираются под конкретный корпус вопросов
2) вопросы при этом должны быть однородными, то есть проверяться должен один конструкт. Это описывается красивым, длинным и новым для меня словом — унидименсиональность. То есть тест / шкала / бенчмарк измеряют одну конкретную характеристику, а не какую-то смесь.
Посмотрим на вопросы из моего бенчмарка, что же мы видим:
Q1 (алименты): задача на расчёт и выбор подходящей нормы
Q2 (обратный переход права): задача на теоретический анализ доктрины
Q5 (кондиционер): запрос на написание пошаговой инструкции
Q7 (аукционы): консультация с оценкой рисков
Q9 (фармлицензия): поиск оптимального решения в регуляторных ограничениях
То есть вопросы ориентированы на разный тип мыслительной деятельности или же на разные когнитивные задачи. Когда я усредняю оценку по настолько разным задачам, то я измеряю абстрактную «спортивность» человека, смешав результаты по шахматам, пинг-понгу и фигурному катанию.
Так родилась гипотеза: нужно делать бенчамарк с блоками вопросов, которые были бы однородны и соответствовали одному конструкту. И такими конструктами могут быть конкретные когнитивные задачи, характерные для работы юриста, и которые можно аутсорсить нейросети. Так уйдёт весомая часть проблем, о которых я писала здесь, например, низкая согласованность экспертов по одному и тому же вопросу. И, соответственно, валидно и со статистически значимыми результатами сравнивать нейросети по классам задач, выдавая рекомендации не «эта нейросеть в целом лучше», а «нейросеть Х лучше справляется с задачей Y». Соответствующим образом формулировать бенчмарки, подбирать экспертов-оценщиков и списки сравниваемых сервисов (например, по задаче ресерча не брать нейросети без выхода в Интернет).
В рамках этой гипотезы встаёт первая и главная задача: декомпоновать юридическую деятельность на принципиальные типы когнитивных задач. Например, драфтинг документов / юридический анализ / риск-оценка фактических обстоятельств / консультирование.
Однодначно определиться с таким списком довольно сложно (в том числе прочертить границы между смежными типами задач), поэтому хочется услышать как можно больше юристов:
1. как вы могли бы поделить свою работу по классам когнитивных задач?
2. было бы вам полезно подбирать ИИ-сервисы исходя из оценки их способностей решать релевантные вам задачи?
Приглашаю порассуждать о своей работе, мне кажется, мы редко это делаем, так как привыкли воспринимать свою работу как единый поток, а не комплекс задач, задействующих разные когнитивные функции.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12👍5
По ещё тёплым следам напишу свои #keytakeaways сессии «Стратегия внедрения ИИ в юридическую работу» конференции Итоги года с Legal Insight, которую мне доверили модерировать с Хольгером Цшайге (так что еще и #spectacle).
Мы обсуждали темы, ёмко отражающие перспективы и тренды внедрения ИИ в работу юрдепов в 2026-м. Спикерами были руководители юрдепов ведущих ИТ-компаний: Юлия Попелышева (Яндекс), Владимир Лавренов (Т1) и Александр Стремоусов (Т-Банк). Также Сергей Ханаев из АЛРУД обогатил дискуссию взглядом и практикой консалтинговых компаний.
Мне кажется, что получилось классно: честно, бодро и сбалансированно в плане оптимизма и страшных предсказаний.
Собственно, мысли, которые, как я надеюсь, хорошо обобщают обсуждение, упадут на правильную почву и качественно прорастут:
🤩 Юристы даже топовых ИТ-компаний на данный момент внедряют нейронки постепенно, поэтапно, взвешивая риски, — по отдельным наиболее AI-ready сценариям (как правило, тем, где уже был достаточный уровень автоматизации, и наведён порядок)
🤩 Очень здравым подходом мне кажется тот, что озвучил Александр: ИИзация не должна быть самоцелью, ИИ — это инструмент автоматизации в целом, нужно его довешивать там, где это целесообразно
🤩 Вайб-кодеры ценятся — мы сошлись с коллегами на том, что юрист с опытом разработки, даже вайбовым, уже намного лучше начинает понимать айтишников и может разговаривать с ними на одном языке (а это само по себе ценность и плюс к продуктивности всей юридической команды).
В команде Владимира прекрасный опыт точечного, но очень показательного применения вайб-кодинга юристами: парой строчек кода, а не вручную, вносятся микроправки в огромное количество шаблонов по всей группе компаний (я бы назвала это клик-экономией, в работе юриста нажимание на кнопки без добавленной ценности съедает десятки часов)
🤩 У молодых юристов всё будет нормально — ваши потенциальные руководители прекрасно понимают, что без стартовых этапов не получится нормального опытного юриста, и уже озадачены тем, где и как вы будете набивать необходимые синяки и шишки и впитывать в себя КОНТЕКСТ
🤩 О, контекст — все осознают его глобальную важность, ведь погружённость в контекст не даст, простите за клише, заменить юриста. Контекст — это собственно ваши знания, опыт и насмотренность: от фундаментальной догматики, полученной в университете, до воспоминаний о том, почему из-за кого из-за бухгалтерии три года назад тот самый срочный проект на три года заморозился
🤩 На более практическом уровне «прямо сейчас» вроде бы важно делать базы знаний, заниматься knowledge management, «оставлять после себя красивый контекст» (с которым тебе и самому было бы приятнее поработать в будущем, а не только нейронке прожевать).
Но это не deal breaker — конечно, для многих классов наших задач можно использовать решения, которые не обращаются к вашим наработкам. Но всё же максимально проникающей и эффективной ИИзация будет на ваших данных и наработках — просто это вопрос более отдалённой перспективы (и это нормально, не нужно переживать, что вы куда-то опаздываете. Но и двигаться в этом направлении вообще не вредно)
🤩 Консалтинговым компаниям с этим движением может быть проще, так как многие крупные фирмы давно занимаются управлением знаниями. Сергей Ханаев считает, что эти массивы знаний точно можно переиспользовать не только по прямому назначению, а например, для онбординга молодых юристов. И не исключает, что либо сами данные, либо методики их обработки и структурирования можно нести в рынок или клиентам
Спасибо огромное спикерам, Маргарите Гаскаровой и Хольгеру Цшайге за то, что такой разговор стал возможен и получился! И за мой первый опыт модераторства, вроде бы не стыдный!)
Мы обсуждали темы, ёмко отражающие перспективы и тренды внедрения ИИ в работу юрдепов в 2026-м. Спикерами были руководители юрдепов ведущих ИТ-компаний: Юлия Попелышева (Яндекс), Владимир Лавренов (Т1) и Александр Стремоусов (Т-Банк). Также Сергей Ханаев из АЛРУД обогатил дискуссию взглядом и практикой консалтинговых компаний.
Мне кажется, что получилось классно: честно, бодро и сбалансированно в плане оптимизма и страшных предсказаний.
Собственно, мысли, которые, как я надеюсь, хорошо обобщают обсуждение, упадут на правильную почву и качественно прорастут:
В команде Владимира прекрасный опыт точечного, но очень показательного применения вайб-кодинга юристами: парой строчек кода, а не вручную, вносятся микроправки в огромное количество шаблонов по всей группе компаний (я бы назвала это клик-экономией, в работе юриста нажимание на кнопки без добавленной ценности съедает десятки часов)
Но это не deal breaker — конечно, для многих классов наших задач можно использовать решения, которые не обращаются к вашим наработкам. Но всё же максимально проникающей и эффективной ИИзация будет на ваших данных и наработках — просто это вопрос более отдалённой перспективы (и это нормально, не нужно переживать, что вы куда-то опаздываете. Но и двигаться в этом направлении вообще не вредно)
Спасибо огромное спикерам, Маргарите Гаскаровой и Хольгеру Цшайге за то, что такой разговор стал возможен и получился! И за мой первый опыт модераторства, вроде бы не стыдный!)
Please open Telegram to view this post
VIEW IN TELEGRAM
❤19🔥10👍8
Обнаруживаю, что некоторые люди знают меня только лишь по боту, а некоторые вообще не знают ни про какого бота — сегодняшний пост про него, точнее про #commits, которых сто лет не было, ибо такова судьба pet-проектов.
По боту(да по какому боту?? Да по этому @lastminute_legal_bot ) у меня образовался немаленький технический должок. Наполовину там нужные для стабильности работы бота вещи, наполовину — чисто перфекционизм.
В общем обзор коммитов, которым от пользователям в основном абсолютно ни горячо, ни холодно, а также вайбкодерские кулстори для тех, кому это не скучно читать:
🤩 Миграция на корректную библиотеку, а точнее SDK (это когда и библиотеки, и инструменты, и whatnot), обрабатывающую API-запросы в Gemini
Та, что работала в боте до этого, перестала поддерживаться разработчиками в августе, о чём я узнала в октябре😀 и допрокрастинировала с переездом до этого момента. Я подступалась к этой задаче, и она оказалась очень занудной, требующей внимательности и хирургического выщипывания всех вызовов API по всему коду бэкэнда.
Добрый товарищ Эдуард (привет!!!🙃 ) давал мне советы, как это сделать, но всё оказалось ещё безболезненнее, обошлось 25 строками кода, и вот как:
🤩 Выделение обращений к API Gemini в отдельный класс
Давно я думала о том, что хорошо бы иметь запасной аэродром, в смысле нейросеть, которая будет трудиться вместо Gemini, а для этого нужно серьезно перелопатить бэкэнд. Но эта идея с необходимостью мигрировать элегантно сложились в единый план: сначала я выделю отдельный LLM-специфичный класс, а уже в него подсажу правильную SDK.
План абсолютно удался, так как в этом мне помогали Claude Opus 4.6 и Antigravity. В чате с Клодом я по заветам собственной методички составила план (и именно Клод читал всю документацию и cookbook по этой SDK), а затем Антигравити рас-рас-рас и за 15 минут всё провернула. Примерно на этом этапе я буквально оказалась в меме «как выйти из vim», поэтому у меня ещё и такая ачивка(хотя вышла из vim НЕ я)
🤩 Исправлены ошибки несовпадений парсинга Телеграмом HTML-меток из API-ответов
Для пользователя это выглядело как какая-то непонятная ошибка, а я в админку получала зловещие сообщения по типу «
В общем именно эти три изменения должны обеспечивать лучшую стабильность в работе бота. Но меня уже было сложно остановить, поэтому
🤩 Наступает финансовый контроль!
Раньше я только текстом просила не грузить PDF больше 5 страниц, теперь бот это будет контролировать и не пущать. Также в отчётах у меня теперь разводятся токенные расходы на инпут и аутпут. Если расходы будут удерживаться на каком-то устраивающем меня уровне, то попробуем и Gemini 3 Pro подключить.
🤩 И ещё всякий другой контроль
Раньше счётчик предупреждений за нарушения накидывался только если сама нейросеть генерит непристойный ответ и его блокирует, теперь ещё будет накидываться и за неприличные промпты. В моей войне за цензуру я как-то упустила этот момент… Но это сделано больше из желания доперфекционировать проект, в общем-то за полгода никого не блокировало и, кажется, даже не предупреждало.
Также теперь я буду знать, кто из пользователей бота читает полный длиннопост про правила использования (хочу проверить гипотезу, что никто), и сколько людей приходит в канал из бота.
Но какие-то ощутимые для пользователей изменения, а именно новые фичи я тоже планирую — как только перепричешу весь RAG-пайплайн. Также скоро будет кое-что интересное о возможностях кооптации бота в процессы компаний, так что оставайтесь на связи!
По боту
В общем обзор коммитов, которым от пользователям в основном абсолютно ни горячо, ни холодно, а также вайбкодерские кулстори для тех, кому это не скучно читать:
Та, что работала в боте до этого, перестала поддерживаться разработчиками в августе, о чём я узнала в октябре
Добрый товарищ Эдуард (привет!!!
Давно я думала о том, что хорошо бы иметь запасной аэродром, в смысле нейросеть, которая будет трудиться вместо Gemini, а для этого нужно серьезно перелопатить бэкэнд. Но эта идея с необходимостью мигрировать элегантно сложились в единый план: сначала я выделю отдельный LLM-специфичный класс, а уже в него подсажу правильную SDK.
План абсолютно удался, так как в этом мне помогали Claude Opus 4.6 и Antigravity. В чате с Клодом я по заветам собственной методички составила план (и именно Клод читал всю документацию и cookbook по этой SDK), а затем Антигравити рас-рас-рас и за 15 минут всё провернула. Примерно на этом этапе я буквально оказалась в меме «как выйти из vim», поэтому у меня ещё и такая ачивка
Для пользователя это выглядело как какая-то непонятная ошибка, а я в админку получала зловещие сообщения по типу «
Can't parse entities: unsupported start tag "30" at byte offset 6020». В общем именно эти три изменения должны обеспечивать лучшую стабильность в работе бота. Но меня уже было сложно остановить, поэтому
Раньше я только текстом просила не грузить PDF больше 5 страниц, теперь бот это будет контролировать и не пущать. Также в отчётах у меня теперь разводятся токенные расходы на инпут и аутпут. Если расходы будут удерживаться на каком-то устраивающем меня уровне, то попробуем и Gemini 3 Pro подключить.
Раньше счётчик предупреждений за нарушения накидывался только если сама нейросеть генерит непристойный ответ и его блокирует, теперь ещё будет накидываться и за неприличные промпты. В моей войне за цензуру я как-то упустила этот момент… Но это сделано больше из желания доперфекционировать проект, в общем-то за полгода никого не блокировало и, кажется, даже не предупреждало.
Также теперь я буду знать, кто из пользователей бота читает полный длиннопост про правила использования (хочу проверить гипотезу, что никто), и сколько людей приходит в канал из бота.
Но какие-то ощутимые для пользователей изменения, а именно новые фичи я тоже планирую — как только перепричешу весь RAG-пайплайн. Также скоро будет кое-что интересное о возможностях кооптации бота в процессы компаний, так что оставайтесь на связи!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9🔥9👍3🏆2😎1
Вместо тысячи слов 😀
Конструктивный фидбек по делу всегда приветствуется!
Шутки юмора приветствуются иногда, не всегда, только добрые (возможно, по субботам, возможно, по 15-м лунным суткам)
Конструктивный фидбек по делу всегда приветствуется!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥32❤11👏7
Through thick and thin
Первая половина февраля получилась очень плотной по всяким приятным событиям, и не могу здесь не написать об одном, наверное, самом сентиментально важном — российских раундах студенческого конкурса по международному праву Jessup Moot Court Competition.
Этот год конкурса очень особенный: он в 25-й раз проводится в России. Он и для меня лично очень особенный — ровно 10 лет назад я студенткой-участницей приехала в Москву, и наша команда неожиданно для всех прорвалась в advanced rounds и поборолась за поездку в Вашингтон (неуспешно, но это для нашего тогдашнего уровня не было бы адекватным результатом). А в этом году я сама впервые села в панель четвертьфинала, и с радостью (и, надеюсь, пользой для ребят) участвовала в прожарке.
У российских раундов свои челленджи, и это большое счастье, что есть национальный администратор Евгения Неверова и Asari Legal. Благодаря Жене конкурс живёт и обязательно дойдет по спиральке истории до своего прайма, пришедшегося на +-2-3 года вокруг «моих» лет. Но у вообще всего конкурса, конечно, появился более сложный челлендж… угадайте с одного раза какой.
Я давно уже размышляла о том, какой же объём работы, которую мы делали руками, теперь можно поручить ИИ, и просто качать ногой и репетировать устные выступления:
🤩 работа с кейсом (вручную писались таймлайны событий, глазами в пятидесятый раз прочитывался кейс в поисках новой микрозацепки для аргумента в какую-то пользу)
🤩 ресерч и переработка и усвоение материалов (ключевое case law прочитывалось от корки до корки, ручная суммаризация, гуглежка до красных глаз и отчаянный поиск источника, где, судя по сноске 355 в какой-то непонятной магистерской диссертации, может содержаться подтверждение нужного тебе тезиса, или блуждание по странным базам судебных решений Филлипин или Израиля, ведь тебе надо наскрести какую-то практику)
🤩 работа с аргументацией, ее стратегическое строительство, устранение внутренних противоречий, само-челленджинг и подбор вопросов — всё это делалось своими мозгами, командными бренштормами в долгих регулярных очных встречах
🤩 драфтинг меморандума (письмо, вычитка ошибок, форматирование, покорение вслепую неизведанных функций MS Office, ручная проверка на плагиат и перефраз, взаимный пруфрид внутри команды и доработка по правкам и идеям ребят и коучей)
В общем, речь о задачах, которые делают из студента юриста, и которые юристы теперь сгружают в нейросети. И вот не знаю, насколько хорошо это делать, когда ты студент?
Развилки (и гипотезы) такие:
😎 хорошие команды делают примерно все то же самое, что делали всегда, но точечно бустят свою эффективность нейронками, высвобождая время на другие задачи (отработка выступлений, размышления и дискуссии о стратегии аргументации, погружение в матчасть).
Но нужно четко понимать, ГДЕ эти точки, которые действительно поднимают твою эффективность без ущерба для общего результата — откуда это брать? Ну разве что опытные тренеры, практикующие юристы, применяющие ИИ, подскажут.
🤩 хорошие команды работают как всегда, проигрывая в итоге тем, кто работал как всегда И использовал нейросети (уверена, на международных раундах 100% будут такие убийцы);
😬 использовать нейронки во все поля, и не направлять высвобождаемое время ни на что, получая стыдные результаты на устных выступлениях. Все очень бросается в глаза. У меня были две команды, написавшие неплохие на первый взгляд меморандумы (не было времени вчитываться, но красиво структурированные и без явных ошибок по языку)… а разговаривают по-английски… не разговаривают.
СПОРНЫЕ ВЫВОДЫ В КОММЕНТАРИИ
Первая половина февраля получилась очень плотной по всяким приятным событиям, и не могу здесь не написать об одном, наверное, самом сентиментально важном — российских раундах студенческого конкурса по международному праву Jessup Moot Court Competition.
Этот год конкурса очень особенный: он в 25-й раз проводится в России. Он и для меня лично очень особенный — ровно 10 лет назад я студенткой-участницей приехала в Москву, и наша команда неожиданно для всех прорвалась в advanced rounds и поборолась за поездку в Вашингтон (неуспешно, но это для нашего тогдашнего уровня не было бы адекватным результатом). А в этом году я сама впервые села в панель четвертьфинала, и с радостью (и, надеюсь, пользой для ребят) участвовала в прожарке.
У российских раундов свои челленджи, и это большое счастье, что есть национальный администратор Евгения Неверова и Asari Legal. Благодаря Жене конкурс живёт и обязательно дойдет по спиральке истории до своего прайма, пришедшегося на +-2-3 года вокруг «моих» лет. Но у вообще всего конкурса, конечно, появился более сложный челлендж… угадайте с одного раза какой.
Я давно уже размышляла о том, какой же объём работы, которую мы делали руками, теперь можно поручить ИИ, и просто качать ногой и репетировать устные выступления:
В общем, речь о задачах, которые делают из студента юриста, и которые юристы теперь сгружают в нейросети. И вот не знаю, насколько хорошо это делать, когда ты студент?
Развилки (и гипотезы) такие:
Но нужно четко понимать, ГДЕ эти точки, которые действительно поднимают твою эффективность без ущерба для общего результата — откуда это брать? Ну разве что опытные тренеры, практикующие юристы, применяющие ИИ, подскажут.
СПОРНЫЕ ВЫВОДЫ В КОММЕНТАРИИ
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9👍7🔥6
Если вы захотите разнообразить ваше рутинное блуждание по маркетплейсам, обратите внимание на этот красивый бордовый лот!
Да-да, не удивляйтесь, в компании этих умнейших мужчин на обложке и в книжке есть еще и я(*шутки про diversity pick* *шутка на тему «чукча теперь писатель»*) .
Я соавторствую потому, что мне есть что рассказать о кодинге с нейросетями для юристов. Вот такое продолжение методички про вайб-кодинг получается😀
Рассказывать старалась с точки зрения ценности навыка, вдохновляя попробовать и подсказать первые шаги. Все больше и больше юристов включаются в эту занимательную игру, включая и больших руководителей и селебрити. Но мне наиболее всего отрадно узнавать о том, как многие наши коллеги, обычные инхаусы или частнопрактики, помогают себе вайб-кодингом, и хочется, чтобы о самой такой возможности узнавало все больше людей.
Я читала первое актионовское издание книги — главы ребят очень хорошие и концептуально построены так же: рассказать о возможностях и ограничениях, вдохновить, вооружить на первый шаг. К переизданию все они стали еще лучше, подробнее. Свое слово на всех волнующую тему конфиденциальности также скажет Александр Партин.
В общем предзаказывайте, в апреле должна быть живая напечатанная книжка. Обязана сообщить, что цена предзаказа традиционно ниже того, как будет после выхода в свет🫠
Ссылки: OZON — Читай-город — Буквоед
Да-да, не удивляйтесь, в компании этих умнейших мужчин на обложке и в книжке есть еще и я
Я соавторствую потому, что мне есть что рассказать о кодинге с нейросетями для юристов. Вот такое продолжение методички про вайб-кодинг получается
Рассказывать старалась с точки зрения ценности навыка, вдохновляя попробовать и подсказать первые шаги. Все больше и больше юристов включаются в эту занимательную игру, включая и больших руководителей и селебрити. Но мне наиболее всего отрадно узнавать о том, как многие наши коллеги, обычные инхаусы или частнопрактики, помогают себе вайб-кодингом, и хочется, чтобы о самой такой возможности узнавало все больше людей.
Я читала первое актионовское издание книги — главы ребят очень хорошие и концептуально построены так же: рассказать о возможностях и ограничениях, вдохновить, вооружить на первый шаг. К переизданию все они стали еще лучше, подробнее. Свое слово на всех волнующую тему конфиденциальности также скажет Александр Партин.
В общем предзаказывайте, в апреле должна быть живая напечатанная книжка. Обязана сообщить, что цена предзаказа традиционно ниже того, как будет после выхода в свет
Ссылки: OZON — Читай-город — Буквоед
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥22❤8👏6👍2
Этот пост выходного дня я посвящаю новым прекрасным цветам на лигал-вайбкод ландшафте! 💐 Эти цветы я собирала половину зимы, и каждый раздел мне сегодня особенно приятен.
Они долго были в тени и наконец вышли в свет
🌼 Про проверку договоров по чек-листам с составлением протоколов разногласий по низкорисковым договорам с помощью API Gemini и Чекко от Александра Клепцина многие слышали и хотели программулину себе. Саша еще тем летом смело и успешно покусился на вещи, с которыми я до последнего не хотела иметь дел, а именно шаблоны с плейсхолдерами, GUI и сборка в исполняемые файлы. Еще там встроенный Tesseract для распознавания сканов, в общем программа готова к любым приколам от ваших контрагентов.
Но только совсем недавно Саша выдал своего ContractBot в опенсорс, и я советую попробовать, как минимум, чтобы увидеть какая у программы замечательная иконка (почти такая же замечательная как аватарка Сашиного канала, где он пишет с полей о своих практиках использования нейронок в работе юриста)!
🌸 В конце января какая-то одинаковая звезда светила Саше и еще одному моему доброму приятелю Эдуарду, который ещё более давний кодер, с донейроночных времен. И Эдуард тоже поделился с миром своим произведением, концептуально похожим на ContractBot: это тоже OCR-обработчик входящих файлов, генерирующий шаблонные документы. В дизайне Эдуарда — претензии и реестры (с выгрузкой аж на ваш Яндекс-диск), но дизайн гибкий, можно адаптировать под себя.
Напрашивается какое-то соединение программ Саши и Эдуарда в единого мини-инхауса, нужно только еще хранение договоров прикрутить, и в случае неисполнения парой кнопок начинать претензионный этап.
Волнующая история появления программы Эдуарда попала в книгу как яркий кейс, демонстрирующий ценность вайб-кодинга в работе юриста (у нас, кстати, уже больше 500 предзаказов, представляете 🥺).
У Эдуарда есть и другие проекты в опен-сорсе: просто полюбуйтесь этим Гитхабом и наставьте там звёзд.
Нам нужно больше RAG-ботов!
Первая часть была про успехи дорогих друзей, а вторая — про успехи на ниве RAGования в двух областях, которые отлично подходят для создания небольших баз знаний (которыми, я надеюсь, авторы решат поделиться в какой-то момент, посмотрим, сбываются ли мои предсказания).
🌼 Иван Кундиль собрал бота-консультанта по IP, где зараговал акты СИП и ч. 4 ГК. Хотите верьте, хотите нет, но именно в акты СИП, ФИПС и Роспатента я целилась, думая о других проектах, подобных моему боту, но судьба понесла меня в другие края.
Поэтому очень круто, что Иван это сделал! Причем десятикратно круто, что Иван делает не наивный чанкинг, а иерархическую структуру, делая для чанков метадирование, по которому чанки объединяются в смысловые блоки.Что-то мне это напоминает 🙂 Ивану желаю всяческих успехов и с интересом слежу за его каналом.
🌹 Но и это еще не все, представляете? Вчера я была на защите проектов Хакатона у вышкинских студентов, и там тоже был RAG-бот по волнующей всех последние пару лет сфере персональных данных. Под капотом DeepSeek и FAISS, что-то маленькое и опенсорсное для векторизации (я уже забыла что). Девушки отиндексировали более 200 относимых к регулированию ПД подзаконных актов и разъяснений РКН, включая описания легендарных вебинаров.
Не знаю, будут ли они поддерживать проект после Хакатона, но сегодня работает. Очень отрадно, что уже и студенты знают о такой технологии и трогают ее руками. У Хакатона есть и ещё кое-какие интересные результаты, о которых я сообщу уже прям завтра😮
Ну и самый необыкновенный цветок в этом букете🌟 — это гениальное произведение современного искусства от постоянного уже героя этой рубрики Александра. Без лишних слов, всем любителям Борхеса салют!
Они долго были в тени и наконец вышли в свет
Но только совсем недавно Саша выдал своего ContractBot в опенсорс, и я советую попробовать, как минимум, чтобы увидеть какая у программы замечательная иконка (почти такая же замечательная как аватарка Сашиного канала, где он пишет с полей о своих практиках использования нейронок в работе юриста)!
Напрашивается какое-то соединение программ Саши и Эдуарда в единого мини-инхауса, нужно только еще хранение договоров прикрутить, и в случае неисполнения парой кнопок начинать претензионный этап.
Волнующая история появления программы Эдуарда попала в книгу как яркий кейс, демонстрирующий ценность вайб-кодинга в работе юриста (у нас, кстати, уже больше 500 предзаказов, представляете 🥺).
У Эдуарда есть и другие проекты в опен-сорсе: просто полюбуйтесь этим Гитхабом и наставьте там звёзд.
Нам нужно больше RAG-ботов!
Первая часть была про успехи дорогих друзей, а вторая — про успехи на ниве RAGования в двух областях, которые отлично подходят для создания небольших баз знаний (которыми, я надеюсь, авторы решат поделиться в какой-то момент, посмотрим, сбываются ли мои предсказания).
Поэтому очень круто, что Иван это сделал! Причем десятикратно круто, что Иван делает не наивный чанкинг, а иерархическую структуру, делая для чанков метадирование, по которому чанки объединяются в смысловые блоки.
Не знаю, будут ли они поддерживать проект после Хакатона, но сегодня работает. Очень отрадно, что уже и студенты знают о такой технологии и трогают ее руками. У Хакатона есть и ещё кое-какие интересные результаты, о которых я сообщу уже прям завтра
Ну и самый необыкновенный цветок в этом букете
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤18🔥13👍4
Я вчера заикнулась о том, что после Хакатона магистратуры «Цифровое право» ВШЭ есть еще кое-какие результаты. А пользователи бота уже могли заметить некую новую кнопку рядом с предложением проверить новый креатив… и это два взаимосвязанных факта!)
Встречайте — сервис для поиска практики ФАС по рекламным делам: https://search.delay-rag.ru👏 👏
Этот поисковый интерфейс к датасету сделали, собственно, в рамках Хакатона студенты, возглавленные Данилой Садовским, за что им большое спасибо!
Предыстория у проекта такая, что для RAG-базы под бота собралось много кейсов с качественной разметкой, и я их решила сложить в датасет. А потом в какой-то момент от Светланы Вершининой пришёл на тему бота такой фидбек, что бот удобен для поиска практики, и в голове зажглась лампочка, что нужен нормальный поиск вне бота. Первое сложилось со вторым, и я захотела сделать для датасета какой-то поисковый интерфейс… а потом пришла Ксения Даньшина с предложением понаставничать на Хакатоне, и пазл сложился.
Что мы имеем? Имеем мы эмбеддинговый поиск по делам из моего датасета (автоматического сиюминутного обращения к базе ФАС нет, данные готовятся заранее. Пополнение… надеюсь, будет в конце марта). Gemini Embeddings делает всю работу, в архитектуре есть фьюжн с поиском по ключевым словам, механизм пользовательской фильтрации и реранкинга — об этом надо будет что-то отдельное написать.
В общем потестите сами и расскажите своим коллегам-рекламным юристам! Если есть какая-то обратная связь, пишите в специальную форму, контактам на сайте, прям здесь либо мне в личку.
Студенты сделали весь фронтенд и бэкенд. Концепт, архитектурное видение, подключение API и деплой веб-сервиса уже на мне. Я, возможно, открыта к мысли поместить чей-нибудь маленький аккуратный баннер под фильтрами для покрытия костов, но пока ничего не решила🤔 Если эта идея вдруг вам откликнулась — в описании канала есть контакты (не является офертой!)
Встречайте — сервис для поиска практики ФАС по рекламным делам: https://search.delay-rag.ru
Этот поисковый интерфейс к датасету сделали, собственно, в рамках Хакатона студенты, возглавленные Данилой Садовским, за что им большое спасибо!
Предыстория у проекта такая, что для RAG-базы под бота собралось много кейсов с качественной разметкой, и я их решила сложить в датасет. А потом в какой-то момент от Светланы Вершининой пришёл на тему бота такой фидбек, что бот удобен для поиска практики, и в голове зажглась лампочка, что нужен нормальный поиск вне бота. Первое сложилось со вторым, и я захотела сделать для датасета какой-то поисковый интерфейс… а потом пришла Ксения Даньшина с предложением понаставничать на Хакатоне, и пазл сложился.
Что мы имеем? Имеем мы эмбеддинговый поиск по делам из моего датасета (автоматического сиюминутного обращения к базе ФАС нет, данные готовятся заранее. Пополнение… надеюсь, будет в конце марта). Gemini Embeddings делает всю работу, в архитектуре есть фьюжн с поиском по ключевым словам, механизм пользовательской фильтрации и реранкинга — об этом надо будет что-то отдельное написать.
В общем потестите сами и расскажите своим коллегам-рекламным юристам! Если есть какая-то обратная связь, пишите в специальную форму, контактам на сайте, прям здесь либо мне в личку.
Студенты сделали весь фронтенд и бэкенд. Концепт, архитектурное видение, подключение API и деплой веб-сервиса уже на мне. Я, возможно, открыта к мысли поместить чей-нибудь маленький аккуратный баннер под фильтрами для покрытия костов, но пока ничего не решила
Please open Telegram to view this post
VIEW IN TELEGRAM
search.delay-rag.ru
Поиск по решениям ФАС
Семантический поиск по базе решений ФАС о нарушениях в рекламе
🔥17👍8❤4