🤩🤩🤩🤩 Навигация 🤩🤩🤩🤩

Всем привет! Сейчас, к моему большому сожалению, у меня очень мало времени на более содержательные публикации, но я вижу, как на канал приходят новые подписчики. Я очень всем рада! 🥺 В канале несколько основных треков, и вот небольшая карта по ним:

🤩 Если вы не знаете досконально, что такое RAG, так решительно заявленный в названии канала, то у меня есть вводный материал об этой технологии: everybody talks about RAG (он же на zakon.ru)
В целом в центре моих интересов тема построения баз знаний для реализации RAG-технологий, о чем я завела рубрику #rise_of_RAG, в рамках которой написала лонгриды:
🤩 Rise of RAG: от плоских векторов к темпоральным графам (она же в более ИТ-ориентированном виде на Хабре)
🤩 Document-Level Retrieval Mismatch: ищем иголку в стоге плоских чанков

🤩 Другие мои материалы и проекты
🤩 «Как испытать от вайб-кодинга радость» — сборник советов и методов организации кодинга с нейросетями, основанный на моём опыте
🤩 #делай_bench — фасилитация human-eval бенчмарка LLM для юридических задач (а также пост на Хабре).
🤩 книга «Юристы и нейросети» в коллективе лучших авторов

🤩 Канал начался (и в общем, конечно, продолжается) как канал о Telegram-боте @lastminute_legal_bot, проверяющем рекламные креативы нейросетью с небольшой RAG-базой. В основном публикации на этом треке можно найти по следующим хэштегам:
🤩 #ботоводство — о том, как создавался бот, с какими сложностями я сталкивалась, как их (не) преодолевала, как вообще развивается бот и я вместе с ним. Публикации по этому тегу могут быть интересны тем, кто практикует т.н. вайб-кодинг или любит следить за жизнью pet-проектов
🤩 #commits — о изменениях в коде и функциональности бота
🤩 #RAG_expansion — новости о пополнении базы знаний, которой пользуется бот
🤩 #делайRAG — о процессе создания базы знаний, которой пользуется бот. Настоящий кейс, рассказанный во всех деталях, который можно использовать как мануал в своих проектах, в едином лонгриде собран здесь. В перспективе хочу ставить этот тег и для рассказов о других своих RAG-проектах

Важные ресурсе о боте:
🤩 Github проекта (можно ставить звёздочки 😀)
🤩 Лендинг проекта

🤩 Значительная аудитория канала — юристы, работающие с рекламой. Для вас здесь есть:
🤩 https://search.delay-rag.ru/ — бесплатный сервис поиска по размеченной практике ФАС
🤩 открытый датасет с 7000+ размеченных дел с практикой ФАС по рекламе за прошедшие 6 лет, ставший основой для сервиса
🤩 любимая мной рубрика #мудростьФАС — о разных курьезах из практики ФАС по рекламным делам, на которые я обратила внимание, делая RAG для бота
🤩 публикация на vc.ru о типах субстантивных нарушений, на которые ФАС обращала внимание чаще всего в 2025-м году

🤩 Также я хожу на разные мероприятия в сфере legal tech и применения нейросетей в работе юристов
🤩 #spectacle — о событиях, где выступала я сама
🤩 #keytakeaways — о событиях, которые посетила

Пост будет пополняться.

Заключительный пост о #делайRAG-пайплайне формирования базы знаний для бота. До этого я рассказывала о самом процессе наполнения базы, а здесь будет немного об организации и эффективности этой работы. Этот пост и все предыдущие для удобства собрала в одном длиннющем Телеграфе.

Почему воронка — это воронка
Всё просто — на каждом этапе воронки что-то отсекается: из-за особенностей ведения базы самой ФАС и моих представление о том, каким должен быть RAG для бота. На картинке анализ «потерь». Итоговая эффективность пайплайна, то есть процент ссылок, ставших знаниями в базе, 19.89%.

Технические особенности пайплайна
В пайплайне много технических фич, призванных делать его многоразовым и оптимизированным. Например, есть механизме «изоляции запусков» или сессий.
В коде есть переменная CURRENT_SESSION, и при каждом запуске скрапера этой переменной присваивается уникальный ID, который дописывается в JSON, возвращаемый нейросетью после разметки. Таблица, которую я отсматриваю, собирается с учетом этих ID, чтобы в неё не попадало то, что я уже видела.

Также есть логика кэширования, чтобы не тратить лишнее время на проходы скрапера и деньги на API-запросы. Кэширование реализовано в виде:
🤩логгера, записывающего все ссылки, по которым скрапер когда-либо ходил;
🤩 логики проверки наличия JSONа с нужным docID (если JSON есть, значит решение уже было размечено);
🤩специального кэша для корпуса эмбеддингов, чтобы перезаписывать корпус.
Всё это работает и на отказоустойчивость — если падает соединение с Интернетом или какие-то проблемы на стороне Gemini API. Также из кэширования вырастает логика прогона скрапера по тем ссылкам, на которых он был раньше, но не нашёл решения — вдруг решение появилось, и его можно скачать и далее отправить на разметку. 

Да как вообще этот пайплайн выглядит, это какая-то программа?
Это ноутбук (файл в формате .ipynb) в среде Jupyter Lab. Это не совсем IDE (Integrated Development Environment типа VS Code), в которой делаются приложения. У меня особый вайб-кодерский путь, и я использую именно ноутбуки.
В ноутбуках код поделен на ячейки, и выполняя каждую ячейку, ты сразу видишь результат ее работы в виде отчётов о выполнении.
Ноутбук в варианте последнего прогона ячеек можно послать кому-то, кто откроет его в своём Юпитере и увидит все те же отчёты (или прямо в нейросети, почти все читают .ipynb). Ноутбуки подходят для анализа данных, если вам не нужен непременно какой-то интерфейс. И, как мне кажется, формат хорошо подходит для пайплайна — это сильно проще, чем делать программный интерфейс. Можно быть достаточно гибкой в том, чтобы быстро добавить «аварийные» или аналитические ячейки. 
Но! Нюанс использования ноутбука в том, что надо хорошо понимать, какие ячейки с какими у тебя связаны — если не запустишь ячейку с импортами библиотек или активацией API-ключа, то другая нужная ячейка не заработает. А если Юпитер вылетел посреди скрапинга, то вылетает и вся история с сессиями, потому что переменная CURRENT_SESSION живет только в памяти. Чем больше ячеек — тем более тормозной ноутбук. И всё в таком духе. 
Если есть идеи, как можно реализовать пайплайн в более удобном виде — просветите, пожалуйста.

Что еще можно было бы исправить и добавить?
За несколько месяцев работы по наполнению базы несколько раз менялись параметры разметки и скриптованных добавлений в JSONы, которые возвращает нейросеть. Пару раз менялся промпт для разметки. И, собирая датасет, я споткнулась на том, что JSONы получились неоднородные, и их нужно было дополнительно унифицировать.
То есть для текущей версии пайплайна напрашивается какой-то механизм версионирования промпта. И вообще, кажется, нужно ветвить пайплайн на работу ещё и с датасетом, ведь его тоже нужно будет пополнять и дальше.
 
На этом всё! Спасибо всем, кто читал об этой моей работе. Для меня она оказалась одной из самых интересных в рамках всего проекта. И пусть процесс и неидеален, опыт получился совершенно бесценный.

Готовлюсь в рамках курса Мурата Мазукова поделиться своим опытом вайб-кодинга, а также пережив (это наиболее подходящее слово, да) недавно создание еще одного секретного MVP, стала особенно восприимчива к этой теме. А еще и в последнее время многие мои коллеги-юристы и добрые друзья канала вывели в свет или напомнили о существовании своих замечательных навайбкоженных проектов, и мне очень захотелось о них здесь рассказать и, может быть, вдохновить кого-то из читателей на маленький подвиг. Может, вдохновлю настолько, что сложится целая традиция!

Сегодня тогда будет пост о том, как юристы сделали что-то очень классное не-юридическое или около-юридическое.

🏭 Александр, активный участник чата Нейросети | ilovedocs, активно поддерживающий и меня в моих ресерчах здесь на канале, сделал залипательную мини-игрушку, симулирующую управление ТЭЦ — ТЭЦ на триллион (актуалочка с невнятной московской погодой).
Я очень люблю вот такие системки, в которых есть разные балансирующие друг друга переменные, где нужно и глобальную стратегию держать в уме, и заниматься микроменджментом. Одна из моих любимых игр — Fallout Shelter, а примерно всю жизнь я every once in while играю в Sims 2. В общем, люблю тушить виртуальные пожары.
Надеюсь, у Александра получится и в магазины приложений игрушку довести, если ему захочется продолжить. И может Александр, если увидит пост, расскажет в комментах, чем вайбкодил и насколько долго!

🤑 Глеб и его товарищ Алексей, авторы канала «Технологии для юриста», сделали биллинг-бота. Отличной и гениальной в простоте идеей кажется кнопками «старт» и «стоп» фиксировать потраченное на задачу время. Телеграмом пользуются постоянно и все, привязки к компьютеру нет, и, кажется, с таким подходом забыть что-то забиллить просто нереально (особенно если закрепить бота рядом с любимым каналом с мемами).
Особенно классно, что ребята делали первые версии кода в Perplexity — я пока больше ни от кого не слышала, что кодили там, хотя почему бы и нет. Кодили, причем, в соответствии с лучшими, как я считаю, практиками предварительного планирования архитектуры (я лично сильно не сразу додумалась так делать — об этом скоро в канале, кстати, что-то будет…).
Ребята ищут тестировщиков, связаться с ними можно через канал. Канал-новостник, и мне очень по душе чувствуемая в нем системность ведения и выверенность стилистики (парни, признавайтесь, кто из вас дева по ЗЗ). Кстати, в канале, если немного покопаться в прошлых постах, даже можно найти меня 😇

🫥 Григорий, открывший в рамках курса Рунетлекс Академии мне глаза на тот факт, что юристы зачем-то могут что-то кодить, делал Тест «Lawyer / Not Lawyer». Сделан на java noscript и с авторской методологией, большим деревом результатов. Я с результатами конечно же согласилась, ведь тест отправил меня буквально сразу же в ильфы и четвёрки. А ещё посылала его своей приятельнице — перспективной актрисе, и тест совершенно точно понял, что ей юристом быть мягко говоря не подходит.
У Гриши тоже есть канал. А ещё у Гриши есть курс в, полагаю, тоже навайбкоженной обёртке.

В общем, мораль получается какая-то такая, что возможность кодить нейросетями очень развязывает нам руки в том, чтобы делать какие-то вещи и для души, и для дела. И начать никогда не поздно (а бросить всегда можно успеть 😏)

Очень мне хотелось делать #RAG_expansion раз в месяц, а в ноябре времени было сильно меньше, чем раньше, поэтому влетаю в последний вагон! Настолько последний, что я заливала маленький, но гордый батч изменений вчера в аэропорту за час до вылета в отпуск.
В общем! Теперь в базе 1⃣9⃣0⃣3⃣ кейса, охват с начала 2019-го по середину ноября 2025. То есть как в датасете, который, к слову, скачали уже ровно 100 раз на обеих площадках.

Я очень долго ехала к месту своего откисания, спав при этом очень мало, и поэтому это будет, возможно, самый короткий пост в канале 🤦‍♀️

Пользуясь случаем, хочу поздравить своих подписчиц-мам с Днем матери! И свою родную маму, очень меня поддерживающую во всех моих начинаниях, за которыми вы здесь следите, тоже еще раз поздравляю и крепко обнимаю! ❤️

Дорогие коллеги, работающие с рекламой!
Этот пост — большая просьба к вам 🙏
Когда я опубликовала новость о датасете с практикой ФАС по рекламе, я намекала на то, что ещё будут вести о создании для него поискового интерфейса.
Студенты магистратуры Цифровое право ВШЭ в рамках Хакатона, который у них часть учебной программы, будут делать поисковый интерфейс по датасету, да не простой, а интеллектуальный — с эмбеддинговым поиском. И с обычным тоже.

Очень надеюсь, что к началу февраля получится представить какой-то рабочий MVP! И прошу вас с этим помочь, а именно заполнить анкету-опросник, время заполнения — минут 5, а то и быстрее.
💃💃💃 ССЫЛКА 💃💃💃
И, конечно, перешлите её, пожалуйста, вашим коллегам-знакомым, соприкасающимся с рекламой! Необязательно даже юристам, а тем, кто вообще слышал, кто такая ФАС.

On the side note и уже для всех, а не только «рекламных» подписчиков — свой тот базовый пост про RAG в ещё более упрощённом виде поселился на zakon.ru. Если у вас там завалялся (или активно используется) аккаунт — буду рада вашему плюсику! Хабр принял меня гораздо теплее, мне что, уходить в айтишницы?

Хорошей всем рабочей недели ☕️

Не могу поверить, что вместо контента я, еще и на вновь пришедшую аудиторию, снова прошу заполнить какую-то форму… 💅
Это так обстоятельства предновогодние складываются!) и кое-что большое и интересное is cooking, не переключайтесь 🙂

В общем, сообщество Нейросети | ilovedocs собрало в одну голосовалку родившиеся в этом году проекты от союза юристов и кодинга с нейросетями. Можно выбрать несколько нравящихся вам или оказавшихся нужными проектов вот по этой ссылке 👈

Я смотрю на это как на повод узнать о каких-то классных уже сделанных коллегами инструментах или поделках для души. И в общем, это же одна из целей подобных премий — приподнять видимость таких пет-проектов. Описания и ссылки здесь.

Я там тоже есть (иначе появился ли бы этот пост на канале, мм? 😀) В описании бот, а по ссылке датасет, будем считать это двойным заходом))
Но голосовать я предлагаю по зову сердца и из искреннего желания поддержать братьев и сестёр по ваукодингу! Тем более, что в списке много ставших за прошедшие полгода мне добрыми приятелями авторов ❤️

К слову приходится тотфактчто у датасета больше 130 скачиваний, у бота больше 300 уникальных пользователей, а что творится с подписками на канале — шок для меня! Еще и в рейтинге, который можно увидеть во всех юр.каналах, засветилась 🫠 за что всем читающий этот пост говорю большое спасибо!

Всем привет!

Я с результатом достаточно случайной, но в итоге очень большой и интересной работы — причём не только моей, а ещё 11 человек, самоотверженно уделивших время задуманной мной авантюре. #делай_bench

Авантюра эта — небольшой любительский бенчмарк, а точнее т.н. human evaluation benchmark (то есть без автоматизированной проверки по эталонным ответам) 5 нейросетевых сервисов:
🤩 open-source модель Ken1.0-67B (дообученный на российской нормативной и правоприменительной базе Qwen 2). Для того, чтобы потестировать эту модель на хороших видеокарточках начала собирать у сообщества нетривиальные юридические задачки.
🤩 сервис АйЮрист — та же модель с RAG-технологией, доступ к которой предложил Кенан Коюшов, основатель сервиса. Именно после этого предложения Кенана появилась идея сделать мини-бенчмарк, предложить авторам вопросов поучаствовать в оценке ответов не только на свои вопросы, но и другие вопросы от разных нейросетей.
🤩 Нейроюрист — в представлении не нуждается, показалось интересным сравнить сопоставимые по функционалу сервисы от стартапа и технологического гиганта.
🤩 бразузерный DeepSeek в двух обличиях — стандартный и думающий, оба без поиска в Интернете. DeepSeek бесплатный, доступен в РФ без дополнительных танцев с бубном, довольно популярен среди юристов. Интересно было увидеть, есть ли для обычного пользователя резон идти в платные сервисы, или модель общего назначения может хорошо решать юридические задачки.

Результаты приложены и, как мне кажется, очень интересные получились. Не пугайтесь объёма документа, там в основном картинки и наглядные графики.

Я, думаю, напишу ещё как минимум один пост с рассказом о процессе, своих личных впечатлениях от взаимодействия с Нейроюристом и продуктами Кенана и вообще от всего этого мероприятия. Вот и контент-план на остаток года ☕

Ещё раз хочу поблагодарить всех, кто согласился и смог выступить экспертами в это загруженное предновогоднее время! 🥰 Я убеждена, что мы сделали совершенно правильную вещь, даже несмотря на её некоторую методологическую наивность.

Пост рефлексии о бенчмарке
(#делай_bench — полная версия на Telegraph)

На уровне эмоций есть два плана: мой личный и реакция сообщества. Мне было очень интересно этим заниматься: сюда были направлены самые сильные мои компетенции (метод-дизайн, последующая аналитика и возможность «развернуться», подробно показав изнутри весь процесс). Это по сути работа по соотнесению реальной супер-нюансированной и хаотичной юридической практики с высокоабстрактным уровнем статистики. И эта работа внезапно стала актуальной с появлением LLM и конкурирующих сервисов для юристов. Точнее эту актуализацию я для себя вижу как в каком-то смысле «идеологическую» стратегическую задачу: юристы ничем не хуже других областей знаний, где бенчмаркинг — абсолютная норма, и нужно, чтобы как можно больше использующих нейронки юристов знали о таком способе оценки качества моделей.

Про общественную реакцию — из всех моих проектов за прошедшие полгода на бенч она получилась самой бурной в стакане воды (в моих личных масштабах это действительно очень значимо). Думаю, здесь несколько причин, одна из главных — люди любят конфликты, соревнования и сравнения (думаю, это какие-то примитивные механизмы нашего мозга), даже если сравнивают вот эти вот электронные сущности без особой шоу-помпы. Второе — юридическая практика и юридическое знание очень далеки от всех этих формул, графиков, непараметрической статистики и ранговой корреляции… и что это вообще за страшные слова? Какой линейкой это ты тут что-то измеряешь? А точно ли у тебя правильная линейка? В общем любопытство, помноженное на подозрение и некоторое сопротивление. Ну и третье — просто какая-то новая необычная штука появилась.
И реакция была от токсичной (в единичных проявлениях типа «не взять chatGPT — это кринж») до не просто конструктивной, а, я бы даже сказала за неимением другого слова, illuminating. И поскольку одной из задач на первый квартал следующего года мне хочется видеть если и не новый бенч, то какую-то адекватную методологию (разработанную советом старейшин инициативных умников, этакий White paper, рекомендованный сообществом стандарт проведения бенчмарков), для старта хочу здесь собрать основные идеи, возражения, комментарии, поступившие за прошедшие несколько дней.

Разбила их по смысловым группам:

1. Кто и как оценивает (субъект и процесс оценки)
Проблемы (🤔)
- субъективность и противоречивость human-eval, невозможность полностью её устранить
- влияние на оценку узнавания модели оценщиком
- разный уровень экспертизы оценщиков в разных областях
Идеи (😏)
- LLM-as-a-judge как более надежный метод, выражающий позицию «коллективного разума»
- метод Дельфи («второй раунд»)
- использование эталонных ответов от мэтров отрасли или базовых судебных решений для упрощения работы оценщиков

2. Критерии оценки
🤔
- использование эталонных ответов подходит не для всех ситуации (вопросы-кейсы, где нужно приняти риски, определить тактику / схему)
- в силу разных доктринальных позиций в праве часто нет единственно правильного ответа
- оценщикам предложены взятые «с потолка» критерии оценки, усиливающие субъективизм, а не какая-то четкая шкала
😏
- 100-балльная шкала вместо ранжирования (я ещё в процессе вспомнила своё муткортовское прошлое и судейство в настоящем, и это повышает объективность, но очень усложняет работу оценщика)
- использование в экспериментах «простых вопросов» с эталонными ответами и «вопросов-кейсов» с разными системами оценки

Продолжение в комментах (и в Телеграфе)! А вообще, спасибо всем огромное за интерес! Надеюсь до конца года вернуться ещё с какими-то новостями об этой истории.

Сегодня команда Рунетлекс Академии проводила открытую встречу (как-то не хочется даже называть вебинаром, просто тёплая встреча) об итогах года, рассказывая от первого лица о пути, пройденном курсом о применении нейронок в работе юриста за год.

Я имела очень особенную радость в этом году благодаря менторству на двух потоках — видеть работу команды изнутри. Не во всех деталях, но сильно больше, чем доступно слушателям (и вообще недоступно со стороны).
Вы могли заметить, с какой упоротостью и перфекционизмом я отношусь к своим проектам — в других людях я ищу и ценю то же самое. И могу подписаться под тем, что ребята (их всего 5, на минуточку) делают огромную ежедневную работу. Делают так, чтобы из постоянно обновляемого и устаревающего потока информации извлекать базовые принципы и лучшие практики, складывать их в систему, прививающую определённый тип мышления и набор навыков, которые очень многим людям приносят совершенно измеримую окупаемую ценность.
И делается это всё в поддерживающей атмосфере: выпускников курса уже сотни, они самые разные, в том числе очень авторитетные в юридическом сообществе, и они не дадут соврать. И on top of that просто делают это красиво и удобно для слушателей, просто потому что стремление сделать круто идёт прямо из души. Ксения Даньшина и Валентина Виноградова, делающие всю эту красоту, мне кажется, даже не смотрят на это как на трату ресурсов, а сами заряжаются от классного результата.
Про то, что это очень приятные в общении люди, по счастливому совпадению очень близкие мне по ценностям, я скажу кратко, что в социальном плане мой год можно считать совершенно удавшимся (посылаю обнимашки всем организаторам и менторам) 💕

Я не могу не ассоциировать себя с Академией и курсом, потому что все мои начинания начались благодаря созданной ребятам вдохновляющей среде и спикерам курса. На слайде из сегодняшней презентации (а также на умопомрачительно красивом сайте пятого потока) среди спикеров можно найти теперь и меня 😀
В марте на углубленном треке я буду рассказывать, ни за что не догадаетесь, про что (про RAG, удивились?)
Мне самой немного сложно поверить в то, что в мае я пришла в растерянности, куда эти нейронки к своей работе прикладывать, но…
—— вы находитесь здесь ——

В общем, можно сделать себе новогодний подарок и приобщиться к одному из самых необычных образовательных продуктов для юристов (я убеждена, что то, что делает Ксения — это будущее юр.образования). Ну и меня послушать, хах (но это необязательный трек)! И еще спросить у меня в личке промокодик 🌚

Сюда напрашиваются и мои итоги года, но уже длиннопост, и вообще это пост моего восхищения Ксюше, Паше, Мише, Вале и Кате и всей нашей менторской шайке! Так что попозже, наделаю картиночек 👀

Предновогодний пост, и отправляюсь джинглбелсить! 😎

Сегодня боту 5 месяцев, и есть итоги, которые прямо напрашиваются быть подведёнными — суммировала основные на картинке. Картинка — часть лендинга проекта, который я сегодня обновила, сделав новогодний скин, сходите зацените, пожалуйста, я очень старалась 😚

Когда я только задумывала делать бот, было много сопротивления и блоков. Один из самых сильных — что им просто никто не будет пользоваться, что это будет работа в стол. И спустя 5 месяцев можно окончательно считать, что этот страх был совершенно неоправданным. Для практически двух десятков человек бот стал полноценным рабочим инструментом (то есть они проверили более 20 реклам). Из них 12 использовали бот более 50 раз, ну и есть абсолютные рекордсмены с 90 и 127 использованиями. Спасибо, коллеги! 🥰

Не всё (ну ладно, почти ничего) из задуманных наполеоновских планов по совершенствованию функционала сделать не успелось, но всё равно получился неплохой product-ready инструмент, за который не стыдно. Я до последнего регулярно делала #RAG_expansion, вот сегодня добавила 65 кейсов, и теперь в базе 1️⃣9️⃣6️⃣8️⃣ (не удалось добить до 2 тысяч, эх) с охватом с 2019 по конец 2025.
Из бота вырос датасет, работа над ботом подарила мне кучу озарений на тему оптимального и эффективного вайб-кодинга, вдохновила дальше исследовать построение RAG-систем для юристов. А также открыла много дверей, принесла интереснейшие предложения о сотрудничестве, познакомила с большим количеством замечательных людей. То есть всё, чем я полгода назад уговорила себя попробовать ворваться в юридический вайб-кодинг, сбылось с горкой.
Мне, конечно, уже хочется, чтобы меня воспринимали шире, чем только лишь создательницу бота, но всё равно это дорогой сердцу проект, который я не брошу — хотя и рада, что он живёт своей бурной жизнью as is.

Всех, кто ботом пользовался, следил за его развитием (для новеньких — по тегу #ботоводство много эмоциональных переживаний), а также всех, кто пришёл на канал уже позже — вот вас всех поздравляю с наступающими праздниками! 🙏
Желаю вам отлично провести каникулы, подзарядить свои батарейки о любимые ваши занятия, с новыми силами ворваться в 2026 и принять всё, что он для вас приготовил. Делайте, что должно (то есть из души), и будет, что положено (то есть только всё лично вам нужное)!

Всем привет и с Новым годом! 🥰😎

Я с коротким уведомлением о том, что о #делай_bench я написала публикацию для Хабра. Там, в принципе, всё то же самое, что в отчёте и последовавшем посте, но в формате 13-минутного чтения с небольшим дополнением о моём мнении по LLM-as-a-judge.

Очень интересно, будет ли реакция, и какой она будет! Вас я приглашаю не только почитать, но и поставить плюсик, если у вас есть аккаунт 🥹 for what it is worth, я поставила тег, отправляющий публикацию на конкурс, а вдруг что!…

Ну всё, продолжаем отдыхать, осталось совсем немного!)

Всем привет! Раскачались, выновогодились? 🐧 Я нет, и поэтому…
Сегодня о вайбкодерском, точнее о достижениях других юристов на кодинговом поприще: хочу всё таки сделать это постоянной рубрикой на канале.

Помните, была такая у меня методичка про вайбкодинг? Почти одновременно с ней Анастасия Антоновская опубликовала свой мануал, который может быть отличным первым шагом в кодинг: в нём Анастасия даёт инструкции по установке самых базовых инструментов.
Моя методичка скорее для тех, кто уже попробовал кодить, даёт идеи по структурированию процесса. А мануал Анастасии — точка входа для тех, кто пока ещё даже не подступался и не понимает, что вообще нужно, чтобы начать.

Следующим номером — воспоминание о премии сообщества Нейросети | ilovedocs. В ней победила Наталья Данилова, которая создала заполнялку шаблонов реквизитами (установочные файлы здесь), автоматически проверяемыми по API сервиса ДаДата (о чём статью опубликовала у себя сама ДаДата).
Очень рада за Наташу! Она сделала это приложение ещё на втором потоке курса по нейронкам — на этом потоке училась и я, и я отлично помню, что Наташа была вообще первой из нас, кто что-то наваубкодил ещё во время курса. Кстати, на приближающемся пятом потоке Наташа будет ментором, чему мы ужасно рады! И вообще ура женскому вайбкодингу!

Ну и парочка новостей о героях предыдущего выпуска 🍊
Александр, сделавший игрушку про ТЭЦ, таки опубликовал её в RuStore, можно поставить на Андроид. У меня нет Андроида и Рустора, но очень хочется поддержать коллегу добрым отзывом, поэтому призываю вас скачать, попробовать и поставить оценочку.
А Глеб и Алексей, делавшие биллинг-бота, тоже пошли в вайб-геймдев, и в честь Дня юриста опубликовали очень смешную игрушку Pixel Lawyer Run, рассказав также о ней на Хабре. Ну что за молодцы у нас коллеги! 💻

У меня у самой также есть две ваубкодинговые новости, точнее анонсы.
Скоро должна появиться публикация о том, как юристам начать кодить с нейросетями (и, главное, зачем) в одной, не побоюсь этого слова, ГАЗЕТЕ!)
А также я расширила свои вайбкодерские границы, начав делать один непубличный проект в Antigravity от Google. Поэтому скоро поделюсь своими мыслями об агентских IDE в целом и Antigravity в частности. Спойлер — полностью от кодинга в привычном мне формате (браузерные нейронки + копипаст кода в JupyterLab) я не уйду. Но и IDE пользовать буду, а то немодно живу.
По темам бота и RAGов тоже кое-что готовлю, и вообще надеюсь не сбавлять ритм публикаций в Новом году. На этой ноте расходимся, хорошего всем окончания недели! ❤️

Вайбкодинговое… опять! Но в моей жизни произошел опыт кодинга с Antigravity от Google, и по какой-то причине, которую я до конца не понимаю, мне хочется поделиться пережитым. Причём во всех подробностях. Вот вам длинный Телеграф 🐈🐈🐈🐈🐈🐈🐈🐈🐈🐈

Это не будет гайдом по продукту. Во-первых, на мой взгляд, пока сам не попробуешь хоть немного потыкать программу, ни один гайд не приземлится должным образом. Во-вторых, я использовала достаточно малую часть функционала, а перфекционизм не даст мне опубликовать что-то недостаточно всеобъемлющее. В-третьих, у Antigravity очень понятная документация с рассказом обо всех фичах. Можно сначала скачать, посмотреть и понажимать кнопки самостоятельно, а потом пройтись по документации и понять, что вам из этого релевантно. 
Эта публикация — это скорее рассказ (довольно плотный и эмоциональный) о моём опыте: от первого лица, с субъективными оценками и, возможно, полезной информацией (как минимум, по доступу). Буквально «дорогой дневник, мне не подобрать слов…»
Также в конце будет блок о том, что я теперь вообще думаю о работе с агентскими IDE в противовес формату копипаста из чата с нейронкой в браузере, который я практиковала до этого (что иногда вызывало у некоторых какое-то почти невежливое удивление). 

Текст я не стремилась адаптировать под какую-либо аудиторию, писала как-то от души, как если бы просто говорила. Мне кажется, больше всего он будет понятен, конечно, тем, кто имеет какой-то опыт кодинга с нейросетями. Но вообще из него вполне можно составить для себя впечатление, хочется ли вам самим попробовать воспарить над вайбкодинговой схваткой (не, ну а зачем они это так назвали?…)

UPD от 07.02.2026 — оказалось, что и для бесплатного использования российские аккаунты автоматом не подходят, поэтому лучше заранее проверить доступность сервиса для вашего аккаунта. Приношу извинения, если кого-то сбила с толку.

Внезапно контент про #делай_bench. В конце вопросики к вам, буду признательна за ваши мысли и релевантный опыт ☕️

Недавно я участвовала в интереснейшей беседе со специалистом по психометрике.

Психометрика — это область знаний о конструировании измерительных инструментов для конструктов, то есть характеристик и явлений, которые мы не можем наблюдать напрямую и к которым не применимы «физические» метрики: знаний, способностей, качества работы.

Психометрика решает три главные задачи:
🤩 валидность (измерено ли то, что заявлено)
🤩 надёжность (воспроизводимость результатов)
🤩 шкалирование (корректная агрегация оценок)
То есть если хочется сделать надёжный human eval, то, как мне кажется, без техник и инструментов психометрики получится что-то странное (например, мой бенч 😎).

Из разговора я вынесла две идеи:
1) для валидации и подтверждения статистической значимости исследований психометрические методы подбираются под конкретный корпус вопросов
2) вопросы при этом должны быть однородными, то есть проверяться должен один конструкт. Это описывается красивым, длинным и новым для меня словом — унидименсиональность. То есть тест / шкала / бенчмарк измеряют одну конкретную характеристику, а не какую-то смесь.
Посмотрим на вопросы из моего бенчмарка, что же мы видим:

Q1 (алименты): задача на расчёт и выбор подходящей нормы
Q2 (обратный переход права): задача на теоретический анализ доктрины
Q5 (кондиционер): запрос на написание пошаговой инструкции
Q7 (аукционы): консультация с оценкой рисков
Q9 (фармлицензия): поиск оптимального решения в регуляторных ограничениях

То есть вопросы ориентированы на разный тип мыслительной деятельности или же на разные когнитивные задачи. Когда я усредняю оценку по настолько разным задачам, то я измеряю абстрактную «спортивность» человека, смешав результаты по шахматам, пинг-понгу и фигурному катанию.

Так родилась гипотеза: нужно делать бенчамарк с блоками вопросов, которые были бы однородны и соответствовали одному конструкту. И такими конструктами могут быть конкретные когнитивные задачи, характерные для работы юриста, и которые можно аутсорсить нейросети. Так уйдёт весомая часть проблем, о которых я писала здесь, например, низкая согласованность экспертов по одному и тому же вопросу. И, соответственно, валидно и со статистически значимыми результатами сравнивать нейросети по классам задач, выдавая рекомендации не «эта нейросеть в целом лучше», а «нейросеть Х лучше справляется с задачей Y». Соответствующим образом формулировать бенчмарки, подбирать экспертов-оценщиков и списки сравниваемых сервисов (например, по задаче ресерча не брать нейросети без выхода в Интернет).

В рамках этой гипотезы встаёт первая и главная задача: декомпоновать юридическую деятельность на принципиальные типы когнитивных задач. Например, драфтинг документов / юридический анализ / риск-оценка фактических обстоятельств / консультирование.
Однодначно определиться с таким списком довольно сложно (в том числе прочертить границы между смежными типами задач), поэтому хочется услышать как можно больше юристов:
1. как вы могли бы поделить свою работу по классам когнитивных задач?
2. было бы вам полезно подбирать ИИ-сервисы исходя из оценки их способностей решать релевантные вам задачи?

Приглашаю порассуждать о своей работе, мне кажется, мы редко это делаем, так как привыкли воспринимать свою работу как единый поток, а не комплекс задач, задействующих разные когнитивные функции.

По ещё тёплым следам напишу свои #keytakeaways сессии «Стратегия внедрения ИИ в юридическую работу» конференции Итоги года с Legal Insight, которую мне доверили модерировать с Хольгером Цшайге (так что еще и #spectacle).

Мы обсуждали темы, ёмко отражающие перспективы и тренды внедрения ИИ в работу юрдепов в 2026-м. Спикерами были руководители юрдепов ведущих ИТ-компаний: Юлия Попелышева (Яндекс), Владимир Лавренов (Т1) и Александр Стремоусов (Т-Банк). Также Сергей Ханаев из АЛРУД обогатил дискуссию взглядом и практикой консалтинговых компаний.

Мне кажется, что получилось классно: честно, бодро и сбалансированно в плане оптимизма и страшных предсказаний.
Собственно, мысли, которые, как я надеюсь, хорошо обобщают обсуждение, упадут на правильную почву и качественно прорастут:

🤩 Юристы даже топовых ИТ-компаний на данный момент внедряют нейронки постепенно, поэтапно, взвешивая риски, — по отдельным наиболее AI-ready сценариям (как правило, тем, где уже был достаточный уровень автоматизации, и наведён порядок)

🤩 Очень здравым подходом мне кажется тот, что озвучил Александр: ИИзация не должна быть самоцелью, ИИ — это инструмент автоматизации в целом, нужно его довешивать там, где это целесообразно

🤩 Вайб-кодеры ценятся — мы сошлись с коллегами на том, что юрист с опытом разработки, даже вайбовым, уже намного лучше начинает понимать айтишников и может разговаривать с ними на одном языке (а это само по себе ценность и плюс к продуктивности всей юридической команды).
В команде Владимира прекрасный опыт точечного, но очень показательного применения вайб-кодинга юристами: парой строчек кода, а не вручную, вносятся микроправки в огромное количество шаблонов по всей группе компаний (я бы назвала это клик-экономией, в работе юриста нажимание на кнопки без добавленной ценности съедает десятки часов)

🤩 У молодых юристов всё будет нормально — ваши потенциальные руководители прекрасно понимают, что без стартовых этапов не получится нормального опытного юриста, и уже озадачены тем, где и как вы будете набивать необходимые синяки и шишки и впитывать в себя КОНТЕКСТ

🤩 О, контекст — все осознают его глобальную важность, ведь погружённость в контекст не даст, простите за клише, заменить юриста. Контекст — это собственно ваши знания, опыт и насмотренность: от фундаментальной догматики, полученной в университете, до воспоминаний о том, почему из-за кого из-за бухгалтерии три года назад тот самый срочный проект на три года заморозился

🤩 На более практическом уровне «прямо сейчас» вроде бы важно делать базы знаний, заниматься knowledge management, «оставлять после себя красивый контекст» (с которым тебе и самому было бы приятнее поработать в будущем, а не только нейронке прожевать).
Но это не deal breaker — конечно, для многих классов наших задач можно использовать решения, которые не обращаются к вашим наработкам. Но всё же максимально проникающей и эффективной ИИзация будет на ваших данных и наработках — просто это вопрос более отдалённой перспективы (и это нормально, не нужно переживать, что вы куда-то опаздываете. Но и двигаться в этом направлении вообще не вредно)

🤩 Консалтинговым компаниям с этим движением может быть проще, так как многие крупные фирмы давно занимаются управлением знаниями. Сергей Ханаев считает, что эти массивы знаний точно можно переиспользовать не только по прямому назначению, а например, для онбординга молодых юристов. И не исключает, что либо сами данные, либо методики их обработки и структурирования можно нести в рынок или клиентам

Спасибо огромное спикерам, Маргарите Гаскаровой и Хольгеру Цшайге за то, что такой разговор стал возможен и получился! И за мой первый опыт модераторства, вроде бы не стыдный!)

Обнаруживаю, что некоторые люди знают меня только лишь по боту, а некоторые вообще не знают ни про какого бота — сегодняшний пост про него, точнее про #commits, которых сто лет не было, ибо такова судьба pet-проектов.
По боту (да по какому боту?? Да по этому @lastminute_legal_bot) у меня образовался немаленький технический должок. Наполовину там нужные для стабильности работы бота вещи, наполовину — чисто перфекционизм.

В общем обзор коммитов, которым от пользователям в основном абсолютно ни горячо, ни холодно, а также вайбкодерские кулстори для тех, кому это не скучно читать:

🤩Миграция на корректную библиотеку, а точнее SDK (это когда и библиотеки, и инструменты, и whatnot), обрабатывающую API-запросы в Gemini
Та, что работала в боте до этого, перестала поддерживаться разработчиками в августе, о чём я узнала в октябре 😀 и допрокрастинировала с переездом до этого момента. Я подступалась к этой задаче, и она оказалась очень занудной, требующей внимательности и хирургического выщипывания всех вызовов API по всему коду бэкэнда.
Добрый товарищ Эдуард (привет!!! 🙃) давал мне советы, как это сделать, но всё оказалось ещё безболезненнее, обошлось 25 строками кода, и вот как:

🤩 Выделение обращений к API Gemini в отдельный класс
Давно я думала о том, что хорошо бы иметь запасной аэродром, в смысле нейросеть, которая будет трудиться вместо Gemini, а для этого нужно серьезно перелопатить бэкэнд. Но эта идея с необходимостью мигрировать элегантно сложились в единый план: сначала я выделю отдельный LLM-специфичный класс, а уже в него подсажу правильную SDK.
План абсолютно удался, так как в этом мне помогали Claude Opus 4.6 и Antigravity. В чате с Клодом я по заветам собственной методички составила план (и именно Клод читал всю документацию и cookbook по этой SDK), а затем Антигравити рас-рас-рас и за 15 минут всё провернула. Примерно на этом этапе я буквально оказалась в меме «как выйти из vim», поэтому у меня ещё и такая ачивка (хотя вышла из vim НЕ я)

🤩 Исправлены ошибки несовпадений парсинга Телеграмом HTML-меток из API-ответов
Для пользователя это выглядело как какая-то непонятная ошибка, а я в админку получала зловещие сообщения по типу «Can't parse entities: unsupported start tag "30" at byte offset 6020».
В общем именно эти три изменения должны обеспечивать лучшую стабильность в работе бота. Но меня уже было сложно остановить, поэтому

🤩 Наступает финансовый контроль!
Раньше я только текстом просила не грузить PDF больше 5 страниц, теперь бот это будет контролировать и не пущать. Также в отчётах у меня теперь разводятся токенные расходы на инпут и аутпут. Если расходы будут удерживаться на каком-то устраивающем меня уровне, то попробуем и Gemini 3 Pro подключить.

🤩И ещё всякий другой контроль
Раньше счётчик предупреждений за нарушения накидывался только если сама нейросеть генерит непристойный ответ и его блокирует, теперь ещё будет накидываться и за неприличные промпты. В моей войне за цензуру я как-то упустила этот момент… Но это сделано больше из желания доперфекционировать проект, в общем-то за полгода никого не блокировало и, кажется, даже не предупреждало.
Также теперь я буду знать, кто из пользователей бота читает полный длиннопост про правила использования (хочу проверить гипотезу, что никто), и сколько людей приходит в канал из бота.

Но какие-то ощутимые для пользователей изменения, а именно новые фичи я тоже планирую — как только перепричешу весь RAG-пайплайн. Также скоро будет кое-что интересное о возможностях кооптации бота в процессы компаний, так что оставайтесь на связи!

Вместо тысячи слов 😀

Конструктивный фидбек по делу всегда приветствуется!
Шутки юмора приветствуются иногда, не всегда, только добрые (возможно, по субботам, возможно, по 15-м лунным суткам)