Проблемная зона AI-кодинга: почему Shotgun Code работает не везде

Встретился на днях с Глебом Кудрявцевым, автором популярного Shotgun Code(1.4k ⭐️)
Обсудили интересную проблему "мертвой зоны размера контекста" в AI-кодинге

Давайте закрепим о чем же на мой взгляд термин "Vibe Coding"

Как вы помните ранее я писал что многие говорят про "AI написал мне приложение за день", но реальность сложнее
Недавно сам я за 7 дней собрал MVP AI-платформы транскрибации: 16k строк кода, 820 вызовов Cursor, 3 компонента
Что я понял? Так это то что AI не заменяет экспертизу он ускоряет её

За успешным vibe coding стоят годы опыта в архитектуре, понимание паттернов и системное мышление
AI пишет код, но направляет его человек. Разница между "вроде работает" и production-ready системой — в экспертизе разработчика
Vibe coding ≠ магия Это смена роли: от кодера к архитектору и тестировщику

Тут надеюсь мы закрепили пройденный материал и можем двигаться дальше

Про Shotgun и контекст, что работает сейчас и еще подходы что пробовал лично я

Сам Shotgun отлично подходит для проектов до 20-200k строк
- Весь код влезает в контекст(сразу сделаю оговорку что дальше мы используем большие и мощные модели в кодинге)
- LLM легко понимает структуру
- Можно делать cross-file изменения
- README генерируется без проблем

Дальше начинается проблемная зона 200k-1M строк
- Слишком много кода для простого dump'а
- LLM теряется в объеме информации
- README получается поверхностным
- Нет семантического понимания архитектуры
- Вообще не понятно, как все это автоматизировать

Даже с большими контекстными окнами проблема остается LLM физически не может эффективно обработать и осмыслить сотни тысяч строк кода как единое целое

Решение, к которому пришли и то что сейчас делает Глеб (следим за его репо и обновлениями) цепочка агентов для семантического анализа

Нужен промежуточный слой

1. Агент-архитектор - анализирует структуру проекта
2. Агент-аналитик - выделяет ключевые компоненты и связи
3. Агент-документатор - составляет понятный README на основе семантики

Результат: вместо "вот куча кода, разберись сам" получаем "вот top-down структура, вот ключевые модули, вот как они взаимодействуют".

Практический вывод

Shotgun Code нужно дополнить семантическим анализом для средних проектов.
Простой dump кода уже не работает - нужно понимание архитектуры через AI-агентов


Shotgun Code: GitHub Хороший инструмент, но есть куда развиваться!

Сегодня прям неделя философии. Плотно общаюсь с разными людьми на тему проблематики агентского кодинга. Сейчас видятся важными две штуки.

1) Контекст. Ну тут уже прожужжали все уши. Контекста недостаточно, ах вот бы туда напихивать побольше и т.д. И я тут кое-что делаю.

2) Окно внимания (attention bottleneck). А вот это уже интереснее. Мало рассуждают в этом ключе. Заострю подробнее.

Есть такая метрика производительности ЛЛМ, как "точность поиска фактов". Дают длинный контекст и просят ответить на нечто, там упомянутое. Короче — просят найти иголку в стоге сена. И вот это некоторым образом коррелирует с тем, насколько нейронка умеет хорошо с контекстом работать.

А это другое.
Суть в том, что сетке дают задачу со все большим количеством критериев для выполнения. Или высокой внутренней связностью.

Например,
"Отвечай жирным шрифтом, каждый абзац начинай со смайлика, формат json..." и так N штук.

Или задачи на кодинг, где нужно учесть одновременно поведение 20 разных классов в монолитной архитектуре.

И вот тут прикол. Эта способность как-то с контекстом связана, но в общем-то не коррелирует. Достаточное количество правил начинает сбоить уже даже на очень коротких контекстах. И мы возвращаемся к тому, что сжатия контекстов мало, нужны какие-то хитрые методы выявления и распутывания взаимосвязей.

Интересно, что люди тоже не способы решать такие задачи в "один проход" и полагаются на итеративность и память. Работая при этом с ограниченным набором инструментов.

Моя личная интуиция говорит, что нейронки уже далеко за гранью гениальности именно в объемах обрабатываемого контекста, но на нижнем крае разумности относительно окна внимания и количества одновременно удерживаемых внутри себя понятий, и в данной проблематике лучшие люди их пока обходят.

Что ж, посмотрим, что нам предложит GPT5 😎

Всем курсора, пацаны.

Шаманю нечто, под кодовым погонялом шотган-про.

Агенты работают туда-сюда, заводится шарманка.

Но знаете, в чем трабла? В тупом веб сокете. Два дня убил на отладку этой сволочи.

Все перерыл. Все залогировал. Даже понял что-то про JWT и зачем его едят. А оказалось, у меня не на тот эндпоинт апи смотрело. То есть тупой был не вебсокет, а я, так выходит.

Боль, унижение. Но ничего, зато сейчас смогу наконец промпты помучить.

Внезапно понаеду в Москву в пятницу. Утро занято, вечер занят. Нужно занять день, и я придумал формат, что могу понаехать к кому-нибудь из моих читателей в офис и рассказать про то, как и для чего готовить ИИ, как делать агентов, вайб-кодинг и все такое.

Напоминаю, что я с шотганом срубил полторы тысячи звезд на гитхабе + пишу сейчас про-версию с агентами + пожалуй дофига в этом всем разбираюсь.

Бесплатно без смс, но с вас пространство + аудитория + чай/печеньки. Формат — короткая лекция + QA.

Кто первый сообразит и предложит — того и тапки 🙂(но могу и отказаться/без обид)

Пишите в личку @glebkudr1

UPD — разобрали

Меня тут попросили one-pager составить по AI экспертизе. Как-то нескромненько получилось, но ведь из песни слова не выкинешь? 🙂

Это я к тому, что пока лето и я в РФ — айда знакомиться общаться, в принципе готов много заезжать с лекциями и тусить, если вы проспонсируете поездки из Питера в Москву 😁

===
Кудрявцев Глеб

CEO Карьерный Цех, microboard.io, ex CPO Skyeng.

Разработчик. Эксперт в AI-assisted разработке. Автор популярного приложения для программирования с ИИ — Shotgun (1500 звезд на гитхабе).
Область интереса — программирование агентов, промпт-инженерия и подготовка контекстов (в т.ч. RAG, Knowledge graph и т.д.), b2b/b2c продукты на основе AI.

Пионер и популяризатор агентского кодинга. Эксперт в решении задач с помощью AI. Хорошо знаю возможности и ограничения сетей, начиная с self-service, заканчивая топовыми облачными решениями, как для внутренних так и для внешних (клиентских) продуктов.

В настоящий момент занимаюсь разработкой "курсора для продакт-менеджеров".

Читаю лекции на тему:
— Введение в прикладное использование нейросетей. Какие бывают, возможности, уровень применимости в бизнесе.
— Основы программирования с агентами. Базовые и продвинутые техники.
— (продвинутый уровень) Контекст и промпт-инженерия. Почему нельзя "просто взять промпт из интернета". Понимание работы промптов и систематический подход к их конструированию.
— (продвинутый уровень) Стратегии работы с крупными контекстами, агентский кодинг для энтерпрайз-уровня.

Ошибки наименования переменных теперь и в промптах. Ня!

The root cause is a variable name mismatch in the prompt templating system. The AgentExecutor prepares a context dictionary with the keys "hypotheses" and "current_understanding", but the Jinja2 template file backend/app/prompts/PDAC/plan.md incorrectly references these variables as {{ hypothesis }} and {{ understanding }}

Товарищи, колитесь в каментах, кто какие фреймворки для агентов пробовал использовать/ваше впечатление.

Мне посоветовали https://mastra.ai/, выглядит достойно, но там только TS. Завезли ли что-то подобное в питон?

Сегодня в клубе запускаторов AI продуктов слушали топовые инсайды от Сергея — основателя Нейрохудожника.

Рекомендую, товарищ очень грамотный и приятный. Видел некоторое дерьмо имеет обширный опыт в продажах AI-gen сервиса крупным корпам 😂

Раскладывал как боженька про модельки разного уровня, упаковку корп продуктов и состояние рынка.

Если у вас запрос на генерацию картинок или видео, особенно энтерпрайз lvl — обращайтесь, рекомендация от души 🙂

Сейчас по пабликам хайпует исследование о том, что дескать AI не помогает, а понижает продуктивность крутых кодеров в реальных зрелых репозиториях.

Народ уцепился за статистику, какие-то матанализы, достаточно ли качественно проведено исследование, а я вам гораздо проще скажу.

Исследование проводилось на юзерах Cursor. В курсоре же очень мелкий бюджет контекста на запрос и неэффективная система RAG для индексации базы.
Переводя на простой язык — курсор отвратительно работает с большими репозиториями. Маркетологи растащили "легкость" вайбкодинга в чате, испортив понимание того как это должно быть для нормальных инженеров 🙂

Понятно, почему в реальных репах это не взлетает — они все большие. Я вам мог это сказать и пол года назад без всяких исследований.

Вчера рассказывал команде фронтов Яндекса, как на самом деле нужно использовать AI в работе с крупными репами (разумеется, это подход контекст-инженерии, например через Шотган). Т.е. способы есть, рабочие, если напрячь голову и получить понимание того, что происходит под капотом при работе моделей, а не просто вайбкодить на хайпе.
Товарищам зашло, договорились обмениваться новостями 🙂

Если нужно рассказать и вам — велкам, пишите.

Народ, если вы думаете продавать что-то с ЛЛМ-ками, то вот мои наблюдения.

Рынок в стадии обучения

Вас таких продвинутых — пара десятков НА СТРАНУ. 99% народа не вдупляет не то что ваши выводы, а даже факты из которых взялись предпосылки для этих выводов 😉

То есть.

Если строите на этом бизнес — то либо фигачьте b2c/smb сервис, где клиенту вообще пох нейронки там или гравицапа. Тупо консьюмерскую таску закрыть и все.

Либо делайте b2b с упором на объяснение, нахера вы делаете то, что вы делаете. Потому что естественный спрос еще крайне далек от плато, адопшн нейронок в самой ранней кривой роста, и в бизнесе кратно отстает от b2c сферы.

Что новенького по порно-генерации?

Сегодня совершенно случайно набрел на мир adult-LoRA в civit.ai

Отключил все фильтры, включая тентакли (да, там есть такой), и окунулся в пучины нейронок.

Что ж. Если пару лет назад это был мир пластика, то сейчас все серьезно. На перспективу, кожаные в этом деле совершенно обречены.

В каментах дал ссылку на одну из качественных моделей в этом деле (18+, требуется регистрация, осуждаем и все такое). Можете оценить сами, так сказать, глубину и перспективу.

Ну а видео подтянется.

Вчера первый раз смог запустить ShotgunPro на репе самого ShotgunPro.

Про версия отличается тем, что будет способна работать с большими репозиториями через индексаторы контекста + накручу уже туда умных агентов для автоматического кодинга.

Так вот, запуск позволил сжать репу в 12 раз.
Из 130к токенов она превратилась в 11к json-кода, полностью описывающем его смысл.

В другом кейсе — бойлерплейт на Astro сжало из 100к до 1.4к, то есть аж в 60 раз, но там было мало внутренней логики.

Это можно было бы сделать одним промптом, но было бы плохо и с большим количеством ошибок + не годится для огромных репозиториев. Поэтому потихоньку проходился по код базе агентами с перепроверкой на каждом шаге.

Итоговая оценка качества получившегося сжатия будет основана на качестве поиска необходимых для фич файлов.

То есть берем два кейса.

А) Промпт "выдай файлы для создания функционала X" + весь контекст репозитория.
Б) Промпт "выдай файлы для создания функционала X" + сжатый контекст репозитория.

Задача промпта Б — показать, что он отдает файлы не хуже, чем промпт А. На паре задачек уже это вижу, но хочу потестировать сильнее.

Мой подход со сжатием кодовой базы кому-то может напомнить repomap от Aider, но там это делается без онтологического слоя, а я же стараюсь извлечь из кода бизнес-семантику. Ну и как следствие, думаю, что индекс должен получаться точнее.

Ходил недавно на конфу ConversationsAI и участвовал в круглом столе про будущее менеджмента с AI. Получилось задорно и весело.

Если не хотите смотреть все, просто посмотрите фрагмент 46:17 о том, кого с моей точки зрения, не заменят с помощью AI 😁

https://youtu.be/boOB1MkQb70?si=xNZfMVz_83WOcAo4&t=2775

Промпты в агентских системах — это ядро машинерии. Тем тупее то, что они сплошь не типизированные, и лежат в каких-то голимых шаблонах. Или того хуже — по мнению некоторых фреймворков "они не важны", и их стоит скрывать от разработчика.

Думаю, будущее за компаунд-промптами со строгой типизацией составляющих и провязывании этих типов со всем остальным кодом.

До фреймворков которые вы мне советовали пока не добрался, надеюсь, что в каком-нибудь из них ровно так и сделано.

Глеб, покажи свои ТЗ для нейросеток?

Ну вот. Просто sneak peak того, что валяется в работе прямо сейчас.

Вкорячиваю в агентский флоу сканирования репозиториев возможность прерывания и обработки пользовательского ввода.

https://teletype.in/@glebkudr1/7_tkSXUGjFq

Если ваши промпты короче, чем этот — что-то вы делаете не так 😁

Дорогие дети, а сегодня мы проходим букву Е

Е — ебучий питон

4.1. Подтвержденная причина: Опечатка в коде доступа к атрибуту
Анализ однозначно показывает, что сбой вызван опечаткой в файле backend/app/worker/agent_executor.py. Код пытается получить доступ к response_data.actions, в то время как правильным атрибутом является response_data.action.

Mood 😁

— Агент, давай ты будешь умно подтверждать действия пользователя, если он хочет, чтобы ты сделал изменения.
— Конечно, господин! Я напишу для этого самый лучший код в мире!

if session.plan_update_status == 'pending_confirmation':
is_affirmative = msg_content.lower().strip() in ["yes", "да", "confirm", "ok", "y", "д", "да, продолжай"]

Создатель редиса кодит с AI буквально как я.

— Не пользуется вайб-агентами
— Полностью контролирует контекст нейросети
— Вручную копипастит результаты 🙂

Смущает меня тут только третий пункт. Копипаста все же неэффективна. Поэтому в ближайшее время буду дописывать в шотган-про возможности по кодингу без копипасты.

У нас есть секретный чат топовых AI блогеров. Строгий фейс-контроль, внутри только те, кто сами кодят (много), ex ML, CTO и так далее. Серьезные люди, короче.
Классный чатик, люблю его.

via @baginsai @bogdanisssimo

Шотган v2 кусающий себя за хвост, описывающий себя в json

http://jsonblob.com/1400596103002513408

Конденсация 130к токенов -> 5к токенов.

Самый прикол, что можно сравнить два таких сконденсированных состояния, и gemini даст неплохое описание эволюции системы между ними.

Например, сравнение двух стейтов — до крупного патча и после.

Кайфово играться, теперь бы превратить это в продукт 🙂