Пишут часто, что в гитхабе есть утекшие промпты почти всех сервисов. Например вот. И что важно на них взглянуть — качать насмотренность.

А я вот пытался и нифига, насмотренность не прокачивается. Через три минуты уже скучно. Поэтому единственное, что я могу оттуда почерпнуть — что они очень большие, и делали их внимательно.

Поэтому анализ должен быть другим.

Берете любой утекший промпт публичного сервиса.

Засовываете его в ЛЛМ и спрашиваете — типа, эй объясни, что тут и почему происходит.

А потом берете этот анализ и просите ее повторить 😁 И вот у вас уже свой уникальный промпт.

Или просите не просто повторить, а сделать некий свой промпт, используя приемы из такого-то сервиса. Тоже сработает. Вместо того, чтобы самому ковыряться в промптах.

У вас есть руки — копипастить. А у нее мозг — думать.

Всегда так делаю 😎

Смешно сейчас было. Работал в проекте с шотганом. Дал ему задачу, он пошел ее делать.

Архитектуру расписал, на таски побил, все четко.

Потом смотрю — а это блин не тот проект вообще.

А он гад даже бровью не повел — "да, хозяин, буду делать, наверное тебе в проекте нужна совершенно левая хрень никак к нему не относящаяся, будет исполнено".

Короче, следите за тем, что происходит, иногда нужно вникать 😁

Все знают, как смешно ЛЛМ-ки пишут тесты. Хардкодят "assert true", проверяют абы что и вообще, творят дичь.

Но я открыл метод борьбы с этим, восхитительный в своей простоте.

Буквально: "Проверь, что тесты не говно"

Ну или чуть подробнее

Проверь, чтобы в тестах проекта не было бессмысленных, которые всегда возвращают положительный результат, либо тех которые буквально повторяют реализацию и не выполняют как таковую функцию тестов.

— вставляем это в промпт тестировщика в шотгане.

И вы удивитесь, но в ответ на это оно выдает вполне внятный анализ того, все ли в порядке у нас с тестами, и какие именно из них следует переписать.

А если какие-то нужно, то вторым промптом мы говорим.

Хочу добиться того, чтобы в тестах проекта не было бессмысленных, которые всегда возвращают положительный результат, либо тех которые буквально повторяют реализацию и не выполняют как таковую функцию тестов

Вот анализ тестировщика

Реализуй рекомендации
---
(сюда вставляем то, что нам нагенерил гемини в предыдущей итерации)

Ну и все. Обвязываем это промптом разработчика, и генерим диффы.

Работает прекрасно, а ваши тесты будут мягкими и шелковистыми.

Кстати, важно. Почему в начале промпт тестировщика? Потому что он задизайнен на стектрейсинг и поиск багов. То что нужно для анализа внутренних связей в программе и того, что там что-то работает не так, как нужно.

А сколько спринтов бы это планировалось в вашей компании? 😁

Приятно, когда думаешь в одном направлении с дядькой Карпатым.
Кстати, делаю сейчас Шотган на стероидах — можно будет работать с кодовыми базами до 10 млн токенов, а может даже и больше. Ключ — как раз умная работа с контекстом. Покажу как будет что получаться.

+1 в пользу "инженерии контекста" вместо "инженерии промптов".

Люди ассоциируют промпты с короткими текстовыми заданиями, которые вы даёте ИИ в повседневной работе. Но в любом промышленном приложении на базе LLM настоящая тонкая наука и искусство — это именно инженерия контекста: умелое наполнение контекстного окна нужной информацией для следующего шага. Это наука, потому что правильная настройка включает в себя формулировку задач, объяснения, примеры (few-shot), RAG, сопутствующие данные (возможно мультимодальные), инструменты, текущее состояние и историю, а также сжатие… Если информации мало или она неподходящего вида — LLM не получает необходимого контекста и работает хуже. Если слишком много или не по делу — растут издержки и падает производительность. Делать это правильно — далеко не тривиально. И это искусство, потому что требует интуитивного понимания "психологии" LLM и "духов" людей, которые с ними взаимодействуют.

Помимо самой инженерии контекста, LLM-приложение должно:

— грамотно разбивать задачи на потоки управления,
— правильно упаковывать контекстные окна,
— вызывать подходящие LLM с нужными способностями,
— обрабатывать цепочки генерации и верификации в UI/UX,

и многое другое: контроль, безопасность, оценки, параллелизм, упреждающая подгрузка и т.д.

Таким образом, инженерия контекста — лишь один небольшой элемент всё более сложной прослойки нетривиального ПО, которая координирует отдельные вызовы LLM (и многое другое) в полноценные приложения на базе LLM. Термин “обёртка для ChatGPT” устарел и крайне некорректен.

https://x.com/karpathy/status/1937902205765607626

Кто-то может не в курсе, веду еженедельные встречи запускаторов продуктов.

Разный уровень. Кто-то еще даже не знает, с какой стороны подойти к курсору. Кто-то уже думает о маркетинге.

Тащим за уши и помогаем всем 👍

Вчера вот была лекция в стиле «систем дизайн для самых маленьких». А до этого делились подходами в кодинге, тому как разворачивать сетки у себя на компе и так далее.

Встречи в 18 часов по четвергам, полтора-два часа. Теплая компания. Для пропустивших доступны записи. Стоимость 20 т.р. в месяц.

Завтра закрою вход до следующего набора (когда он будет не знаю, но не раньше августа)

Для тех, кто хочет начать кодить, но не знает как — самое то.

Присоединяйтесь

Промпт для промптов.

Закидываете сюда любой промпт и тулза его вам сделает лучше. Я попробовал — хорошо работает.

Можно заменить наивным подходом "оцени и улучши..." без лишних слов, но тут этот мета-промпт уже отшлифован и работает еще лучше.

Теория тут — можно скопировать тексты отсюда и применить в любой ЛЛМ, не обязательно ChatGPT.

GPT тула тут — тем, кому лень разбираться.

А вот тут пример работы.

PS Наивный промпт-инжениринг мертв, а вот контекст-инжениринг живее всех живых. Пусть вас не обманывает то, что ЛЛМ-ка понимает вас и поддерживает "без промптов", у нее внутри для этого написаны системные промпты, которые вы просто не видите . А если вы хотите строить системы системы с помощью АПИ самостоятельно —обязательно нужно знать промптинг, а так же как с его помощью делаются такие вещи как чаты, структурированный вывод и тулколинг. Это база ЛЛМ приложений.

Чуток упоролся в философию. Но вообще, современному инженеру это важно кмк.
—

Сознание не нужно🙏

Глеб: Я больше скажу — сознания нет нихера, это просто иллюзия, созданная хорошей работой с памятью

А что такое хорошая работа с памятью?

Глеб: У нейросеток есть процесс протекания одного мыслительного кванта, на абсолютно stateless машинерии. Соответственно все что и находится за этими пределами — память.

Низкоуровневая это по сути промпт. Имеет аналоги в человеческом мозге, например пятно поля зрения. Влезает в контекст модели целиком.
Высокоуровневая — все остальное. Начиная с поля зрения целиком, заканчивая тем, каков был вкус мороженого купленного бабушкой 30 лет назад. Фишка этой памяти — никак целиком не влезает в контекст, и чтобы извлекать из нее пользу, нужно ее всячески препарировать и нарезать.

Способность эффективно работать памятью — это подготовка из нее контекстов и дополнение/изменение в процессе самой работы ллм за счет вызова тулов "запомнить эту хрень" или "частично забыть/сжать воспоминания"

Сознание — это быстрый кэш памяти, куда ЛЛМ-ка постоянно смотрит, в т.ч. что-то типа системного промпта. Нам кажется что мы есть, потому что у мыслительной машинерии есть туллколл проверки целостности данного кэша при работе системы, в т.ч. способность подавать обратно на вход и осознавать собственные мысли (мы мыслим, что мыслим, и это воспринимается нами как сознание).

Хорошей памяти ни у одного агента на рынке _пока_ нет (но будет, фигли, куда денемся)

Удивительно, как обсуждение AI резко делает технические разговоры похожими на кружок философии.

Там где раньше были "методы", "функции" и "ООП" сейчас "цели", "характер", "память", "онтология". Причем из уст CTO и прочих глубоко погруженных людей, от которых этого услышать не ожидаешь. Тем не менее — наблюдаю тенденцию.

Так что констатирую факт — не зря писал в универе зачет по Аристотелю. А для будущих программистов философия, возможно, будет не менее важным предметом, чем какие-нибудь базы данных.

Проблемная зона AI-кодинга: почему Shotgun Code работает не везде

Встретился на днях с Глебом Кудрявцевым, автором популярного Shotgun Code(1.4k ⭐️)
Обсудили интересную проблему "мертвой зоны размера контекста" в AI-кодинге

Давайте закрепим о чем же на мой взгляд термин "Vibe Coding"

Как вы помните ранее я писал что многие говорят про "AI написал мне приложение за день", но реальность сложнее
Недавно сам я за 7 дней собрал MVP AI-платформы транскрибации: 16k строк кода, 820 вызовов Cursor, 3 компонента
Что я понял? Так это то что AI не заменяет экспертизу он ускоряет её

За успешным vibe coding стоят годы опыта в архитектуре, понимание паттернов и системное мышление
AI пишет код, но направляет его человек. Разница между "вроде работает" и production-ready системой — в экспертизе разработчика
Vibe coding ≠ магия Это смена роли: от кодера к архитектору и тестировщику

Тут надеюсь мы закрепили пройденный материал и можем двигаться дальше

Про Shotgun и контекст, что работает сейчас и еще подходы что пробовал лично я

Сам Shotgun отлично подходит для проектов до 20-200k строк
- Весь код влезает в контекст(сразу сделаю оговорку что дальше мы используем большие и мощные модели в кодинге)
- LLM легко понимает структуру
- Можно делать cross-file изменения
- README генерируется без проблем

Дальше начинается проблемная зона 200k-1M строк
- Слишком много кода для простого dump'а
- LLM теряется в объеме информации
- README получается поверхностным
- Нет семантического понимания архитектуры
- Вообще не понятно, как все это автоматизировать

Даже с большими контекстными окнами проблема остается LLM физически не может эффективно обработать и осмыслить сотни тысяч строк кода как единое целое

Решение, к которому пришли и то что сейчас делает Глеб (следим за его репо и обновлениями) цепочка агентов для семантического анализа

Нужен промежуточный слой

1. Агент-архитектор - анализирует структуру проекта
2. Агент-аналитик - выделяет ключевые компоненты и связи
3. Агент-документатор - составляет понятный README на основе семантики

Результат: вместо "вот куча кода, разберись сам" получаем "вот top-down структура, вот ключевые модули, вот как они взаимодействуют".

Практический вывод

Shotgun Code нужно дополнить семантическим анализом для средних проектов.
Простой dump кода уже не работает - нужно понимание архитектуры через AI-агентов


Shotgun Code: GitHub Хороший инструмент, но есть куда развиваться!

Сегодня прям неделя философии. Плотно общаюсь с разными людьми на тему проблематики агентского кодинга. Сейчас видятся важными две штуки.

1) Контекст. Ну тут уже прожужжали все уши. Контекста недостаточно, ах вот бы туда напихивать побольше и т.д. И я тут кое-что делаю.

2) Окно внимания (attention bottleneck). А вот это уже интереснее. Мало рассуждают в этом ключе. Заострю подробнее.

Есть такая метрика производительности ЛЛМ, как "точность поиска фактов". Дают длинный контекст и просят ответить на нечто, там упомянутое. Короче — просят найти иголку в стоге сена. И вот это некоторым образом коррелирует с тем, насколько нейронка умеет хорошо с контекстом работать.

А это другое.
Суть в том, что сетке дают задачу со все большим количеством критериев для выполнения. Или высокой внутренней связностью.

Например,
"Отвечай жирным шрифтом, каждый абзац начинай со смайлика, формат json..." и так N штук.

Или задачи на кодинг, где нужно учесть одновременно поведение 20 разных классов в монолитной архитектуре.

И вот тут прикол. Эта способность как-то с контекстом связана, но в общем-то не коррелирует. Достаточное количество правил начинает сбоить уже даже на очень коротких контекстах. И мы возвращаемся к тому, что сжатия контекстов мало, нужны какие-то хитрые методы выявления и распутывания взаимосвязей.

Интересно, что люди тоже не способы решать такие задачи в "один проход" и полагаются на итеративность и память. Работая при этом с ограниченным набором инструментов.

Моя личная интуиция говорит, что нейронки уже далеко за гранью гениальности именно в объемах обрабатываемого контекста, но на нижнем крае разумности относительно окна внимания и количества одновременно удерживаемых внутри себя понятий, и в данной проблематике лучшие люди их пока обходят.

Что ж, посмотрим, что нам предложит GPT5 😎

Всем курсора, пацаны.

Шаманю нечто, под кодовым погонялом шотган-про.

Агенты работают туда-сюда, заводится шарманка.

Но знаете, в чем трабла? В тупом веб сокете. Два дня убил на отладку этой сволочи.

Все перерыл. Все залогировал. Даже понял что-то про JWT и зачем его едят. А оказалось, у меня не на тот эндпоинт апи смотрело. То есть тупой был не вебсокет, а я, так выходит.

Боль, унижение. Но ничего, зато сейчас смогу наконец промпты помучить.

Внезапно понаеду в Москву в пятницу. Утро занято, вечер занят. Нужно занять день, и я придумал формат, что могу понаехать к кому-нибудь из моих читателей в офис и рассказать про то, как и для чего готовить ИИ, как делать агентов, вайб-кодинг и все такое.

Напоминаю, что я с шотганом срубил полторы тысячи звезд на гитхабе + пишу сейчас про-версию с агентами + пожалуй дофига в этом всем разбираюсь.

Бесплатно без смс, но с вас пространство + аудитория + чай/печеньки. Формат — короткая лекция + QA.

Кто первый сообразит и предложит — того и тапки 🙂(но могу и отказаться/без обид)

Пишите в личку @glebkudr1

UPD — разобрали

Меня тут попросили one-pager составить по AI экспертизе. Как-то нескромненько получилось, но ведь из песни слова не выкинешь? 🙂

Это я к тому, что пока лето и я в РФ — айда знакомиться общаться, в принципе готов много заезжать с лекциями и тусить, если вы проспонсируете поездки из Питера в Москву 😁

===
Кудрявцев Глеб

CEO Карьерный Цех, microboard.io, ex CPO Skyeng.

Разработчик. Эксперт в AI-assisted разработке. Автор популярного приложения для программирования с ИИ — Shotgun (1500 звезд на гитхабе).
Область интереса — программирование агентов, промпт-инженерия и подготовка контекстов (в т.ч. RAG, Knowledge graph и т.д.), b2b/b2c продукты на основе AI.

Пионер и популяризатор агентского кодинга. Эксперт в решении задач с помощью AI. Хорошо знаю возможности и ограничения сетей, начиная с self-service, заканчивая топовыми облачными решениями, как для внутренних так и для внешних (клиентских) продуктов.

В настоящий момент занимаюсь разработкой "курсора для продакт-менеджеров".

Читаю лекции на тему:
— Введение в прикладное использование нейросетей. Какие бывают, возможности, уровень применимости в бизнесе.
— Основы программирования с агентами. Базовые и продвинутые техники.
— (продвинутый уровень) Контекст и промпт-инженерия. Почему нельзя "просто взять промпт из интернета". Понимание работы промптов и систематический подход к их конструированию.
— (продвинутый уровень) Стратегии работы с крупными контекстами, агентский кодинг для энтерпрайз-уровня.

Ошибки наименования переменных теперь и в промптах. Ня!

The root cause is a variable name mismatch in the prompt templating system. The AgentExecutor prepares a context dictionary with the keys "hypotheses" and "current_understanding", but the Jinja2 template file backend/app/prompts/PDAC/plan.md incorrectly references these variables as {{ hypothesis }} and {{ understanding }}

Товарищи, колитесь в каментах, кто какие фреймворки для агентов пробовал использовать/ваше впечатление.

Мне посоветовали https://mastra.ai/, выглядит достойно, но там только TS. Завезли ли что-то подобное в питон?

Сегодня в клубе запускаторов AI продуктов слушали топовые инсайды от Сергея — основателя Нейрохудожника.

Рекомендую, товарищ очень грамотный и приятный. Видел некоторое дерьмо имеет обширный опыт в продажах AI-gen сервиса крупным корпам 😂

Раскладывал как боженька про модельки разного уровня, упаковку корп продуктов и состояние рынка.

Если у вас запрос на генерацию картинок или видео, особенно энтерпрайз lvl — обращайтесь, рекомендация от души 🙂

Сейчас по пабликам хайпует исследование о том, что дескать AI не помогает, а понижает продуктивность крутых кодеров в реальных зрелых репозиториях.

Народ уцепился за статистику, какие-то матанализы, достаточно ли качественно проведено исследование, а я вам гораздо проще скажу.

Исследование проводилось на юзерах Cursor. В курсоре же очень мелкий бюджет контекста на запрос и неэффективная система RAG для индексации базы.
Переводя на простой язык — курсор отвратительно работает с большими репозиториями. Маркетологи растащили "легкость" вайбкодинга в чате, испортив понимание того как это должно быть для нормальных инженеров 🙂

Понятно, почему в реальных репах это не взлетает — они все большие. Я вам мог это сказать и пол года назад без всяких исследований.

Вчера рассказывал команде фронтов Яндекса, как на самом деле нужно использовать AI в работе с крупными репами (разумеется, это подход контекст-инженерии, например через Шотган). Т.е. способы есть, рабочие, если напрячь голову и получить понимание того, что происходит под капотом при работе моделей, а не просто вайбкодить на хайпе.
Товарищам зашло, договорились обмениваться новостями 🙂

Если нужно рассказать и вам — велкам, пишите.

Народ, если вы думаете продавать что-то с ЛЛМ-ками, то вот мои наблюдения.

Рынок в стадии обучения

Вас таких продвинутых — пара десятков НА СТРАНУ. 99% народа не вдупляет не то что ваши выводы, а даже факты из которых взялись предпосылки для этих выводов 😉

То есть.

Если строите на этом бизнес — то либо фигачьте b2c/smb сервис, где клиенту вообще пох нейронки там или гравицапа. Тупо консьюмерскую таску закрыть и все.

Либо делайте b2b с упором на объяснение, нахера вы делаете то, что вы делаете. Потому что естественный спрос еще крайне далек от плато, адопшн нейронок в самой ранней кривой роста, и в бизнесе кратно отстает от b2c сферы.

Что новенького по порно-генерации?

Сегодня совершенно случайно набрел на мир adult-LoRA в civit.ai

Отключил все фильтры, включая тентакли (да, там есть такой), и окунулся в пучины нейронок.

Что ж. Если пару лет назад это был мир пластика, то сейчас все серьезно. На перспективу, кожаные в этом деле совершенно обречены.

В каментах дал ссылку на одну из качественных моделей в этом деле (18+, требуется регистрация, осуждаем и все такое). Можете оценить сами, так сказать, глубину и перспективу.

Ну а видео подтянется.