As a fun Saturday vibe code project and following up on this tweet earlier, I hacked up an **llm-council** web app. It looks exactly like ChatGPT except each user query is 1) dispatched to multiple models on your council using OpenRouter, e.g. currently:

"openai/gpt-5.1",
"google/gemini-3-pro-preview",
"anthropic/claude-sonnet-4.5",
"x-ai/grok-4",

Then 2) all models get to see each other's (anonymized) responses and they review and rank them, and then 3) a "Chairman LLM" gets all of that as context and produces the final response.

It's interesting to see the results from multiple models side by side on the same query, and even more amusingly, to read through their evaluation and ranking of each other's responses.

Quite often, the models are surprisingly willing to select another LLM's response as superior to their own, making this an interesting model evaluation strategy more generally. For example, reading book chapters together with my LLM Council today, the models consistently praise GPT 5.1 as the best and most insightful model, and consistently select Claude as the worst model, with the other models floating in between. But I'm not 100% convinced this aligns with my own qualitative assessment. For example, qualitatively I find GPT 5.1 a little too wordy and sprawled and Gemini 3 a bit more condensed and processed. Claude is too terse in this domain.

That said, there's probably a whole design space of the data flow of your LLM council. The construction of LLM ensembles seems under-explored.

I pushed the vibe coded app to
https://
github.com/karpathy/llm-c
ouncil
if others would like to play. ty nano banana pro for fun header image for the repo

1. Вход в режим

• Режим Shopping research живёт как отдельный инструмент внутри ChatGPT (через меню + / тулбар, плюс автодетект, что запрос — про покупку, и предложение «переключиться в шопинг»).

2. Диалог вместо фильтров

• Основной сценарий — задаёшь задачу человеческим языком («тихий пылесос для маленькой квартиры, аллергики, бюджет до…»).
• Модель сама уточняет важные параметры вопросами (бюджет, размер, бренд/нет, особенности использования) — вместо ручного ковыряния в фильтрах и чекбоксах.
• UX-сдвиг: фильтры не на панели, а внутри диалога.

3. Карточки и управление выборкой

• В ответ — не просто список ссылок, а подборка карточек товаров + «гайд по выбору»: ключевые trade-offs, кому что подойдёт, чем модели отличаются.
• Поверх карточек — простые бинарные действия: «Не интересует» / «Побольше таких» → быстрый фидбек, который тут же перетюнивает выдачу.
• Важно: это не стандартный каталог с фильтрами, а интерактивный рекомендательный флоу.

4. Персонализация за счёт памяти

• Если включена память ChatGPT, то Shopping research переиспользует уже известные предпочтения: стиль, уровень цен, бренды, прошлые покупки/поиски.
• UX эффект: со временем меньше уточняющих вопросов, больше «узнавания» пользователя.

5. Режим «путеводителя»

• Выход не выглядит как «поисковая выдача», а как мини-обзор/гайд: секции «что важно учесть», «3–7 вариантов под разные сценарии», пояснение компромиссов (цена vs качество, шум vs мощность и т.д.).
• То есть UI = чат + структурированный контент-блок (гайд), а не просто текстовый ответ.

6. Связка с покупкой (Instant Checkout, агентский UX)

• Shopping research стыкуется с Instant Checkout: если товар из поддерживаемого магазина (Etsy/Shopify), рядом появляется «Buy»/checkout прямо в чате.
• UX-следствие: полный путь «от потребности до оплаты» в одном интерфейсе, без выхода в новый таб.

7. Прозрачность и доверие

• В интерфейсе явно проговариваются ограничения: цены/наличие лучше проверить у продавца; рекомендации «органические, не спонсорские» (хотя для мерчантов есть критерии ранжирования: цена, наличие, качество, источники).