Насколько Skills реально помогают LLM-агентам.

SkillsBench — исследование и первый бенчмарк, где Agent Skills тестируются как самостоятельный артефакт.

Авторы из 15+ топовых университетов взяли 84 задачи из 11 доменов, запустили 7 конфигураций моделей (Claude Code с Opus/Sonnet/Haiku 4.5 и 4.6, Gemini CLI с Gemini 3 Pro/Flash, Codex с GPT-5.2) и проверили 3 условия: без Skills, с готовыми Skills и с самостоятельно сгенерированными Skills. Итого: 7 308 траекторий с детерминированными верификаторами на pytest.

Готовые Skills в среднем поднимают pass rate на 16,2 процентных пункта: с 24,3% до 40,6%. Но картина неоднородная: в медицине прирост составил +51,9%, для производства — +41,9%, тогда как в разработке ПО всего +4,5%.

Это объяснимо: там, где модели плохо покрыты обучением (клинические протоколы, промышленные воркфлоу), Skills дают максимальный эффект. Там, где модель и так знает домен - почти ничего.

🟡Главный и неожиданный результат: самогенерация Skills не работает.

Когда моделям предлагали сначала написать нужные гайды, а потом решать задачу, средний результат упал на 1,3% по сравнению с работой вообще без Skills. Только Claude Opus 4.6 показал скромный плюс (+1,4%), а GPT-5.2 просел на 5,6%.

Иными словами - модели не умеют надежно создавать то знание, которым умеют пользоваться.

🟡Еще один интересный момент - это объем Skills.

Оптимальный вариант: 2–3 модуля, прирост +18,6%. При 4 и более - всего +5,9%. Подробная документация вообще дает отрицательный эффект: –2,9%, с ней агент буквально тонет в контексте.

Показательна и стоимость решения задач: Haiku 4.5 со Skills обходит Opus 4.5 без Skills — меньшая и более дешевая модель с готовыми Skills бьет старшую модель без них.

Gemini 3 Flash при этом показал лучший абсолютный результат среди всех конфигураций - 48,7% со Skills при цене $0,57 за одну задачу против $1,06 у Gemini 3 Pro.

Страница проекта
Arxiv

Вышла Claude Sonnet 4.6 с контекстом 1M

Теперь можно поставить её дефолтом в Claude Code 💚

UI: /model claude-sonnet-4-6[1m]

~/.claude/settings.json:

{
  "env": {
    "ANTHROPIC_DEFAULT_HAIKU_MODEL": "claude-sonnet-4-6[1m]",
    "ANTHROPIC_DEFAULT_SONNET_MODEL": "claude-sonnet-4-6[1m]"
  }
}

Серьезно, ставь Sonnet везде вместо Haiku. Для продовых реп, которые большие и со сложной логикой, ты хочешь, чтобы работу делал именно Sonnet.

Контекст 1M становится дороже только когда объем контекста превышает 200K, но модель работает лучше, когда “знает”, что у нее есть запас по контексту.

Чтобы включить 1M контекст в Claude Code на подписочных планах, нужно активировать extra usage в своем плане.

Я тестировал модель до 639K контекста и могу подтвердить: никакие мои extra usage credits не тратились, то есть это покрывалось включенным лимитом подписки.

Кто-то сделал расширение для VS Code, которое превращает твоих AI-агентов в пиксельных персонажей.

Они работают в виртуальном офисе прямо в сайдбаре и ходят там, пока занимаются твоим кодом.

100% опенсорс ❤️

Anthropic выложили в open source весь свой playbook по созданию готовых к проду AI-агентов.

Называется Agent Skills for Context Engineering, и это то, чем пользуются их инженеры.

- основы контекста и паттерны его деградации
- мультиагентные архитектуры
- проектирование систем памяти
- принципы проектирования инструментов
- фреймворки для оценки (evaluation)

10.3K stars. Лицензия MIT. 100% open source. 🚬