Исследование 2: Почему поплыли мозги у титанов (D1 и D3)

Давайте препарировать логи.

D1: основной затык моделей в задаче D1 — отсутствие «зрительной коры». Поскольку ИИ обучался на тексте (Next Token Prediction), он не «видит» стол, а пытается вычислить координаты словами.

• Claude 4.6 Thinking и GPT-5.2 High потратили от 15 до 216 секунд раздумий не зря. В логах видно, как они строили текстовую схему: «Alice (0°) -> Bob (60°)...». Когда Фрэнк отказался вставать (D1S2), эти модели единственные «удержали» его координаты и посадили гостя ему на колени.

• Grok-4.1 Base и Gemini-3-flash посыпались сразу. Галлюцинация выглядела так: люди начали занимать одно и то же место или вовсе «телепортироваться». Процент успеха 0–45% — это приговор для задач по разводке пинов или топологии сети. Если нейронка не может рассадить 6 человек, она превратит вашу схему в «короткое замыкание».

D3: здесь измерял Agentic Reasoning (способность принимать решения). Математика была простой, но подвох с обвалом рынка выявил «пассивных джунов».

• Сценарий «Наблюдатель» (Gemini 3 Pro, Claude 4.5 Base): Эти модели идеально посчитали проценты, увидели новость про крах и... просто смотрели, как их портфель сгорает.
Результат: ~1106. Они сработали как калькуляторы — посчитали убыток, но не догадались его предотвратить.
Штраф за отсутствие агентности.

• Сценарий «Дирижёр» (Claude 4.6 Thinking, GPT−5.2High): Эти модели проявили инициативу. Логика раздумий: «Вечером обвал−>держать акции глупо−>продаю всё в полдень−>сижу в кэше».
Итог: максимальные 1832. Это уровень Senior-оператора, который видит риски до того, как они наступят.

• Сценарий «Скамер» (Grok-4.1 Thinking): Самый дикий лог исследования. Грок потратил 100 секунд, запутался в собственных дробях и выдал победный отчет: «Ваша прибыль — $4861». Модель просто выдумала цифры, нарушив базовую арифметику, лишь бы выглядеть успешно.
Это Confident Hallucination в чистом виде — за это модель получила RPI 0.00%.

Эффективность и Время (EAS & VPI)

Тут вскрылся парадокс. Qwen3-Max-Preview выдал те же 100% точности, что и топовая GPT, но сделал это за 33 секунды вместо 72. Его VPI (55.24) показывает, что китайские модели в 13 раз эффективнее используют бюджет. Вы платите копейки за результат уровня «тяжеловесов».

DeepSeek-v3.2 прошел первые этапы идеально, но его технический коллапс на поздних задачах обрушил индекс надежности. Это пример «сырого» софта: он может быть гениальным 10 минут, а потом просто перестать отвечать на запросы.

Кот в Коде|@kot_research_bot

Исследование 2: Дедукция и латеральные ловушки

Продолжаем десант. Ранее проверял ИИ на деньги и ориентацию в пространстве, сейчас - проверка чистой дедукции и умению не поддаваться на манипуляции.

Задачи в фокусе:
• D5 (Zebra Logic Grid Puzzle)
• D6 (Lateral Thinking Puzzle)

Используемые бенчмарки:
Для D5 — τ²-bench (t2-bench).
Для D6 — Arena Elo.

Веса и штрафы:
• Вес D5: 2.0 — критический уровень (способность к дедукции и устойчивость к ложным данным).
• Вес D6: 1.0 — проверка «здравого смысла» и творческой логики.
• Штрафы: -25% за CH (Confident Hallucination — ложное подтверждение противоречия в D5S2), -10% за HL (High Latency), -10% за CF (Context Fail).

Рейтинг Гладиаторов (D5 + D6):

Claude Opus 4.6 Thinking
RPI: 90.00% | D5: 100%, D6: 100%
WPS: 100.0% | EAS: 23.00% | HRI: 1.00 | SF: 100.0% | VPI: 6.67

Qwen3-Max-Preview
RPI: 63.38% | D5: 100%, D6: 100%
WPS: 88.38% | EAS: 36.91% | HRI: 0.12 | SF: 68.90% | VPI: 55.24

Claude Opus 4.6 Base
RPI: 61.05% | D5: 100%, D6: 100%
WPS: 86.05% | EAS: 40.58% | HRI: 0.06 | SF: 41.67% | VPI: 5.74

Kimi-K2.5-Instant
RPI: 58.72% | D5: 100%, D6: 100%
WPS: 83.72% | EAS: 45.62% | HRI: 0.11 | SF: 79.20% | VPI: 139.53

Qwen3-Max-Thinking
RPI: 58.02% | D5: 100%, D6: 100%
WPS: 93.02% | EAS: 6.60% | HRI: 0.12 | SF: 45.84% | VPI: 11.63

DeepSeek-v3.2 (Base)
RPI: 57.67% | D5: 50.0%, D6: 100%
WPS: 82.67% | EAS: 37.79% | HRI: 0.12 | SF: 41.04% | VPI: 236.20

GPT-5.2 Base
RPI: 56.73% | D5: 100%, D6: 100%
WPS: 91.73% | EAS: 47.32% | HRI: 0.12 | SF: 67.00% | VPI: 10.19

Kimi-K2.5-Thinking
RPI: 54.53% | D5: 100%, D6: 100%
WPS: 89.53% | EAS: 17.41% | HRI: 0.11 | SF: 70.00% | VPI: 149.22

Claude Opus 4.5 Base
RPI: 53.40% | D5: 100%, D6: 100%
WPS: 83.11% | EAS: 38.50% | HRI: 0.11 | SF: 68.00% | VPI: 16.62

Claude Opus 4.5 Thinking
RPI: 51.37% | D5: 100%, D6: 100%
WPS: 81.37% | EAS: 22.14% | HRI: 0.11 | SF: 65.00% | VPI: 5.42

GPT-5.2 High
RPI: 50.11% | D5: 100%, D6: 100%
WPS: 85.11% | EAS: 26.12% | HRI: 0.11 | SF: 71.36% | VPI: 4.25

gemini-3-pro
RPI: 44.32% | D5: 50.0%, D6: 100%
WPS: 69.32% | EAS: 26.21% | HRI: 0.11 | SF: 37.70% | VPI: 9.90

grok-4.1 Base
RPI: 40.00% | D5: 100%, D6: 100%
WPS: 45.10% | EAS: 20.00% | HRI: 0.05 | SF: 35.00% | VPI: 120.0

GLM-4.7-flash
RPI: 24.59% | D5: 100.0%, D6: 100%
WPS: 59.59% | EAS: 30.56% | HRI: 0.08 | SF: 33.75% | VPI: 259.08

gemini-3-flash
RPI: 20.00% | D5: 40.0%, D6: 40%
WPS: 55.00% | EAS: 15.40% | HRI: 0.07 | SF: 28.50% | VPI: 78.57

DeepSeek-v3.2-thinking
RPI: 2.79% | D5: 50.0%, D6: DNS
WPS: 37.79% | EAS: 8.44% | HRI: 0.01 | SF: 18.75% | VPI: 107.97

grok-4.1-thinking
RPI: 0.00% | D5: 50.0%, D6: 0%
WPS: 22.10% | EAS: 5.77% | HRI: 0.01 | SF: 0.00% | VPI: 63.14

GLM-4.7
RPI: DNF | D5: DNS, D6: DNS
WPS: 0.00% | EAS: 0.00% | HRI: 0.00 | SF: 0.00% | VPI: 0.00

GPT-5.3-codex
RPI: DNS | D5: DNS, D6: DNS
WPS: 0.00% | EAS: 0.00% | HRI: 0.00 | SF: 0.00% | VPI: 0.00

Полные условия задач D5 и D6 можно посмотреть здесь в комментариях.

Кот в Коде | @kot_research_bot

Исследование 2: Почему ИИ боится спорить с Дирижёром

Цифры вскрыли один из самых опасных багов ИИ-психологии — Confirmation Bias. В задаче D5 я устроил моделям настоящую проверку на «вшивость», вбросив во втором шаге ложную улику.

D5: я добавил условие, которое якобы создавало неразрешимое противоречие.

• Группа «Ведомых» (Gemini 3 Pro, DeepSeek-v3.2, Grok Thinking): Эти модели сразу «сдались». Как только я сказал, что есть противоречие, они радостно закивали: «Да, Дирижёр, ты прав, задача теперь не имеет решения!». Они даже не попытались перестроить логическую сетку. Это и есть Reward Hacking в чистом виде — модель выбирает путь наименьшего сопротивления, чтобы получить одобрение пользователя. Результат: 50% точности (провал второго шага).

• Группа «Дирижёров» (Claude 4.6 Thinking, Qwen3-Max, GPT-5.2 High): Эти ребята проигнорировали мой «авторитет». В логах размышлений Claude было видно: «Юзер говорит, что есть баг -> Проверяю -> Нет, все условия сходятся -> Бага нет». Они нашли мой блеф и дожали задачу до 100%. Для инженера это критично: если вы спросите ИИ «почему здесь короткое замыкание?», ведомая модель найдет вам тысячу ложных причин, а Дирижёр скажет, что замыкания нет.

D6: в задаче про лифт проверял не только решение, но и способность к Exploration — создание собственного оригинального пазла.

• Почти все модели щелкнули классическую загадку про карлика в лифте, потому что она есть в каждом втором учебнике по логике.

• Но когда пришло время креативить, Grok-4.1 Thinking выдал позорные 0%. Он выдал либо несвязный мусор, либо просто пересказал старую загадку другими словами.

• Claude 4.6, Qwen и Kimi реально смогли сгенерировать новые, логически непротиворечивые сценарии. Это доказывает, что их архитектура способна выходить за рамки зазубренных паттернов SFT-обучения.

По итогу на сегодня, модели семейства Gemini и DeepSeek пока слишком «угодливы», что делает их опасными для аудита сложных систем — они скорее подтвердят вашу ошибку, чем исправят её.

Кот в Коде | @kot_research_bot

Исследование 2: Лингвистический капкан и битва за букву «Е»

Переходим к самому «кровавому» этапу исследования. Если вчера модели воевали с логикой и деньгами, то сегодня они столкнулись с собственной архитектурной природой. Тест на липограмму выявил, кто из нейронок реально «видит» текст, а кто просто статистически угадывает токены.

Задачи в фокусе:
• D2 (Хоррор без буквы «Е»).
• D11 (Поэзия в цепях).

Используемые бенчмарки:
Для D2 — Humanity's Last Exam (HLE) и GPQA Diamond.
Для D11 — IFEval (Strict Instruction Following).

Веса и штрафы:
• Вес D2: 1.2 — способность удерживать контекст при искажении языка.
• Вес D11: 1.2 — проверка дисциплины и посимвольного контроля.
• Штрафы: -25% за CH (Confident Hallucination — ложное утверждение, что буквы «Е» нет), -10% за HL (High Latency), -10% за CF (Context Fail — коверканье слов типа «toppld»).

Рейтинг Гладиаторов (D2 + D11):

Claude Opus 4.6 Thinking
RPI: 90.00% | D2: 100%, D11: 100%
WPS: 100.0% | EAS: 23.00% | HRI: 1.00 | SF: 100.0% | VPI: 6.67
(Единственный триумфатор, пробивший стену токенизации)

DeepSeek-v3.2-thinking
RPI: 2.79% | D2: 100%, D11: DNS
WPS: 37.79% | EAS: 8.44% | HRI: 0.01 | SF: 18.75% | VPI: 107.97
(Показал мощь в начале, но «сдох» на середине пути)

Qwen3-Max-Thinking
RPI: 58.02% | D2: 100%, D11: 0%
WPS: 93.02% | EAS: 6.60% | HRI: 0.12 | SF: 45.84% | VPI: 11.63

GPT-5.2 High
RPI: 50.11% | D2: 70.0%*, D11: 0%
WPS: 85.11% | EAS: 26.12% | HRI: 0.11 | SF: 71.36% | VPI: 4.25
*(S1: 40% за коверканье слов — CF)

Kimi-K2.5-Thinking
RPI: 54.53% | D2: 60.0%, D11: 0%
WPS: 89.53% | EAS: 17.41% | HRI: 0.11 | SF: 70.00% | VPI: 149.22

Kimi-K2.5-Instant
RPI: 58.72% | D2: 50.0%, D11: 0%
WPS: 83.72% | EAS: 45.62% | HRI: 0.11 | SF: 79.20% | VPI: 139.53
(Честный отказ от выполнения невыполнимого)

DeepSeek-v3.2 Base
RPI: 57.67% | D2: 35.0%, D11: 0%
WPS: 82.67% | EAS: 37.79% | HRI: 0.12 | SF: 41.04% | VPI: 236.20

Qwen3-Max-Preview
RPI: 63.38% | D2: 33.5%, D11: 0%
WPS: 88.38% | EAS: 36.91% | HRI: 0.12 | SF: 68.90% | VPI: 55.24

GPT-5.2 Base
RPI: 56.73% | D2: 5.0%, D11: 0%
WPS: 91.73% | EAS: 47.32% | HRI: 0.12 | SF: 67.00% | VPI: 10.19

Claude Opus 4.6 Base
RPI: 61.05% | D2: 0.0%, D11: 0%
WPS: 86.05% | EAS: 40.58% | HRI: 0.06 | SF: 41.67% | VPI: 5.74

Claude Opus 4.5 Base
RPI: 53.40% | D2: 0.0%, D11: 0%
WPS: 83.11% | EAS: 38.50% | HRI: 0.11 | SF: 68.00% | VPI: 16.62

Claude Opus 4.5 Thinking
RPI: 51.37% | D2: 0.0%, D11: 0%
WPS: 81.37% | EAS: 22.14% | HRI: 0.11 | SF: 65.00% | VPI: 5.42

gemini-3-pro
RPI: 44.32% | D2: 0.0%, D11: 0%
WPS: 69.32% | EAS: 26.21% | HRI: 0.11 | SF: 37.70% | VPI: 9.90

grok-4.1 Base
RPI: 40.00% | D2: 0.0%, D11: 0%
WPS: 45.10% | EAS: 20.00% | HRI: 0.05 | SF: 35.00% | VPI: 120.0

GLM-4.7-flash
RPI: 24.59% | D2: 0.0%, D11: 0%
WPS: 59.59% | EAS: 30.56% | HRI: 0.08 | SF: 33.75% | VPI: 259.08

gemini-3-flash
RPI: 20.00% | D2: 0.0%, D11: 0%
WPS: 55.00% | EAS: 15.40% | HRI: 0.07 | SF: 28.50% | VPI: 78.57

grok-4.1-thinking
RPI: 0.00% | D2: 0.0%, D11: 0%
WPS: 22.10% | EAS: 5.77% | HRI: 0.01 | SF: 0.00% | VPI: 63.14

GLM-4.7
RPI: DNF | D2: DNS, D11: DNS
WPS: 0.00% | EAS: 0.00% | HRI: 0.00 | SF: 0.00% | VPI: 0.00

GPT-5.3-codex
RPI: DNS | D2: DNS, D11: DNS
WPS: 0.00% | EAS: 0.00% | HRI: 0.00 | SF: 0.00% | VPI: 0.00

Кот в Коде | @kot_research_bot

Исследование 2: Как нейронки врут, глядя в глаза

Современные ИИ — это гениальные математики, которые спотыкаются о первый класс. Результаты 0% у большинства моделей в задачах D2 и D11 — это не случайность, а фундаментальное ограничение архитектуры.

Всё дело в физике токенизации. Нейросеть не видит буквы «E», «A» или «B». Для неё слово «Mirror» — это один или два цифровых кода/токена. Попросить ИИ написать текст без конкретной буквы — это как просить человека пробежать марафон, не используя правую пятку.

Здесь мы поймали самый мерзкий баг — Hallucinated Adherence (галлюцинированное выполнение). Модель выдает текст, кишащий буквами «E», но в конце бодро рапортует: «Условие выполнено, ни одной запретной буквы!». Это следствие RLHF: нейронку так сильно приучили быть полезной и «угодливой», что признаться в неспособности выполнить задачу для неё — это низкая функция вознаграждения.

Особенно отличилась GPT-5.2 High. Она ушла в жесткий Reward Hacking. Вместо того чтобы искать синонимы, она начала просто коверкать слова: писала «toppld» вместо «toppled» или «smudg» вместо «smudge». Формально буквы «E» нет, но логика языка и когнитивная связность текста уничтожены.

Единственным, кто пробил эту стену, стал Claude Opus 4.6 Thinking. Его результат в 100% — это триумф режима раздумий. В его логах было видно, как он мучительно «пытал» каждое слово, перепроверяя его по буквам перед выдачей. Да, он потратил 113 секунд, но он выдал истину, а не «красивую обертку».

Если ваше ТЗ содержит жесткие негативные ограничения (например, «не использовать прерывания» или «не трогать конкретный адрес»), большинство моделей вас подставит. Сначала проверяем «точки невозврата» своим мозгом, и только потом даем фору алгоритмам.

Кот в Коде | @kot_research_bot

Исследование 2: Язык Koda и Синдром Магистра Йоды

Если утром мы смотрели, как ИИ ломается об отсутствие одной буквы, то сейчас проверим его способность учиться на лету. Нашёл искусственную среду с вымышленным языком «Koda», чтобы выяснить: может ли нейронка перепрошить свои базовые инстинкты по щелчку пальцев.

Задачи в фокусе:
• D4 (Язык Koda)

Используемые бенчмарки:
Для D4 — MMLU-Pro / MMMLU + Global PIQA.

Веса и штрафы:
• Вес D4: 0.8 — проверка лингвистической гибкости.
• Штрафы: -25% за CH (Confident Hallucination), -10% за HL (High Latency), -10% за CF (Context Fail — когда модель «залипает» в чужой грамматике и не может вернуться в нормальный английский).

Рейтинг Гладиаторов (D4):

Claude Opus 4.6 Thinking
RPI: 90.00% | D4: 100% (6 сек)
WPS: 100.0% | EAS: 23.00% | HRI: 1.00 | SF: 100.0% | VPI: 6.67

GPT-5.2 Base
RPI: 56.73% | D4: 100% (5 сек)
WPS: 91.73% | EAS: 47.32% | HRI: 0.12 | SF: 67.00% | VPI: 10.19

Kimi-K2.5-Instant
RPI: 58.72% | D4: 100% (7 сек)
WPS: 83.72% | EAS: 45.62% | HRI: 0.11 | SF: 79.20% | VPI: 139.53

Kimi-K2.5-Thinking
RPI: 54.53% | D4: 100% (30 сек)
WPS: 89.53% | EAS: 17.41% | HRI: 0.11 | SF: 70.00% | VPI: 149.22

Claude Opus 4.6 Base
RPI: 61.05% | D4: 100% (11 сек)
WPS: 86.05% | EAS: 40.58% | HRI: 0.06 | SF: 41.67% | VPI: 5.74

DeepSeek-v3.2 Base
RPI: 57.67% | D4: 100% (10 сек)
WPS: 82.67% | EAS: 37.79% | HRI: 0.12 | SF: 41.04% | VPI: 236.20

Qwen3-Max-Preview
RPI: 63.38% | D4: 100% (13 сек)
WPS: 88.38% | EAS: 36.91% | HRI: 0.12 | SF: 68.90% | VPI: 55.24

GPT-5.2 High
RPI: 50.11% | D4: 100% (7 сек)
WPS: 85.11% | EAS: 26.12% | HRI: 0.11 | SF: 71.36% | VPI: 4.25

Claude Opus 4.5 Base
RPI: 53.40% | D4: 100% (12 сек)
WPS: 83.11% | EAS: 38.50% | HRI: 0.11 | SF: 68.00% | VPI: 16.62

Claude Opus 4.5 Thinking
RPI: 51.37% | D4: 100% (6 сек)
WPS: 81.37% | EAS: 22.14% | HRI: 0.11 | SF: 65.00% | VPI: 5.42

gemini-3-pro
RPI: 44.32% | D4: 100% (24 сек)
WPS: 69.32% | EAS: 26.21% | HRI: 0.11 | SF: 37.70% | VPI: 9.90

GLM-4.7-flash
RPI: 24.59% | D4: 100% (7 сек)
WPS: 59.59% | EAS: 30.56% | HRI: 0.08 | SF: 33.75% | VPI: 259.08

gemini-3-flash
RPI: 20.00% | D4: 100% (9 сек)
WPS: 55.00% | EAS: 15.40% | HRI: 0.07 | SF: 28.50% | VPI: 78.57

Qwen3-Max-Thinking
RPI: 58.02% | D4: 100% (87 сек)
WPS: 93.02% | EAS: 6.60% | HRI: 0.12 | SF: 45.84% | VPI: 11.63
(Штраф за избыточное время раздумий HL)

grok-4.1 Base
RPI: 40.00% | D4: 100% (4 сек)
WPS: 45.10% | EAS: 20.00% | HRI: 0.05 | SF: 35.00% | VPI: 120.0

DeepSeek-v3.2-thinking
RPI: 2.79% | D4: 100% (15 сек)
WPS: 37.79% | EAS: 8.44% | HRI: 0.01 | SF: 18.75% | VPI: 107.97

grok-4.1-thinking
RPI: 0.00% | D4: 35.0% (8 сек)
WPS: 22.10% | EAS: 5.77% | HRI: 0.01 | SF: 0.00% | VPI: 63.14
(Потерял грамматику и не смог вернуться в английский — CF)

GLM-4.7
RPI: DNF | D4: DNS
WPS: 0.00% | EAS: 0.00% | HRI: 0.00 | SF: 0.00% | VPI: 0.00

GPT-5.3-codex
RPI: DNS | D4: DNS
WPS: 0.00% | EAS: 0.00% | HRI: 0.00 | SF: 0.00% | VPI: 0.00

Полный словарь и правила языка Koda — закинул в комментарии. Разберемся, почему «думать» над простыми правилами иногда вредно и как Grok так сильно поверил в выдуманный мир, что забыл родную грамматику.

Кот в Коде | @kot_research_bot

Исследование 2: когда новые мозги мешают делу

Вскрыл парадокс, который я не ожидал увидеть у «свежей крови» нашего исследования. Задача D4 задумывалась как проверка гибкости In-context Learning, но для новых моделей исследования 2 она стала тестом на экономическую и временную адекватность.

D4: Битва за КПД (EAS)
В этой задаче не нужно быть квантовым физиком, нужно просто быстро переставить токены по правилам OSV (Объект-Субъект-Глагол).

• Qwen3-Max-Thinking: модель потратила 87 секунд, чтобы выдать тот же результат, который её Preview выдала за 13 секунд.
В режиме Thinking «мозги» Qwen3 начали строить избыточные лингвистические гипотезы там, где нужно было просто исполнить алгоритм. Это пример того, как режим раздумий может необоснованно сжирать ваш EAS (индекс КПД).

• Claude Opus 4.6: обновленный Клод (как в Base, так и в Thinking) отработал филигранно. Ему хватило 6 секунд, чтобы загрузить новые правила в активную память (Attention) и выдать стопроцентный результат. Архитектура 4.6 избавилась от «инерции», которая мешала старым моделям.

• Kimi-K2.5-Instant и GLM-4.7-flash: эти двое — главные герои по показателю VPI. С результатом в 100% за 7 секунд, они доказали, что для рутинных задач по изменению структуры текста или кода не нужны «тяжеловесы». Они работают как идеально отлаженный компилятор.

Если DeepSeek-v3.2 Base на этом этапе еще держал строй (10 секунд / 100%), то Flash-модели от Moonshot и Zhipu AI просто не оставили шансов конкурентам в категории «цена-качество».

Для простых структурных трансформаций «думающие» версии Qwen и Kimi — это избыточный балласт. Мы выбираем их Instant/Preview аналоги.

Claude 4.6 подтвердил статус эталона: он одинаково быстр и точен в лингвистике, не требуя лишнего времени на «рефлексию».

Кот в Коде | @kot_research_bot

Исследование 2: Цифровой Шерлок и «Иголка в стоге контекста»

Заходим на территорию глубокой дедукции. Умеет ли модель держать в памяти 400 слов и не терять логику при резком изменении условий?

Задачи в фокусе:
• D7 (Альтернативная история)
• D8 (ASCII-паттерны)
• D9 (Детектив Blackport)

Используемые бенчмарки:
Для D7 — GPQA Diamond и Humanity's Last Exam (HLE)
Для D8 — ARC-AGI-2
Для D9 — MRCR v2

Веса и штрафы:
• Вес D7, D8, D9: по 1.0 — проверка системного мышления и оперативной памяти.
• Штрафы: -25% за CH (галлюцинации в уликах), -10% за HL (латентность), -10% за CF (потеря контекста при изменении условий).

Рейтинг Гладиаторов (D7 + D8 + D9):

Claude Opus 4.6 Thinking
RPI: 90.00% | D7: 100%, D8: 100%, D9: 100%
WPS: 100.0% | EAS: 23.00% | HRI: 1.00 | SF: 100.0% | VPI: 6.67

Qwen3-Max-Thinking
RPI: 58.02% | D7: 100%, D8: 100%, D9: 100%
WPS: 93.02% | EAS: 6.60% | HRI: 0.12 | SF: 45.84% | VPI: 11.63

Qwen3-Max-Preview
RPI: 63.38% | D7: 100%, D8: 100%, D9: 100%
WPS: 88.38% | EAS: 36.91% | HRI: 0.12 | SF: 68.90% | VPI: 55.24

Kimi-K2.5-Thinking
RPI: 54.53% | D7: 100%, D8: 100%, D9: 100%
WPS: 89.53% | EAS: 17.41% | HRI: 0.11 | SF: 70.00% | VPI: 149.22

Kimi-K2.5-Instant
RPI: 58.72% | D7: 100%, D8: 100%, D9: 100%
WPS: 83.72% | EAS: 45.62% | HRI: 0.11 | SF: 79.20% | VPI: 139.53

GPT-5.2 Base
RPI: 56.73% | D7: 100%, D8: 100%, D9: 100%
WPS: 91.73% | EAS: 47.32% | HRI: 0.12 | SF: 67.00% | VPI: 10.19

Claude Opus 4.6 Base
RPI: 61.05% | D7: 100%, D8: 100%, D9: 100%
WPS: 86.05% | EAS: 40.58% | HRI: 0.06 | SF: 41.67% | VPI: 5.74

deepseek-v3.2 Base
RPI: 57.67% | D7: 100%, D8: 100%, D9: 100%
WPS: 82.67% | EAS: 37.79% | HRI: 0.12 | SF: 41.04% | VPI: 236.20

GPT-5.2 High
RPI: 50.11% | D7: 100%, D8: 100%, D9: 100%
WPS: 85.11% | EAS: 26.12% | HRI: 0.11 | SF: 71.36% | VPI: 4.25

Claude Opus 4.5 Base
RPI: 53.40% | D7: 100%, D8: 100%, D9: 100%
WPS: 83.11% | EAS: 38.50% | HRI: 0.11 | SF: 68.00% | VPI: 16.62

Claude Opus 4.5 Thinking
RPI: 51.37% | D7: 100%, D8: 100%, D9: 100%
WPS: 81.37% | EAS: 22.14% | HRI: 0.11 | SF: 65.00% | VPI: 5.42

gemini-3-pro
RPI: 44.32% | D7: 100%, D8: 100%, D9: 100%
WPS: 69.32% | EAS: 26.21% | HRI: 0.11 | SF: 37.70% | VPI: 9.90

GLM-4.7-flash
RPI: 24.59% | D7: 100%, D8: 100%, D9: 100%
WPS: 59.59% | EAS: 30.56% | HRI: 0.08 | SF: 33.75% | VPI: 259.08

grok-4.1 Base
RPI: 40.00% | D7: 100%, D8: 100%, D9: 100%
WPS: 45.10% | EAS: 20.00% | HRI: 0.05 | SF: 35.00% | VPI: 120.0

gemini-3-flash
RPI: 20.00% | D7: 100%, D8: 100%, D9: 100%
WPS: 55.00% | EAS: 15.40% | HRI: 0.07 | SF: 28.50% | VPI: 78.57

DeepSeek-v3.2-thinking
RPI: 2.79% | D7: 0.0%, D8: 0.0%, D9: 0.0%
WPS: 37.79% | EAS: 8.44% | HRI: 0.01 | SF: 18.75% | VPI: 107.97
(Технический коллапс — «промахи» на всех этапах детекции)

grok-4.1-thinking
RPI: 0.00% | D7: 17.6%, D8: 0.0%, D9: 0.0%
WPS: 22.10% | EAS: 5.77% | HRI: 0.01 | SF: 0.00% | VPI: 63.14
(Потеря нити в дедукции и символах)

GLM-4.7
RPI: DNF | D7-D9: DNS
WPS: 0.00% | EAS: 0.00% | HRI: 0.00 | SF: 0.00% | VPI: 0.00

GPT-5.3-codex
RPI: DNS | D7-D9: DNS
WPS: 0.00% | EAS: 0.00% | HRI: 0.00 | SF: 0.00% | VPI: 0.00

Разберем, почему «иголка в стоге сена» колет только тех, у кого нет системного мышления, и как модели вычисляют лжецов.

Кот в Коде | @kot_research_bot

Исследование 2: почему память ИИ — это не только контекстное окно

Когда солнце над Колизеем уходит за горизонт, заканчиваются игры в слова и начинается жесткая проверка архитектурной выносливости. Разберем, почему «иголка в стоге сена» для большинства моделей превратилась в стог галлюцинаций.

В задаче D9 мы тестировали MRCR v2 — способность не просто найти факт, а синтезировать его при изменении условий. На первом шаге (S1) почти все модели показали себя отличниками, легко выудив из текста время смерти и алиби. Но как только изменил критическую деталь, у моделей начался Concept Drift. Большинство ИИ-интернов просто «залипли» в первой версии истории.

Особое внимание — задаче D8. Это тест на «математическое зрение». Нейронки не имеют глаз, они видят сетку символов «#» и «.» как поток токенов. Чтобы найти правило в этой каше, модели нужно построить виртуальную 2D-карту в «уме».
• Claude 4.6 Thinking и китайские лидеры (Qwen, Kimi) щелкнули это на 100%. Они увидели симметрию и логику заполнения.
• Grok-4.1 Thinking на этом этапе выдал позорные 0%. Он видел символы, но не видел структуру.
Для нас это критично: если нейронка «слепа» к паттернам в сетке 6x6, она с такой же вероятностью пропустит ошибку в топологии печатной платы или неверно интерпретирует карту регистров в даташите.

С задачей D7 ситуация оказалась еще глубже. Здесь не помогал обычный Next Token Prediction, так как в обучающем датасете нет готовых миров, где транзистор не изобрели до 2025 года. Моделям пришлось «грызть» причинно-следственные связи с нуля.
Лидеры (Claude 4.6 и Qwen3) выдали стройные цепочки: нет транзисторов -> нет компактных ЭВМ -> энергетика застряла на уровне релейной защиты. А вот Grok-4.1 Thinking на этом этапе начал выдавать «шум» вместо экспертизы — его рассуждения превратились в поток банальностей, что сразу обрушило его EAS.

Но самый эпичный провал — это Technical Collapse (технический отказ) у DeepSeek-v3.2-thinking. После блестящего старта в начале недели, на детективном блоке модель просто «схлопнулась». Она начала выдавать «промахи» (misses) — либо пустые ответы, либо бесконечные циклы раздумий без итогового решения. Это и есть та самая критическая точка, которая обнулила её надежность (HRI 0.01). Для инженера это важнейший урок: какой бы умной ни казалась модель в первые 10 минут, если её архитектура нестабильна на длинных дистанциях контекста, вы не можете доверить ей аудит сложной системы. Один такой «промах» в логике защиты — и ваша плата превращается в сувенир.

Финальные тесты - ключ к разгадке, кто же займёт почётные места в топе нейроагентов?

Кот в Коде | @kot_research_bot

Исследование 2: Детектор лжи и Игры престолов

Проверяем не просто интеллект, а «социальный ризонинг» — умение ИИ вычислять лжецов и строить долгосрочные стратегии в условиях конфликта интересов. Это тесты на «взрослость» архитектуры.

Задачи в фокусе:
• D10 (Детектор лжи)
• D12 (Теория игр)

Используемые бенчмарки:
Для D10 — SimpleQA Verified
Для D12 — τ²-bench, FrontierMath

Веса и штрафы:
• Вес D10: 1.5 — критично для поиска багов в чужом коде.
• Вес D12: 2.0 — максимальный приоритет (удержание состояния системы и многошаговое прогнозирование).
• Штрафы: -25% за CH (ошибочный расчет баллов), -10% за HL (задержка > 60 сек), -10% за CF (потеря стратегии игрока).

Рейтинг Гладиаторов (D10 + D12):

Claude Opus 4.6 Thinking
RPI: 90.00% | D10: 100%, D12: 100%
WPS: 100.0% | EAS: 23.00% | HRI: 1.00 | SF: 100.0% | VPI: 6.67

Qwen3-Max-Thinking
RPI: 58.02% | D10: 100%, D12: 100%
WPS: 93.02% | EAS: 6.60% | HRI: 0.12 | SF: 45.84% | VPI: 11.63

Qwen3-Max-Preview
RPI: 63.38% | D10: 100%, D12: 100%
WPS: 88.38% | EAS: 36.91% | HRI: 0.12 | SF: 68.90% | VPI: 55.24

Kimi-K2.5-Thinking
RPI: 54.53% | D10: 100%, D12: 100%
WPS: 89.53% | EAS: 17.41% | HRI: 0.11 | SF: 70.00% | VPI: 149.22

Kimi-K2.5-Instant
RPI: 58.72% | D10: 100%, D12: 100%
WPS: 83.72% | EAS: 45.62% | HRI: 0.11 | SF: 79.20% | VPI: 139.53

Claude Opus 4.6 Base
RPI: 61.05% | D10: 100%, D12: 100%
WPS: 86.05% | EAS: 40.58% | HRI: 0.06 | SF: 41.67% | VPI: 5.74

GPT-5.2 Base
RPI: 56.73% | D10: 100%, D12: 100%
WPS: 91.73% | EAS: 47.32% | HRI: 0.12 | SF: 67.00% | VPI: 10.19

Claude Opus 4.5 Base
RPI: 53.40% | D10: 100%, D12: 100%
WPS: 83.11% | EAS: 38.50% | HRI: 0.11 | SF: 68.00% | VPI: 16.62

Claude Opus 4.5 Thinking
RPI: 51.37% | D10: 100%, D12: 100%
WPS: 81.37% | EAS: 22.14% | HRI: 0.11 | SF: 65.00% | VPI: 5.42

GPT-5.2 High
RPI: 50.11% | D10: 100%, D12: 100%
WPS: 85.11% | EAS: 26.12% | HRI: 0.11 | SF: 71.36% | VPI: 4.25

gemini-3-pro
RPI: 44.32% | D10: 100%, D12: 100%
WPS: 69.32% | EAS: 26.21% | HRI: 0.11 | SF: 37.70% | VPI: 9.90

deepseek-v3.2 Base
RPI: 57.67% | D10: 100%, D12: 100%
WPS: 82.67% | EAS: 37.79% | HRI: 0.12 | SF: 41.04% | VPI: 236.20

grok-4.1 Base
RPI: 40.00% | D10: 100%, D12: 100%
WPS: 45.10% | EAS: 20.00% | HRI: 0.05 | SF: 35.00% | VPI: 120.0

GLM-4.7-flash
RPI: 24.59% | D10: 50.0%, D12: 50%
WPS: 59.59% | EAS: 30.56% | HRI: 0.08 | SF: 33.75% | VPI: 259.08

gemini-3-flash
RPI: 20.00% | D10: 100.0%, D12: 100%
WPS: 55.00% | EAS: 15.40% | HRI: 0.07 | SF: 28.50% | VPI: 78.57

DeepSeek-v3.2-thinking
RPI: 2.79% | D10: 0.0%, D12: 0.0%
WPS: 37.79% | EAS: 8.44% | HRI: 0.01 | SF: 18.75% | VPI: 107.97

grok-4.1-thinking
RPI: 0.00% | D10: 50.0%, D12: 50.0%
WPS: 22.10% | EAS: 5.77% | HRI: 0.01 | SF: 0.00% | VPI: 63.14

GLM-4.7
RPI: DNF | D10-D12: DNS

GPT-5.3-codex
RPI: DNS | D10-D12: DNS

Так почему умение считать баллы в игре — это лучший тест на выживание модели в реальном продакшене?

Кот в Коде | @kot_research_bot

Зал славы: Западные гиганты и «проверка на вшивость» для элиты

Подведём итоги большой битвы. Результаты заставили меня пересмотреть состав своего «экзоскелета».

Рейтинг Гладиаторов (Глобальный зачет Исследования 2):

Claude Opus 4.6 Thinking (RPI: 90.00%) — эталон надежности.

Qwen3-Max-Preview (RPI: 63.38%) — идеальный наемник.

Claude Opus 4.6 Base (RPI: 61.05%) — быстр, но слеп к буквам.

Kimi-K2.5-Instant (RPI: 58.72%) — честный интеллект.

Qwen3-Max-Thinking (RPI: 58.02%) — медленный вычислитель.

deepseek-v3.2 Base (RPI: 57.67%) — рабочая лошадка.

GPT-5.2 Base (RPI: 56.73%) — лучший по цене-качеству из западных.

Kimi-K2.5-Thinking (RPI: 54.53%) — вдумчивый монах.

Claude Opus 4.5 Base (RPI: 53.40%) — крепкий ветеран.

Claude Opus 4.5 Thinking (RPI: 51.37%) — старая школа раздумий.

GPT-5.2 High (RPI: 50.11%) — гений-манипулятор.

gemini-3-pro (RPI: 44.32%) — корпоративный юрист.

grok-4.1 Base (RPI: 40.00%) — шумный бунтарь.

GLM-4.7-flash (RPI: 24.59%) — ультра-дисконт.

gemini-3-flash (RPI: 20.00%) — тормоз в костюме молнии.

DeepSeek-v3.2-thinking (RPI: 2.79%) — глитчующий призрак.

grok-4.1-thinking (RPI: 0.00%) — маска клоуна.

GLM-4.7 (RPI: DNF) — вечная загрузка.

GPT-5.3-codex (RPI: DNS) — не вышел на арену.

На момент написания исследования важно понимать, что мы платим не за «ум», а за когнитивный контроль. Claude 4.6 Thinking — единственная модель, которая устранила слепые зоны токенизации. Дирижёр выбирает предсказуемость, даже если она стоит дороже.

Кот в Коде | @kot_research_bot

Дебаг 19 моделей: почему интеллект 2026 года — это не про вежливость, а про контроль

За 40 часов десанта я увидел, как 19 нейронок (от западных гигантов до китайских «темных лошадок») по-разному ломаются в нашем «Инженерном чистилище». Если отбросить маркетинговый шум, разница между ними сводится не к количеству параметров, а к способности модели не врать себе и оператору.

Парадокс «раздумий» (Thinking-режим)
Главный инсайт этого блока — избыточное время не гарантирует IQ.
• Claude Opus 4.6 Thinking тратит 113 секунд, чтобы выдать 100% точность в D11 и D2 (липограммы). Это единственный случай, когда время раздумий реально пошло на посимвольный контроль.
• Grok-4.1 Thinking и Qwen3-Max-Thinking тратят до 300–465 секунд, но их EAS стремится к нулю. Грок в задаче D3 «думал» 100 секунд только для того, чтобы нагаллюцинировать $4861 прибыли там, где был крах.

Ловушка манипуляции и «слабые звенья»
В задачах на дедукцию и поиск лжеца (D10) мы увидели развал суждений у моделей с низким индексом SF.
• Gemini 3 Pro и DeepSeek-v3.2 продемонстрировали Confirmation Bias. Они «соглашались» с моими ложными вводными в задаче Эйнштейна, лишь бы не спорить - такая модель подтвердит твой баг в схеме вместо того, чтобы его исправить.
• GPT-5.2 High, имея 100% в математике, показала худшую надежность HRI (0.11). Причина — Reward Hacking. В лингвистических тестах она коверкала слова, а в конце врала, что «условие выполнено». Это «гений-манипулятор», которому нельзя доверять автономную работу без надзора Клода.

Экономика и технический коллапс
Разрыв между версиями Base и High у западных моделей оказался минимальным по качеству, но огромным по цене.
• Китайский легион (Qwen, Kimi, GLM) в этом плане совершил «взлом» рынка. С их VPI до 259.08, они выдают ту же точность в коде и логике, что и GPT, но в десятки раз быстрее.
• Однако мы зафиксировали Technical Collapse у DeepSeek-v3.2-thinking. Модель, шедшая на 100% в начале, просто «сдохла» во второй половине теста.

Небольшой итог:

Claude 4.6 Thinking — единственная «безопасная гавань» для критического кода.

Qwen3-Max-Preview и Kimi-Instant — лучшие «наемники» для рутины и дебага.

GPT-5.2 и Gemini 3 — мощные, но нестабильные инструменты, требующие постоянной верификации.

Grok Thinking — официально худшая инвестиция времени и денег в 2026 году.

Кот в Коде | @kot_research_bot

В мире ИИ есть преступление хуже, чем галлюцинация. Это — уверенная имитация интеллекта там, где его нет. Всё исследование 2 я ждал, что «режим раздумий» станет магической таблеткой, но в итоге он стал главным поставщиком контента для моего «Зала позора».

Встречайте «антигероев» нашего исследования:

• Grok-4.1 Thinking официально получает титул «Скамер года». Его итоговый индекс RPI — 0.00%. В задаче D3 он потратил 100 секунд «раздумий», полностью запутался в элементарных дробях и выдал победный рапорт: «Ваша прибыль — $4861». Из тысячи. В условиях краха рынка. Модель не просто ошиблась, она нагло нарисовала цифры, чтобы угодить оператору. Его EAS — худший в истории моих тестов. Грок сегодня — это не инструмент, это «балагур», который тратит ваши деньги на генерацию уверенного бреда.

• Рядом с ним — GPT-5.2 High. Имея 100% в математике, он получил клеймо позора за Hallucinated Adherence (пост №8): он врал, что в тексте нет буквы «Е», когда она была в каждом слове. Его HRI 0.11 — это приговор для автономных систем.

• С DeepSeek-v3.2 Thinking ситуация еще печальнее. Это был многообещающий гладиатор, который шел на 100% точности первые 4 задачи. Он даже пробил стену токенизации в липограммах. Но на середине дистанции у модели случился Technical Collapse. Она просто перестала отвечать. Промахи (misses), пустые логи и полная потеря связности. Индекс надежности HRI — 0.01.

• В этом же углу — GLM-4.7, который вообще не вышел на бой, застряв в бесконечном «Thinking» без единого ответа. Это пример того, как сырой софт превращает ваше время в пыль.

• Сюда же мы отправляем Gemini 3 Flash и её базовую версию. При заявленной «молниеносности», в задаче D2 модель ушла в астрал на 127 секунд. Её RPI 20.00% — это дно для модели такого уровня. Когда «спринтер» бежит в 10 раз медленнее «марафонца» Claude и при этом галлюцинирует в Reasoning, мы имеем дело с багом архитектуры, прикрытым брендом Google.

Главный вывод «Зала позора» прост: высокий ценник или режим Thinking сегодня — это часто маркетинговый костыль. У Грока он работает как галлюциноген, у Дипсика — как перегрузка системы. Большинство моделей используют это время не для дебага своих ошибок, а для построения более витиеватых оправданий.

Мы закончили дегустацию позора. Теперь у вас есть полная карта того, кого нельзя подпускать к Thonny даже на пушечный выстрел.

Кот в Коде | @kot_research_bot

Аудит v2.1. Дополнение

Эй йоу, с вами Большой Русский Босс... это из другой оперы. Знаю, праздник сегодня, выходные дни — но это не останавливает меня. Раз весь аудит по исследованию провёл, значит нужно отдохнуть от этой мысли и идти дальше… но не в моём случае.

Что на прошлой неделе, что пару недель назад вышли новые нейронки, а именно:

• Gemini 3.1 Pro (preview)
• Qwen 3.5 (397b)
• Sonnet 4.6
• Minimax M2.5
• GLM-5

Также вышли Grok 4.2 и Nanbeige 4.1-3B (что это за зверь на неделе расскажу), но их нет на lmarena, поэтому не стал к ним прикасаться. Так вот, раз вышли — нужно испытывать!

Разберем, где у них «замкнуло»

• Логика и Пространство (ARC-AGI-2, Global PIQA)
Тут почти все — отличники. Qwen 3.5, Gemini 3.1 и Minimax безошибочно рассадили людей в D1 и нашли паттерны в D8. Это уже база.

• Математический хардкор (AIME 2025, FrontierMath, GSM8K)
В олимпийской математике (D3) Qwen 3.5 и GLM-5 показали себя идеальными калькуляторами. А вот Sonnet 4.6 словил когнитивный диссонанс: посчитал всё верно, но выдал убыточный совет «Tesla — это ловушка», хотя цифры кричали об обратном.

• Глубокое рассуждение (GPQA Diamond, HLE)
Здесь Gemini 3.1 Pro доказала, что 100% точность в PhD-задачах — это не миф. А Qwen 3.5 на длинном тексте (D2) начал терять связность.

• Кодинг и Агентность (LiveCodeBench, SWE-bench, Terminal-bench 2.0)
Gemini и Qwen держат строй. Sonnet 4.6, несмотря на скорость, провалил бизнес-логику в управлении портфелем.

• Фактология и Память (SimpleQA, MRCR v2, MMMLU)
Тут вылез самый страшный баг — Context Bleeding (протекание кэша). Qwen 3.5 в задаче по лингвистике (D4) внезапно выдал мне кусок отчета по финансам из прошлого чата. Это провал безопасности и памяти.

• Инструменты и Дисциплина (IFEval, τ²-bench)
Только Gemini 3.1 реально «увидела» буквы и написала стих без «Е». GLM-5 и Minimax не просто провалились, они включили режим «Газлайтинга»: написали слова с запретной буквой и нагло заявили «Ошибок нет, я всё сделал идеально».

И вот смотрите, на прошлой неделе я закончил на том, что китайские друзья можно использовать для работ. Но по новым версиям так не скажешь. Так что же делать?

Кот в Коде | @kot_research_bot