Раунд 4. Битва Лингвистов: Синдром Магистра Йоды (OSV) 🤔

В финальном раунде я столкнул «Мыслителей» — Grok 4.1 и Claude Opus 4.5 в режиме Thinking.

Задача: выучить на лету выдуманный язык Koda (где порядок слов обратный: Объект — Субъект — Глагол) и переводить туда-обратно.

📊 Ожидание:

• В тестах на перевод и мультиязычность (MMLU-Linguistics, Translation Bench) эти модели набирают высшие баллы. Они должны щелкать грамматику как орешки.

🔨 Реальность:

• Здесь мы проверяем Context Switching (Переключение контекста). Легко ли модели «вынырнуть» из выдуманных правил обратно в нормальный английский?

🚘 Grok 4.1 (Thinking)

Заявка: Самая креативная и «свободная» модель.

Шаг 1 (English -> Koda):

• Задание: Перевести «Большие коты ловят быстрых мышей».

• Результат: Идеально. Понял правило OSV, добавил суффиксы.

• Выдал: «Squeakzo xZoomi Miuzo xHuga Grabba».

Шаг 2 (Koda -> English):

• Задание: Перевести обратно фразу «Ballzo xRed Boy Kicka».

• Результат: Грок так глубоко погрузился в роль инопланетянина, что забыл грамматику родного языка.

• Ответ: «The red balls the boy kicks». (Красные мячи мальчик пинает).

• Итог: 🐱 ПРОВАЛ. Он превратился в Йоду. Модель «залипла» в контексте и не смогла переключиться.

💪 Claude Opus 4.5 (Thinking)

Заявка: Лидер по сложным инструкциям.

Шаг 1 (English -> Koda):

• Результат: Четко по инструкции. Разобрал предложение на части речи, переставил, перевел.

Шаг 2 (Koda -> English):

• Мысль: «Так, на языке Koda порядок обратный. Значит, при переводе на английский я должен вернуть стандартный SVO (Субъект - Глагол - Объект)».

• Ответ: «The boy kicks the red balls».

• Итог: 👍 ВЕРНО. Полный контроль над синтаксисом.

ШО ПО ИТОГУ:

• Grok страдает от «инерции мышления». Если вы дадите ему специфичные правила (например, для кода), он может начать применять их там, где не надо.

• Claude показал идеальную гибкость. Он понимает, где заканчиваются правила выдуманного мира и начинаются правила реального.

Кот в Коде

Битва Спринтеров: Когда «Думать» вредно 🚬

Пока Грок косплеил магистра Йоду, а Клод тратил минуты на рефлексию, я запустил на лингвистический полигон стандартные модели — GPT-5.2 и Gemini 3.

Задача та же: выучить на лету язык Koda (порядок слов Объект-Субъект-Глагол) и переводить без ошибок.

📊 Ожидание:

• Это задача на Pattern Matching (распознавание шаблонов).

• Трансформеры изначально создавались именно для перевода. Здесь они должны быть в своей стихии.

🔨 Реальность:

📖 GPT-5.2 (High)

Время: 5 секунд.

Результат: Молниеносно. Никаких раздумий.
Eng -> Koda: «Squeakzo xZoomi...» (Верно).
Koda -> Eng: «The boy kicks...» (Верно).

Итог: 👍 ИДЕАЛЬНО. Для неё это уровень 2-го класса. Она просто переставила токены местами, не пытаясь искать глубинный смысл там, где его нет.

📝 Gemini 3 (Flash & Pro)

Время: 8-9 секунд (Flash) / 24 секунды (Pro).

Результат: Тоже справились без ошибок.

Наблюдение: В этот раз Flash сработала реально быстро (не 80 секунд, как в задаче на логику). Видимо, лингвистика — это единственное, что у Google оптимизировано хорошо.

Итог: 👍 ВЕРНО.

ШО ПО ИТОГУ:

• Парадокс Интеллекта: В задачах на перевод и грамматику режим «Thinking» (как у Грока) может только мешать. Модель начинает «передумывать» и путаться в контексте.

• Базовые модели (GPT-5.2, Gemini) щелкают такие задачи как орешки. Им не нужно рефлексировать, чтобы переставить слова местами.

• Если ваша задача — перевод, рерайт или смена стиля текста, не тратьте деньги на дорогие Thinking-модели. Обычная GPT сделает это быстрее и дешевле.

Кот в Коде

Итоги Дня 4. Битва Лингвистов: OSV

📊 Мой личный протокол по итогам Раунда 4:

💪 GPT-5.2 (High)

Время: 5 секунд.

Результат: Молниеносно. Никаких раздумий.
• Eng -> Koda: Верно.
• Koda -> Eng: Верно.

Статус: Полиглот. Для неё это уровень 2-го класса. Она просто переставила токены местами, не пытаясь искать глубинный смысл там, где его нет.

🎹 Gemini 3 (Flash & Pro)

Время: 9 сек (Flash) / 24 сек (Pro).
Результат: Тоже справились без ошибок.

Статус: Исправившиеся.

Наблюдение: В этот раз Flash сработала реально быстро (9 секунд против 83 секунд в задаче на логику). Видимо, лингвистика — это единственное, что у Google оптимизировано хорошо.

🤔 Claude Opus 4.5 (Thinking)

Время: 6 секунд.

Результат: Четко по инструкции. Разобрал предложение на части речи, переставил, перевел.
В режиме Thinking даже не стал долго рефлексировать, просто выполнил алгоритм.

Статус: Профи. Полный контроль над синтаксисом.

😂 Grok 4.1 (Thinking)

Время: 8 секунд.

Результат: Грок так глубоко погрузился в роль инопланетянина, что забыл грамматику родного языка.
При обратном переводе он выдал: «The red balls the boy kicks» (Красные мячи мальчик пинает).

Статус: Залипший. Он сохранил чужую грамматику (OSV) в английском языке.

Инженерный вывод:

• Если у модели проблемы с Context Inertia (как Grok), она может начать писать вам документацию, используя синтаксис из прошлого куска кода. Или отвечать на русском, используя грамматику немецкого.

• Базовые модели (GPT, Gemini) щелкают такие задачи как орешки. Им не нужно рефлексировать, чтобы переставить слова местами.

• Для мультизадачности Grok Thinking пока сырой. Остальные модели доказали гибкость.

А завтра не забываем - у нас ГРАНД-ФИНАЛ. Кто же по итогу первым в таблице лидеров, а кто окажется ниже плинтуса?

Кот в Коде

Я был с вами не до конца честен... 😞

Прошла неделя краш-тестов. Цифры в таблицах выглядят солидно, но пришло время заглянуть «под капот».

Моё исследование — это не лабораторная работа в MIT, это Эмпирическое исследование на коленке.

Чтобы вы доверяли результатам так же, как я, я должен признать два важных момента:

1️⃣ Текстовый фокус.

Все задачи были в формате текста. Именно поэтому мы затронули только те бенчмарки, которые отвечают за «мозги», а не за «глаза» или «уши» нейронок:

• ARC-AGI-2 — пространственное мышление и визуальная логика (тест D1: рассадка за столом).

• Humanity's Last Exam (HLE) — глубокое рассуждение и работа с жесткими ограничениями (тест D2: липограмма).

• AIME 2025 — математика и сложные финансовые вычисления (тест D3).

• Toolathlon — многоступенчатое планирование и агентность (тест D3: принятие решений).

• Vending-Bench 2 — удержание контекста и долгосрочная когерентность (тест D3: сценарий с обвалом).

• SWE-bench Verified — способность модели действовать как автономный агент (тест D3: выбор стратегии).

• MMMLU — мультиязычность и понимание структуры языка (тест D4: лингвистика Koda).

• Global PIQA — здравый смысл и бытовая логика в разных контекстах (тесты D1 и D4).

Бенчи по анализу видео, аудио и сложных PDF (вроде OmniDocBench) остались за бортом. Это осознанное ограничение: я тестировал умение моделей думать и кодить, а не распознавать форматы файлов.

2️⃣ Единый полигон (LMArena).

Я не прыгал по вкладкам официальных сайтов и не замерял Claude в LM Studio. Все тесты проводились на LMArena.

Почему это важно?

• Это «ход конём», который уравнял всех в правах. Если бы я тестил их в разных средах, Claude могла бы думать в три раза дольше просто из-за нагрузки на серверы Anthropic в этот момент.

• Арена дала нам чистую скорость реакции «здесь и сейчас» на одном и том же «железе».

• Да, та же Gemini Flash в web обгоняет GPT-5.2 по субъективному ощущению скорости, но это условия конкретного ринга.

Зачем я это всё нагородил?

Чтобы проверить «маркетинговую морковку» на вшивость. Я ограничен ресурсами одного рабочего ноутбука, но этого достаточно, чтобы понять: кто из них реально тянет лямку, а кто просто красиво рисует графики в пресс-релизах.

Посмотрите итоговую таблицу еще раз — теперь вы знаете, как она ковалась.

Кот в Коде

Вайб-кодер или Дирижёр оркестра? 🔈

Так зачем же мне вообще эти тесты, если нейронки и так всё умеют?

Слушайте, я провозгласил себя Вайб-кодером. Это не значит, что я не умею писать код сам. Умею. Но мне... впадлу. Я инженер, и я ищу способы хакнуть жизнь: получить максимум профита при минимуме усилий.

Нейронки — мои «цифровые джуны». Они невероятно умные, но склонны к галлюцинациям. Если дать им полную свободу без надзора, они построят дом из спагетти.

Я в этой цепочке — Дирижёр.
Краш-тесты этой недели помогли мне распределить роли в моем оркестре:

✅ GPT-5.2 — моя «первая скрипка». Ей я делегирую математику, планирование стратегий и архитектуру. Она стабильна и предсказуема.

✅ Claude 4.5 — «фортепиано» для сложной логики. Когда нужно решить задачу с безумными ограничениями (привет, липограмма!), только она берет нужную ноту.

✅ Gemini и Grok — ударные и треугольник. Иногда они сбиваются с ритма, но незаменимы для скорости или специфических творческих вбросов.

Зачем мне всё это?

Чтобы в нужный момент дернуть за упряжку и сказать: «Стоп, ты пишешь дичь. Откат. Делаем по-другому». Только я знаю, как должна звучать симфония (работающий проект), а они просто играют ноты.

Не бойтесь ошибок нейросетей. Ошибка — это просто этап отладки. Главное — знать, когда взять в руки экскаватор, а когда — микроскоп. Теперь мы знаем возможности этих инструментов «на вшивость».

А какой инструмент в вашем оркестре лажает чаще всего? Пишите в комментах. 👇

Кот в Коде