Раунд 3. Тест на Жадность: Задача «Волк с Уолл-стрит» 🐺

Продолжаем неделю краш-тестов. Вчера мы мучали нейросети лингвистикой, сегодня проверим их финансовую грамотность и агентность.

Задача: Симуляция трейдинга. У нас есть $1000, акции Apple/Tesla и расписание их роста. Но есть подвох: вечером второго дня происходит тотальный ОБВАЛ РЫНКА (-50%).

Почему это сложно?

• В бенчмарках типа GSM8K или MATH нейросети просто решают уравнения. Они работают как калькуляторы: получили цифры — выдали результат.

• Здесь мы тестируем Agentic Reasoning (Агентное мышление).
Модель должна не просто посчитать проценты, а проявить инициативу: понять, что держать акции во время обвала — глупо, и принять стратегическое решение выйти в кэш (продать всё), чтобы спасти капитал.

Большинство языковых моделей пассивны. Они следуют за трендом. Смогут ли они пойти против рынка?

👇 Полное условие задачи — в первом комментарии.
Попробуйте посчитать сами: какой максимум можно выжать, зная будущее?

Спойлер: одна модель насчитала себе миллионы, нарушив законы математики.

Кот в Коде

Раунд 3. Битва за Бабло: GPT-5.2 против Grok 4.1 🤑

📊 Ожидание (Теория):

• Разработчики хвастаются бенчмарками GSM8K и MATH, где модели решают школьные задачки по математике с точностью 90%+.

• Казалось бы, посчитать проценты и сложить доллары — это база. Но эти тесты не проверяют Агентность — способность принимать решения в меняющихся условиях.

🔨 Реальность:

Я дал им задачу с подвохом:

• Шаг 1: Акции растут и падают по расписанию.

• Шаг 2: Вечером второго дня происходит тотальный ОБВАЛ РЫНКА (-50%).

Здесь нужно было не просто считать, а действовать: догадается ли модель выйти в кэш?

💰 Претендент 1: GPT-5.2 (High)

Шаг 1 (Анализ трендов):

• Модель сразу посчитала доходность. Tesla дает +$20 за ночь, Apple падает на $5.

Решение: «Покупаем Tesla на все $1000». (Логично).

Шаг 2 (Реакция на Обвал):

• Самый интересный момент. GPT увидела условие про крах на 2-й день.

Рассуждение: «Если я останусь в акциях вечером, я потеряю 50%. Значит, в полдень 2-го дня я должен продать всё и сидеть в долларах (кэше). А когда рынок рухнет — откуплю по дешевке».

Итог:

Идеальная спекуляция. Депозит вырос до $1832.

Вердикт: Агентное мышление работает. Она умеет планировать наперед.

💰 Претендент 2: Grok 4.1 (Thinking)

Шаг 1 (Математика):

• Включил режим Thinking. Начал считать акции в дробях (200/9 акций). Выглядело очень умно и профессионально 🧐

Шаг 2 (Галлюцинация):

• Дошел до момента обвала.
Рассуждение: «Рынок падает на 50%... значит цена уменьшается...»

• И тут его переклинило. В логах видно, как он начинает путаться в собственных дробях. Где-то он забыл вычесть падение, где-то умножил не на то число. Логика поплыла, но уверенность осталась.

Итог:

Выдал результат: $4861.

Реальность: Максимум, который можно выжать математически — $1832. Грок «нарисовал» $3000 из воздуха.

Вердикт: Confident Hallucination (Уверенная галлюцинация). Он не умеет считать деньги в динамике, но делает это с лицом профессора.

Общий вывод:

• Если вам нужен помощник, который спасет ваши деньги в кризис — это GPT.

• Если вам нужен бухгалтер, который сядет в тюрьму за приписки — это Грок.

Кот в Коде

Раунд 3. Хроники падения: Gemini и Claude против Краха 📉

К моему удивлению, в этой части раундов я не смог сделать общий вердикт по той или иной нейросети, не смотря на вариативность самой нейросети (например, в одной версии нейронка обычная не смогла дать правильный ответ, а в версии thinking смогла).

Поэтому тут я разберу конкретно по каждой нейросети и её версии, в чём были подвохи и подводные камни.

😎 Gemini 3 Flash

Шаг 1 (Анализ): Быстро посчитала, что Tesla растет лучше Apple. Купила Tesla.
Шаг 2 (Реакция на Крах):

• Увидела новость про обвал.

• Рассуждение: «Рынок волатилен, но долгосрочно растет. Лучшая стратегия — держать (HODL)».

Итог: Потеряла 50% на обвале. Еле вышла в плюс к концу срока.

Результат: 🐱 ~$1106.

При этом при всём, у неё почему-то оба ответа по сути правильные... просто не правильно написаны. В рассуждении по первому шагу ответ 1813$, а в втором - 1106$. Как так получилось, что ответы правильные, но перепутаны местами - честно, не понимаю.

😱 Gemini 3 Pro

Шаг 1 (Анализ): Аналогично. Выбрала Tesla как актив с высоким ростом.

Шаг 2 (Реакция на Крах):

• Проанализировала падение.

• Рассуждение: «Продавать сейчас рискованно, лучше переждать шторм в акциях». Не догадалась выйти в кэш.

Итог: Точно такая же просадка.

Результат: 🐱 ~$1106.

Тут такая же обстановка, что и по быстрой версии - тот же конекст, те же правила... но ответы перепутала)

😎 Claude 3.5 Sonnet (Base)

Шаг 1 (Анализ): Идеально посчитал проценты роста. Закупился Tesla.

Шаг 2 (Реакция на Крах):

• Рассуждение: Сработал как калькулятор. Он математически точно расписал, как именно и на сколько процентов упадет портфель.

• Но стратегического решения (продать) не предложил. Просто констатировал факт будущих убытков.

Итог: Пассивное наблюдение за потерей денег.

Результат: 🐱 ~$1106.

Тут и думать нечего, он и на первом, и втором шаге запутался.

💪 Claude 3.5 Sonnet (Thinking)

Шаг 1 (Анализ): Купил Tesla.

Шаг 2 (Реакция на Крах): Включился режим размышления (47 секунд).

Мысль: «Стоп. Если вечером акции упадут на 50%, то держать их глупо. Я должен продать всё в полдень, остаться в долларах, пропустить падение и откупить акции на дне».

Итог: Идеальный тайминг. Избежал убытков, закупился дешево.

Результат: 🤑 ~$1832 (Максимум).

ШО ПО ИТОГУ:

• Gemini (обе версии) и Claude Base работают линейно: «Купил — Держи». Они не умеют менять стратегию на лету при виде опасности.

• Claude Thinking (как и GPT-5.2 High) проявил Агентность. Он понял, что иногда лучшее действие — это выйти из игры (в кэш).

Кот в Коде

Итоги Дня 3. Финансовый протокол: Кому я доверю свой бюджет? 💳

Результаты этого теста пугают больше, чем ошибки в коде. Потому что код можно переписать, а слитый депозит не вернешь.

📊 Финальная таблица результатов (из $1000):

🥇 GPT-5.2 (High) — $1832

Статус: Агент.

Почему: Единственная модель, которая поняла: «Впереди яма, надо обойти». Она продала акции до обвала. Это уровень мышления, который нужен для автономных систем.

🥔 Claude 3.5 & Gemini 3 — ~$1106

Статус: Наблюдатели.

Почему: Они видели яму, но побоялись свернуть. Пассивная стратегия «купил и держи» безопасна, но не эффективна в кризис.

😼 Grok 4.1 (Thinking) — (Фейковые) $4861

Статус: Скамер.

Почему: Он просто выдумал цифры. В реальности он бы слил депозит, но в отчете написал бы, что мы богаты. Это самое опасное поведение для ИИ.

Инженерный вывод:

Если вы используете нейросети для расчета смет, облачных расходов (AWS/Azure) или юнит-экономики:

• GPT-5.2 — можно доверять (но проверять).

• Gemini/Claude — посчитают верно, но не предложат оптимизацию.

• Grok — держите подальше от цифр. Он насчитает вам миллион пользователей, которых нет.

Завтра полуфинал, поговорю про последнюю задачу, а в субботу - общая сводка нейросетей!

• Я подробно соберу всю таблицу бенчей (реальную и статистическую);

• Сколько времени занимает на обработку данных и вывод ответа нейросети;

• А также поделюсь всеми материалами, вплоть от сколько занял ответ одной нейросети на ответ до самих ответов.

Так что не уходи далеко, самое жаркое и вкусное скоро прибудет с нами!)

Кот в Коде

Раунд 4. Тест на Лингвиста: Задача «Язык Koda» 😼

Финальный аккорд недели краш-тестов. Вчера мы учили нейросети торговать акциями, сегодня проверим их способность учиться на лету.

Задача: Я придумал вымышленный язык «Koda» со странной грамматикой.

Главное правило: порядок слов OSV (Объект — Субъект — Глагол).
Нужно перевести фразу на этот язык, а потом обратно, не сломав логику.

Почему это сложно?

• Нейросети обучены на терабайтах правильного текста (английского/русского). У них в весах «зашито», что Субъект (кто делает) обычно идет первым.

• Здесь мы тестируем In-context Learning (Обучение в контексте) и гибкость.

• Модель должна прочитать правила в промпте и подавить свои "инстинкты", чтобы говорить неправильно, но по инструкции. Это тест на переключение контекста.

Попробуйте сами перевести фразу «Кот ест рыбу» в формат «Рыбу Кот Ест» и не запутаться в окончаниях.

👇 Условие задачи и словарь — в первом комментарии.

Спойлер: одна из моделей так погрузилась в вымышленный язык, что превратилась в Магистра Йоду и разучилась говорить на нормальном английском.

Кот в Коде

Раунд 4. Битва Лингвистов: Синдром Магистра Йоды (OSV) 🤔

В финальном раунде я столкнул «Мыслителей» — Grok 4.1 и Claude Opus 4.5 в режиме Thinking.

Задача: выучить на лету выдуманный язык Koda (где порядок слов обратный: Объект — Субъект — Глагол) и переводить туда-обратно.

📊 Ожидание:

• В тестах на перевод и мультиязычность (MMLU-Linguistics, Translation Bench) эти модели набирают высшие баллы. Они должны щелкать грамматику как орешки.

🔨 Реальность:

• Здесь мы проверяем Context Switching (Переключение контекста). Легко ли модели «вынырнуть» из выдуманных правил обратно в нормальный английский?

🚘 Grok 4.1 (Thinking)

Заявка: Самая креативная и «свободная» модель.

Шаг 1 (English -> Koda):

• Задание: Перевести «Большие коты ловят быстрых мышей».

• Результат: Идеально. Понял правило OSV, добавил суффиксы.

• Выдал: «Squeakzo xZoomi Miuzo xHuga Grabba».

Шаг 2 (Koda -> English):

• Задание: Перевести обратно фразу «Ballzo xRed Boy Kicka».

• Результат: Грок так глубоко погрузился в роль инопланетянина, что забыл грамматику родного языка.

• Ответ: «The red balls the boy kicks». (Красные мячи мальчик пинает).

• Итог: 🐱 ПРОВАЛ. Он превратился в Йоду. Модель «залипла» в контексте и не смогла переключиться.

💪 Claude Opus 4.5 (Thinking)

Заявка: Лидер по сложным инструкциям.

Шаг 1 (English -> Koda):

• Результат: Четко по инструкции. Разобрал предложение на части речи, переставил, перевел.

Шаг 2 (Koda -> English):

• Мысль: «Так, на языке Koda порядок обратный. Значит, при переводе на английский я должен вернуть стандартный SVO (Субъект - Глагол - Объект)».

• Ответ: «The boy kicks the red balls».

• Итог: 👍 ВЕРНО. Полный контроль над синтаксисом.

ШО ПО ИТОГУ:

• Grok страдает от «инерции мышления». Если вы дадите ему специфичные правила (например, для кода), он может начать применять их там, где не надо.

• Claude показал идеальную гибкость. Он понимает, где заканчиваются правила выдуманного мира и начинаются правила реального.

Кот в Коде

Битва Спринтеров: Когда «Думать» вредно 🚬

Пока Грок косплеил магистра Йоду, а Клод тратил минуты на рефлексию, я запустил на лингвистический полигон стандартные модели — GPT-5.2 и Gemini 3.

Задача та же: выучить на лету язык Koda (порядок слов Объект-Субъект-Глагол) и переводить без ошибок.

📊 Ожидание:

• Это задача на Pattern Matching (распознавание шаблонов).

• Трансформеры изначально создавались именно для перевода. Здесь они должны быть в своей стихии.

🔨 Реальность:

📖 GPT-5.2 (High)

Время: 5 секунд.

Результат: Молниеносно. Никаких раздумий.
Eng -> Koda: «Squeakzo xZoomi...» (Верно).
Koda -> Eng: «The boy kicks...» (Верно).

Итог: 👍 ИДЕАЛЬНО. Для неё это уровень 2-го класса. Она просто переставила токены местами, не пытаясь искать глубинный смысл там, где его нет.

📝 Gemini 3 (Flash & Pro)

Время: 8-9 секунд (Flash) / 24 секунды (Pro).

Результат: Тоже справились без ошибок.

Наблюдение: В этот раз Flash сработала реально быстро (не 80 секунд, как в задаче на логику). Видимо, лингвистика — это единственное, что у Google оптимизировано хорошо.

Итог: 👍 ВЕРНО.

ШО ПО ИТОГУ:

• Парадокс Интеллекта: В задачах на перевод и грамматику режим «Thinking» (как у Грока) может только мешать. Модель начинает «передумывать» и путаться в контексте.

• Базовые модели (GPT-5.2, Gemini) щелкают такие задачи как орешки. Им не нужно рефлексировать, чтобы переставить слова местами.

• Если ваша задача — перевод, рерайт или смена стиля текста, не тратьте деньги на дорогие Thinking-модели. Обычная GPT сделает это быстрее и дешевле.

Кот в Коде

Итоги Дня 4. Битва Лингвистов: OSV

📊 Мой личный протокол по итогам Раунда 4:

💪 GPT-5.2 (High)

Время: 5 секунд.

Результат: Молниеносно. Никаких раздумий.
• Eng -> Koda: Верно.
• Koda -> Eng: Верно.

Статус: Полиглот. Для неё это уровень 2-го класса. Она просто переставила токены местами, не пытаясь искать глубинный смысл там, где его нет.

🎹 Gemini 3 (Flash & Pro)

Время: 9 сек (Flash) / 24 сек (Pro).
Результат: Тоже справились без ошибок.

Статус: Исправившиеся.

Наблюдение: В этот раз Flash сработала реально быстро (9 секунд против 83 секунд в задаче на логику). Видимо, лингвистика — это единственное, что у Google оптимизировано хорошо.

🤔 Claude Opus 4.5 (Thinking)

Время: 6 секунд.

Результат: Четко по инструкции. Разобрал предложение на части речи, переставил, перевел.
В режиме Thinking даже не стал долго рефлексировать, просто выполнил алгоритм.

Статус: Профи. Полный контроль над синтаксисом.

😂 Grok 4.1 (Thinking)

Время: 8 секунд.

Результат: Грок так глубоко погрузился в роль инопланетянина, что забыл грамматику родного языка.
При обратном переводе он выдал: «The red balls the boy kicks» (Красные мячи мальчик пинает).

Статус: Залипший. Он сохранил чужую грамматику (OSV) в английском языке.

Инженерный вывод:

• Если у модели проблемы с Context Inertia (как Grok), она может начать писать вам документацию, используя синтаксис из прошлого куска кода. Или отвечать на русском, используя грамматику немецкого.

• Базовые модели (GPT, Gemini) щелкают такие задачи как орешки. Им не нужно рефлексировать, чтобы переставить слова местами.

• Для мультизадачности Grok Thinking пока сырой. Остальные модели доказали гибкость.

А завтра не забываем - у нас ГРАНД-ФИНАЛ. Кто же по итогу первым в таблице лидеров, а кто окажется ниже плинтуса?

Кот в Коде

Я был с вами не до конца честен... 😞

Прошла неделя краш-тестов. Цифры в таблицах выглядят солидно, но пришло время заглянуть «под капот».

Моё исследование — это не лабораторная работа в MIT, это Эмпирическое исследование на коленке.

Чтобы вы доверяли результатам так же, как я, я должен признать два важных момента:

1️⃣ Текстовый фокус.

Все задачи были в формате текста. Именно поэтому мы затронули только те бенчмарки, которые отвечают за «мозги», а не за «глаза» или «уши» нейронок:

• ARC-AGI-2 — пространственное мышление и визуальная логика (тест D1: рассадка за столом).

• Humanity's Last Exam (HLE) — глубокое рассуждение и работа с жесткими ограничениями (тест D2: липограмма).

• AIME 2025 — математика и сложные финансовые вычисления (тест D3).

• Toolathlon — многоступенчатое планирование и агентность (тест D3: принятие решений).

• Vending-Bench 2 — удержание контекста и долгосрочная когерентность (тест D3: сценарий с обвалом).

• SWE-bench Verified — способность модели действовать как автономный агент (тест D3: выбор стратегии).

• MMMLU — мультиязычность и понимание структуры языка (тест D4: лингвистика Koda).

• Global PIQA — здравый смысл и бытовая логика в разных контекстах (тесты D1 и D4).

Бенчи по анализу видео, аудио и сложных PDF (вроде OmniDocBench) остались за бортом. Это осознанное ограничение: я тестировал умение моделей думать и кодить, а не распознавать форматы файлов.

2️⃣ Единый полигон (LMArena).

Я не прыгал по вкладкам официальных сайтов и не замерял Claude в LM Studio. Все тесты проводились на LMArena.

Почему это важно?

• Это «ход конём», который уравнял всех в правах. Если бы я тестил их в разных средах, Claude могла бы думать в три раза дольше просто из-за нагрузки на серверы Anthropic в этот момент.

• Арена дала нам чистую скорость реакции «здесь и сейчас» на одном и том же «железе».

• Да, та же Gemini Flash в web обгоняет GPT-5.2 по субъективному ощущению скорости, но это условия конкретного ринга.

Зачем я это всё нагородил?

Чтобы проверить «маркетинговую морковку» на вшивость. Я ограничен ресурсами одного рабочего ноутбука, но этого достаточно, чтобы понять: кто из них реально тянет лямку, а кто просто красиво рисует графики в пресс-релизах.

Посмотрите итоговую таблицу еще раз — теперь вы знаете, как она ковалась.

Кот в Коде

Вайб-кодер или Дирижёр оркестра? 🔈

Так зачем же мне вообще эти тесты, если нейронки и так всё умеют?

Слушайте, я провозгласил себя Вайб-кодером. Это не значит, что я не умею писать код сам. Умею. Но мне... впадлу. Я инженер, и я ищу способы хакнуть жизнь: получить максимум профита при минимуме усилий.

Нейронки — мои «цифровые джуны». Они невероятно умные, но склонны к галлюцинациям. Если дать им полную свободу без надзора, они построят дом из спагетти.

Я в этой цепочке — Дирижёр.
Краш-тесты этой недели помогли мне распределить роли в моем оркестре:

✅ GPT-5.2 — моя «первая скрипка». Ей я делегирую математику, планирование стратегий и архитектуру. Она стабильна и предсказуема.

✅ Claude 4.5 — «фортепиано» для сложной логики. Когда нужно решить задачу с безумными ограничениями (привет, липограмма!), только она берет нужную ноту.

✅ Gemini и Grok — ударные и треугольник. Иногда они сбиваются с ритма, но незаменимы для скорости или специфических творческих вбросов.

Зачем мне всё это?

Чтобы в нужный момент дернуть за упряжку и сказать: «Стоп, ты пишешь дичь. Откат. Делаем по-другому». Только я знаю, как должна звучать симфония (работающий проект), а они просто играют ноты.

Не бойтесь ошибок нейросетей. Ошибка — это просто этап отладки. Главное — знать, когда взять в руки экскаватор, а когда — микроскоп. Теперь мы знаем возможности этих инструментов «на вшивость».

А какой инструмент в вашем оркестре лажает чаще всего? Пишите в комментах. 👇

Кот в Коде