#полезное
🥺 Небенчмарковый анализ математических рассуждений o3-mini.

Epoch AI провели исследование, чтобы копнуть способность o3-mini в математическом ризонинге глубже, чем это происходит в популярных тестах и бенчмарках.

Они дали 14 математикам разобрать, как именно o3-mini-high решает сложные задачи из FrontierMath. Цель - понять ее сильные и слабые стороны в реальном математическом мышлении, а не просто фиксировать правильные ответы.

Так как внутренняя структура самой модели OpenAI не раскрывает, авторы сосредоточились на анализе ее рассуждений.

По 29-и "траекториям рассуждений" стало видно: модель не просто перебирает формулы, она действует как "индуктивный решатель на ощущениях" (по выражению одного математика).

Модель проявляет любопытство: пробует разные подходы, ставит "бюджетные эксперименты", чтобы прощупать задачу. Иногда даже пишет код для расчетов, избегая излишней абстракции.

Но стиль ее рассуждений часто неформальный, "черновой". Рассуждения излагаются приблизительно, без строгой формулировки, с пропусками сложных моментов – совсем не как это принято в математической среде.

Почему так? Возможно, строгие доказательства просто реже встречались в ее обучающих данных.

Главные проблемы модели – это обратная сторона ее же достоинств. Да, она эрудирована как никто (знает кучу теорем из разных областей – в 66% случаев она адресно применяла нужные знания, даже если подход был замаскирован).

Но ей не хватает строгости и глубины. Она часто "читерит": делает верную догадку интуитивно и тут же применяет ее для решения, даже не пытаясь ее подтвердить доказательствами.

Порой ей не хватает буквально одного шага до верного ответа. Но главное – математики критикуют ее за слабую креативность. Как заметил один эксперт, модель похожа на аспиранта, который может блеснуть начитанностью, назвать кучу теорем и авторов, но не способен глубоко переосмыслить материал или придумать что-то новое.

Набор идей модели ограничен, и если они не срабатывают – прогресса нет. Плюс ко всему, в 75% рассуждений нашли галлюцинации: модель путает термины, формулы, и зачастую выдумывает несуществующие URL для поиска недостающей информации.

Модель, по заверением OpenAI, обучали на огромном массиве данных математической литературы. Это объясняет ее феноменальную эрудицию. Но смогут ли такие модели, как o3-mini-high, преодолеть свои слабости в будущем?

Или же системы, обученные на синтетических данных (AlphaProof), пойдут другим путем, предлагая в инфернесе рассуждения, мало похожие на человеческое математическое мышление?

А пока что вывод: o3-mini-high – это мощный, но своеобразный инструмент. Знаток с интуицией, но без дисциплины профессора.
Читать статью полностью

👉Новости 👉База вопросов

#новости
🛞 OpenAI релизнула о3-pro — самую умную свою нейронку. По словам разработчиков, она обладает сверхинтеллектом.

🟠 Она превосходит о3-версию почти в 70% запросов.
🟠 Новинка буквально уничтожает конкурентов по бенчам и делает это с огромным отрывом.
🟠 Идеально выполняет научные задачи, знает математику и круто прогает.
🟠 о3-pro умеет анализировать файлы, ползать по инету, помнит весь контекст вашей беседы и рассуждает, как целая команда специалистов.
🟠 Немаловажно, что стоит модель почти вдвое дешевле о1-pro.

👉Новости 👉База вопросов

#новости
👨‍💻 OpenAI релизнули o3 pro

Доступ к модели уже дают Pro подписчикам и в API. Модель заметно дешевле o1 pro — $20/$80 за миллион токенов, по сравнению с $150/$600 у o1 pro.

Одновременно с этим в 5 раз снизили цену на обычную o3 — теперь она стоит $2/$8 за миллион токенов. То есть o3 pro ровно в 10 раз дороже.

👉Новости 👉База вопросов