GPT-5 тут. Или нет

На арене новая супермодель: Лобстер. Обходит* всех тяжеловесов, и четвертого Грока, и четвертого Клода.

Вероятнее всего, это GPT-5, которую обещали выпустить к августу. Смущает только название, ведь модели в честь животных обычно называют в Мете.

Попробовать** тут:
https://web.lmarena.ai

* В ряде задач
** Только если случайно наткнуться, выбрать нельзя

GPT тупеет, когда её заставляют общаться как человек

The Information выпустил лонгрид о состоянии дел в OpenAI накануне выхода GPT-5 и за последний год.
Завтра её будут пересказывать все телеграм каналы, так что давайте их опередим.

https://www.theinformation.com/articles/inside-openais-rocky-path-gpt-5

Самое интересное: модель-учитель о3 была невероятно умной и показывала высокий уровень понимания самых разных областей. А потом из неё сделали чат-бот, и он отупел: видимо, когда модель заставляют вести себя как человек, она теряет в когнитивных свойствах. Я тоже.

Из других интересных деталей: ещё в июне из-за технических сложностей ни одна внутренняя модель не была достаточно хороша, чтобы назвать её GPT-5. А изначально GPT-5 вообще должна была стать Orion, но она не оправдала вложенных в неё надежд; в итоге её выложили как 4.5 и сейчас потихоньку отключают.

Тезисный пересказ с моими комментариями (курсивом).

- o3 показал удивительный буст в решении сложных задач (бенчмарк ARC). Но когда эту модель адаптировали под чат-версию, этот прирост исчез.
- Новая GPT-5 модель значительно лучше справляется с созданием приложений, которые хорошо выглядят. (Я уже пробовал GPT-5 на арене, и она действительно выдаёт более симпатичный результат)
- GPT-5 лучше справляется с агентскими задачами из многих действий, пример — определять, когда чат поддержки должен вернуть покупателю средства.
- Разница не будет настолько большой, как между GPT-3 и GPT-4 (мне кажется, это не правда. Вы вообще помните, какой плохой была GPT-4 на релизе?)
- Orion это 4.5, и он не оправдал надежд. Скорее всего из-за качества претрейна, но также и потому, что те улучшения, которые повышали качество моделей поменьше, не сработали на огромной.
- Зато сработал другой подход, делать более длинные цепочки размышлений — так появились ризонеры.
- Как и o1, модель o3 основывалась на GPT-4o. Однако «родительская модель» (учитель) для o3 достигала куда больших высот в понимании научных и других концептов. Частично — потому что для неё использовалось куда больше чипов Nvidia. А частично — потому что ей дали возможность искать в вебе и по репозиториям с кодом.
- Ну и кусок про reinforcement learning (немного путанный, The Information точно правильно всё понял?): родительские модели просили сгенерировать тысячи ответов на сложные вопросы по биологии, медицине и инженерии, и затем обучали на тех ответах, которые совпали с теми, что дали мясные эксперты.
- Наконец, то, ради чего была написана статья: когда модель-учитель конвертировали в чат-версию модели («модель-ученик»), она не показала себя сильно лучше, чем o1. (Опять же, по моим ощущениям это не так, o3 гораздо лучше показывает себя в реальных задачах. Но вероятно речь про конкретные математические или кодовые применения).
- Одно из подозрений — что способ, которым модель понимает сложные концепты, достаточно далёк от того, как общаются люди (ну… да, но разве мы понимаем вещи в общении? Странный пассаж тоже).
- Тем не менее, звонкая цитата: чат-бот версия o3 значительно тупее обычной, потому что вынуждена говорить на человеческом языке, а не своём собственном.
- Этому косвенно свидетельствует белиберда, которую модель генерирует в процессе «думания».
- Сразу — гипотеза от меня: что, если размышляющие модели настолько лучше не потому, что они долго думают, а потому, что могут на время отойти от формата чат-бота, который их тупит?
- Наконец, o-нейминг окончательно запутал пользователей, поэтому Альтман сказал возвращаться к привычной нумерации.
- Однако ещё даже в июне из-за технических трудностей ни одна из разрабатываемых моделей не была достаточно хороша, чтобы назваться GPT-5.
- У OpenAI есть ещё один туз в рукаве: универсальный верификатор — инструмент, который автоматизирует процесс проверки, что модель нагенерировала на RL-этапе качественных ответов (и снова звучит как будто The Information чего-то недопоняли. Это же ровно то, что сделал DeepSeek, какой ещё туз в рукаве).

[чуть не влез по длине, финал первым комментом].

по сути всё у Сиолошной то же самое (что не удивительно, мы один и тот же текст пересказываем), но есть интересные моменты из другой статьи про таинственный универсальный верификатор.

Пока на стриме говорят об использовании ChatGPT в здравоохранении, я не могу перестать думать об этом графике

@ai_newz

выдали доступ, интересное решение

Рутрекер должен быть один из самых дорогих ассетов в мире сейчас

Прочитал старую новость о том, что в Мете скачали и раздавали петабайты порно, чтобы выкачать видеоматериалы из трекеров (в торрентах важно соотношение раздач к скачиванию), и понял, что ничего ценнее Рутрекера сейчас в мире быть вообще не может. "Почему не пайратбэй", — может спросить человек, который никогда им не пользовался.

Потому что разметка пайратбэя это лютый кошмар. Огромная непереваренная недетализированная свалка барахла. Или рутрекер, на котором десятки тысяч человек двадцать лет со скорпулёзностью, граничащей с болезненностью, размечали аболютно все материалы.

У Дваркеша, главного AI-подкастера, вышло интервью с одним из отцов-основателей машинного обучения, автора RL — Ричардом Саттоном.

И Саттон не подвёл. Дед на аудиторию главного мейнстримного эйай-бро подкаста заявил, что:
- LLM это тупиковая ветвь эволюции,
- парадигма фундаментально ложна,
- любые подходы без целей/вознаграждений и системы непрерывного обучения в опыте обречены на провал.

У внимательного читателя может возникнуть дежа вю, ведь Саттон не первый «отец современного ML» с такими тейками — примерно в том же духе уже несколько лет высказывается и Ян ЛеКун. А если вы поняли шутку про дежа вю, то вам и вовсе пора в рехаб.

Твиттер, ожидаемо, бурлит. К логике Саттона сложно прикопаться, да и авторитет у деда неимоверный. С другой стороны, слишком уж хорошие результаты показывает LLM-подход последние годы, и за это время было выдвинуто несколько действительно красивых гипотез, почему оно всё-таки вертится.

Здесь конечно можно посмеяться над наивными эяйбро, которых коварный Сэм Альтман с его придворными твинками обратили в секту языковых моделей; но дискуссия правда интересная, и с кучей неожиданных тейков с каждой из сторон.

На скриншоте один, от которого заскрежетали неизвестные шестерни в моей собственной голове; мысль настолько же простая, насколько невидимая ровно до того момента, как была произнесена ясно: а что именно имитирует LLM?

мы будем вспоминать 2022-2025 года с ностальгией по временам, когда ai был текстовым.

если вы сегодня пытались получить инвайт в Sora через моего бота, и у вас не получилось, так это потому что бот бешено взлетел (в том числе среди американцев), уткнулся в лимиты бесплатной фаербейзовской квоты и 6 часов не отвечал (а я за работой не заметил, что что-то не так).

включил ему платный тариф, можете пользоваться дальше и рекомендовать друзьям, инвайты сейчас в профиците.

https://news.1rj.ru/str/sora_invite_bot

я сказал, что не удивлюсь, но удивился: как быстро это случилось! два часа назад Альтман опубликовал пост, в котором сказал, что, во-первых, они дадут правообладателям больше контроля, что можно делать с персонажами, а во-вторых, предложат держателям образов ревшер модель за использование.

тут бы вспомнить, что у Альтмана есть доля в стартапе Ворлд, который вроде как должен был заниматься оцифровкой живых людей, чтобы у них появились свои крипто-сигнатуры ("доказательство человечности"), но в целом можно и в сторону цифровых прав пивотнуться.

я хотел ненавязчиво монетизировать бота, и мы почти договорились с одним VPN о сотрудничестве — что может быть нативнее, чем рекламировать VPN для сервиса, который можно использовать только с VPN.

но в этот момент система окончательно сколлапсировала, количество запросов кратно превысило то, сколько людей возвращает коды в пул, очередь выросла до 3000+ человек, а время ожидания — до нескольких дней. рекламировать VPN в таких условиях было бы издевательством, поэтому эту идею я отложил.

к счастью, ровно в этот момент Sora 2 появилась в API, поэтому я сделал генерацию напрямую из телеграма, пока ждешь своего инвайта.

из плюсов — доступна про-версия, которая в обычной соре активируется только по подписке 100 долларов в месяц, и можно генерить сразу без вотермарков.
из минусов, соответственно, — нет всех этих социальных приколюх с камео и ремиксами. точнее, ремиксы даже можно через апи сделать, но точно не за одну ночь.

поэтому на старте запускаюсь с простой генерацией и оплатой звёздами, — посмотрим, как пойдёт.

ещё сразу засунул улучшатель промптов по официальному кукбуку: во-первых, повышает качество, а во-вторых, это позволяет мне проверять промпты на адекватность прежде чем слать в Сору — только мне бана от OpenAI за ваши безумные фантазии не хватало.

Сору можно использовать, чтобы примерять одежду. Делаете скриншот на сайте (следите, чтобы на нем не было лица или прикройте его, иначе модель откажется генерировать), загружаете в сору, тегаете себя (тут почему-то не работает автоупоминание, кажется, что это вообще сломано, но если вписать свой ник по буквам, то камео появится), и пишете промпт что вы хотите померить, как эта одежда будет выглядеть на вас с разных сторон. Я написал такой:

Create a try-on video showing a person wearing the referenced garment from all angles to evaluate fit and comfort.

Shots needed:
- 360-degree rotation around standing person (front, sides, back views)
- Walking forward and backward
- Arm movements: reaching up, stretching sideways
- Bending forward and squatting down
- Sitting and standing up
- Close-ups of key fit areas: shoulders, waist, sleeves, length

Purpose: Show how the garment moves, drapes, and fits during natural activities. Capture fabric stretch and recovery. Ensure all angles are visible to assess if the clothing suits the person’s body type and allows comfortable movement.

В будущем, думаю, бренды будут сами выстраиваться, чтобы официально интегрироваться в сору с точными измерениями. ИИ-экономика наступает.

ооо ну погнали