GPT-5, мнение (1/2)
tl;dr: отличная модель для архитектурных обсуждений, сложного кода и парного программирования, но для агентской разработки я остаюсь на Claude Code.
Ну что ж, несмотря на избыток хайпа, и, как следствие, завышенные ожидания от мажорного релиза, OpenAI всё-таки проделали хорошую работу.
Это не революция, а скорее последовательный шаг вперёд, так что нам всё ещё придётся работать самим.
Какие-то смешанные чувства по этому поводу :)
Модель и окружение
Все мои впечатления были сложены на основе использования GPT-5 Thinking, medium и high reasoning efforts в Cursor, Codex CLI и немного в вебе.
Этот её вариант представляют как модель, на которую нужно переходить с o3, так что будет много сравнений именно с ней.
Mini & nano намного хуже, так что их не было смысла рассматривать.
Я буду ссылаться на бенчи из предудыщего поста.
Написание кода
Метрики по разработке подросли на всех бенчмарках относительно o3.
Подтверждается ли на практике? Да, однозначно.
В тех местах, где раньше использовалась o3, теперь надо использовать GPT-5.
Все сферы применения o3 она покрывает и делает даже больше.
Особенно хороша для:
🟢 небольшие-средние по размерам участки нетривиального кода;
🟢 алгоритмы, сложные интеграции, поиск нетривиальных решений;
🟢 поиск проблем в существующем коде;
🟢 архитектурные обсуждения.
Особенности:
(по сути, это всё торчащие наружу уши мощного ризонера)
⚪️ оверинжиниринг - стоит за этим следить, любит сорваться в детали и дотошно их прорабатывать там, где нужен более высокий уровень абстракции, любит писать сложный код, буквально старается выглядеть умной.
Но для сценариев, где всё это действительно нужно - она хороша :)
🟢 стала более управляемой, но всё-таки иногда не может поверить в то, что неправа и продолжает гнуть свою линию;
🟢 гораздо реже галлюцинирует, но всё-таки случается;
🔴 медленная, причём как-то рандомно (возможно, это связано с текущей нагрузкой на сервера OpenAI), но всё-таки в среднем заметно медленнее Claude и Gemini.
Стоит ли менять Sonnet в Cursor на GPT-5?
Зависит от задач, но я поставил её моделью по дефолту (тут стоит отметить, что Cursor у меня на втором месте по частоте использования после Claude Code).
Работа с контекстом
Тут у нас лидером долгое время была Gemini, но теперь на контекстах до 256к токенов GPT-5 показывает лучше результаты по бенчмаркам.
Размер контекста зависит от того, где вы с моделью работаете:
● сайт ChatGPT:
* Free - 8k токенов
* Plus - 32k токенов (Thinking - 192k)
* Pro - 128k токенов (Thinking - ?)
● Cursor/Codex/API: полные 400K токенов (272k input + 128k output)
Стоит отметить, что в классическом понимании у модели на самом деле 272к токенов контекста.
Подтверждается ли на практике хорошая работа с контекстом? Да.
Обсуждали с ней несколько развесистых архитектурных документов+код - действительно хорошо держит контекст и помнит много деталей по мере развития беседы, помнит принятые решения, внесённые изменения и т.п. (лучше, чем Claude, но примерно так же, как Gemini).
Для обсуждения больших репозиториев больше 272к выбора нет - там, конечно же, Gemini в AI Studio.
Использование инструментов
На TAU-bench модель не стала сильно лучше o3, а на Terminal Bench она хуже Claude. Не видно радикального улучшения в использовании инструментов и в целом агентских сценариях.
Подтверждается на практике? Да, и это сильно заметно.
Задачи, которые может решить Claude в правильном окружении (Claude Code), будут просто длиннее и больше по объёму, чем задачи для GPT-5, которая в процессе:
● раньше остановится и задаст общий вопрос или спросит, нужно ли двигаться дальше;
● не сделает дополнительных вещей, которые можно было бы сделать, полагаясь на здравый смысл, без детальных инструкций;
● скорее всего сделает только то, что явно сказали (что, конечно же, может быть и плюсом).
Думается, что модель в основном тренили на ваншот- и диалоговые сценарии работы, в режиме парного программирования, но индустрия с инструментами навроде СС уже пошла дальше, нам нужна агентскость и автономность.
#ai #model #review
It's a good model, sir (с)
tl;dr: отличная модель для архитектурных обсуждений, сложного кода и парного программирования, но для агентской разработки я остаюсь на Claude Code.
Ну что ж, несмотря на избыток хайпа, и, как следствие, завышенные ожидания от мажорного релиза, OpenAI всё-таки проделали хорошую работу.
Это не революция, а скорее последовательный шаг вперёд, так что нам всё ещё придётся работать самим.
Какие-то смешанные чувства по этому поводу :)
Модель и окружение
Все мои впечатления были сложены на основе использования GPT-5 Thinking, medium и high reasoning efforts в Cursor, Codex CLI и немного в вебе.
Этот её вариант представляют как модель, на которую нужно переходить с o3, так что будет много сравнений именно с ней.
Mini & nano намного хуже, так что их не было смысла рассматривать.
Я буду ссылаться на бенчи из предудыщего поста.
Написание кода
Метрики по разработке подросли на всех бенчмарках относительно o3.
Подтверждается ли на практике? Да, однозначно.
В тех местах, где раньше использовалась o3, теперь надо использовать GPT-5.
Все сферы применения o3 она покрывает и делает даже больше.
Особенно хороша для:
🟢 небольшие-средние по размерам участки нетривиального кода;
🟢 алгоритмы, сложные интеграции, поиск нетривиальных решений;
🟢 поиск проблем в существующем коде;
🟢 архитектурные обсуждения.
Особенности:
(по сути, это всё торчащие наружу уши мощного ризонера)
⚪️ оверинжиниринг - стоит за этим следить, любит сорваться в детали и дотошно их прорабатывать там, где нужен более высокий уровень абстракции, любит писать сложный код, буквально старается выглядеть умной.
Но для сценариев, где всё это действительно нужно - она хороша :)
🟢 стала более управляемой, но всё-таки иногда не может поверить в то, что неправа и продолжает гнуть свою линию;
🟢 гораздо реже галлюцинирует, но всё-таки случается;
🔴 медленная, причём как-то рандомно (возможно, это связано с текущей нагрузкой на сервера OpenAI), но всё-таки в среднем заметно медленнее Claude и Gemini.
Стоит ли менять Sonnet в Cursor на GPT-5?
Зависит от задач, но я поставил её моделью по дефолту (тут стоит отметить, что Cursor у меня на втором месте по частоте использования после Claude Code).
Работа с контекстом
Тут у нас лидером долгое время была Gemini, но теперь на контекстах до 256к токенов GPT-5 показывает лучше результаты по бенчмаркам.
Размер контекста зависит от того, где вы с моделью работаете:
● сайт ChatGPT:
* Free - 8k токенов
* Plus - 32k токенов (Thinking - 192k)
* Pro - 128k токенов (Thinking - ?)
● Cursor/Codex/API: полные 400K токенов (272k input + 128k output)
Стоит отметить, что в классическом понимании у модели на самом деле 272к токенов контекста.
Подтверждается ли на практике хорошая работа с контекстом? Да.
Обсуждали с ней несколько развесистых архитектурных документов+код - действительно хорошо держит контекст и помнит много деталей по мере развития беседы, помнит принятые решения, внесённые изменения и т.п. (лучше, чем Claude, но примерно так же, как Gemini).
Для обсуждения больших репозиториев больше 272к выбора нет - там, конечно же, Gemini в AI Studio.
Использование инструментов
На TAU-bench модель не стала сильно лучше o3, а на Terminal Bench она хуже Claude. Не видно радикального улучшения в использовании инструментов и в целом агентских сценариях.
Подтверждается на практике? Да, и это сильно заметно.
Задачи, которые может решить Claude в правильном окружении (Claude Code), будут просто длиннее и больше по объёму, чем задачи для GPT-5, которая в процессе:
● раньше остановится и задаст общий вопрос или спросит, нужно ли двигаться дальше;
● не сделает дополнительных вещей, которые можно было бы сделать, полагаясь на здравый смысл, без детальных инструкций;
● скорее всего сделает только то, что явно сказали (что, конечно же, может быть и плюсом).
Думается, что модель в основном тренили на ваншот- и диалоговые сценарии работы, в режиме парного программирования, но индустрия с инструментами навроде СС уже пошла дальше, нам нужна агентскость и автономность.
#ai #model #review
3👍20❤12🔥10👏2
GPT-5, мнение (2/2)
Знания модели
SimpleBench немного удивил - модель всё-таки хороша в соображалке на повседневных задачах, хотя я и обнаружил пробелы в знаниях по некоторым доменам.
Возможно, модель не настолько широка по знаниям в целом, насколько глубока по некоторым областям, на которых её больше тренировали.
Ну то есть её не получится применять везде, где захочется, и эти области неглубоких знаний заранее неизвестны, их придётся нащупывать.
Кажется, что та же Gemini обладает бОльшим объёмом встроенных знаний, и за счёт этого ощущается как универсальная модель, а вот с GPT-5 такого ощущения не возникает.
Проблемы экосистемы
Чего остро не хватает? Развитого тулинга.
Если рассмотреть Claude Code как пример - он отлично работает с моделями Anthropic, хорошо их промптит, учитывает их специфику, пользуется сильными сторонами (tool use) и применяет уловки для работы со слабыми (контекст).
В случае с GPT-5 тулинг пока что посредственный - Codex CLI, который по идее должен быть эталоном работы с новой моделью, работает с ней хуже, чем Cursor.
А в сравнении с СС Codex CLI и вовсе будто из каменного века как по функционалу, так и по и удобству работы.
Так вот, можно надеяться на то, что если вокруг модели выстроить нормальный тулинг, который будет с ней правильно работать - возможно, она раскроется и в агентских сценариях, но на это потребуется время.
Если же её пытаться использовать сейчас так, как мы обычно используем Claude Code - результаты будут разочаровывающими.
Цены
При использовании по API модель стоит сравнимо с Gemini 2.5 Pro, намного дешевле Sonnet и уж тем более Opus.
Но использование по подписке, конечно, куда более приятно, и тут теперь есть возможность использовать Codex CLI по подписке OpenAI.
Для Plus-пользователей обещают лимиты в виде нескольких 1-2-часовых сессий в неделю.
Не хватает промежуточного тира между $20 и $200 :)
Кстати, в Cursor она до четверга должна быть бесплатной, и там нужно использовать вариант gpt-5-high или gpt-5-high-fast (fast тут приоритетный процессинг за 2x цены, но, несмотря на бесплатность, и в лимиты можно упереться быстрее).
Итог
Это действительно хорошая модель для своих задач, и я согласен терпеть её неспешность в случаях, где нужно что-то этакое раскопать, но в итоге получить результат.
Будем надеяться, что тулинг подтянут, ну а пока порадуемся тому, что у нас есть новый мощный, и при этом дешёвый, ризонер :)
—
Прошлые посты по связанным темам:
● Бенчмарки GPT-5 в сравнении с Gemini 2.5 Pro, Claude Opus/Sonnet и o3.
● Обзор o3 на момент выхода: плюсы, минусы.
#ai #model #review
Знания модели
SimpleBench немного удивил - модель всё-таки хороша в соображалке на повседневных задачах, хотя я и обнаружил пробелы в знаниях по некоторым доменам.
Возможно, модель не настолько широка по знаниям в целом, насколько глубока по некоторым областям, на которых её больше тренировали.
Ну то есть её не получится применять везде, где захочется, и эти области неглубоких знаний заранее неизвестны, их придётся нащупывать.
Кажется, что та же Gemini обладает бОльшим объёмом встроенных знаний, и за счёт этого ощущается как универсальная модель, а вот с GPT-5 такого ощущения не возникает.
Проблемы экосистемы
Чего остро не хватает? Развитого тулинга.
Если рассмотреть Claude Code как пример - он отлично работает с моделями Anthropic, хорошо их промптит, учитывает их специфику, пользуется сильными сторонами (tool use) и применяет уловки для работы со слабыми (контекст).
В случае с GPT-5 тулинг пока что посредственный - Codex CLI, который по идее должен быть эталоном работы с новой моделью, работает с ней хуже, чем Cursor.
А в сравнении с СС Codex CLI и вовсе будто из каменного века как по функционалу, так и по и удобству работы.
Так вот, можно надеяться на то, что если вокруг модели выстроить нормальный тулинг, который будет с ней правильно работать - возможно, она раскроется и в агентских сценариях, но на это потребуется время.
Если же её пытаться использовать сейчас так, как мы обычно используем Claude Code - результаты будут разочаровывающими.
Цены
При использовании по API модель стоит сравнимо с Gemini 2.5 Pro, намного дешевле Sonnet и уж тем более Opus.
Но использование по подписке, конечно, куда более приятно, и тут теперь есть возможность использовать Codex CLI по подписке OpenAI.
Для Plus-пользователей обещают лимиты в виде нескольких 1-2-часовых сессий в неделю.
Не хватает промежуточного тира между $20 и $200 :)
Кстати, в Cursor она до четверга должна быть бесплатной, и там нужно использовать вариант gpt-5-high или gpt-5-high-fast (fast тут приоритетный процессинг за 2x цены, но, несмотря на бесплатность, и в лимиты можно упереться быстрее).
Итог
Это действительно хорошая модель для своих задач, и я согласен терпеть её неспешность в случаях, где нужно что-то этакое раскопать, но в итоге получить результат.
Будем надеяться, что тулинг подтянут, ну а пока порадуемся тому, что у нас есть новый мощный, и при этом дешёвый, ризонер :)
—
Прошлые посты по связанным темам:
● Бенчмарки GPT-5 в сравнении с Gemini 2.5 Pro, Claude Opus/Sonnet и o3.
● Обзор o3 на момент выхода: плюсы, минусы.
#ai #model #review
👍24🔥13❤12👏2
Claude Code + Stream Deck = Claude Deck
Рубрика ненормальное программирование 🤪
Одна из приятных особенностей Claude Code - это его кастомизируемость.
Вотесть была такая проблема, что когда запускаешь задачи, которые могут десятки минут выполняться, то хочется отслеживать их состояние, даже если куда-то переключился в это время.
Нужна какая-то панелька, в роли которой сгодился Stream Deck. Плюс, это отдельное физическое устройство с кнопочками.
Он и так у меня используется не совсем по назначению - мониторинг, управление и запуск сценариев умного дома, разные автоматизации на компе, даже крутилки громкости на нём :)
Вот, вчера получилась такая штука:
● для Stream Deck сделал плагин Claude Deck
● плагин позволяет добавить несколько кнопок в "пул"
● в проект для CC добавляются хуки (наконец-то им нашлось достойное применение) и самому проекту прописывается уникальное имя ("Ромашка", "Ракета" и т.п.)
● хуки шлют простенькие http-запросы на локальный веб-сервер, поднятый плагином
● результат - на видео
Хуки, как оказалось, покрывают не всё, что нужно, но для моих задач хватило.
Общий вывод эксперимента в том, что кастомизация инструментария под свои процессы и хотелки становится всё проще.
#geeky #cc #очумелые_ручки
Рубрика ненормальное программирование 🤪
Одна из приятных особенностей Claude Code - это его кастомизируемость.
Вот
Нужна какая-то панелька, в роли которой сгодился Stream Deck. Плюс, это отдельное физическое устройство с кнопочками.
Он и так у меня используется не совсем по назначению - мониторинг, управление и запуск сценариев умного дома, разные автоматизации на компе, даже крутилки громкости на нём :)
Вот, вчера получилась такая штука:
● для Stream Deck сделал плагин Claude Deck
● плагин позволяет добавить несколько кнопок в "пул"
● в проект для CC добавляются хуки (наконец-то им нашлось достойное применение) и самому проекту прописывается уникальное имя ("Ромашка", "Ракета" и т.п.)
● хуки шлют простенькие http-запросы на локальный веб-сервер, поднятый плагином
● результат - на видео
Хуки, как оказалось, покрывают не всё, что нужно, но для моих задач хватило.
Общий вывод эксперимента в том, что кастомизация инструментария под свои процессы и хотелки становится всё проще.
#geeky #cc #очумелые_ручки
🔥33👍11👏3😁3😱2
Forwarded from Константин Доронин
Про строку состояния в Claude Code.
У CC есть команда(пробовал – у CC получается не самое приятное отображение, если честно) .
Либо можно пойти в официальную документацию и настроить Status line самостоятельно по примерам.
Но есть и куда более "ленивый" режим настройки. Через проект ccstatusline.
Это консольное микроприложение, которое позволяет в дружелюбном интерфейсе настроить до трёх строк состояния (одна под другой), посмотреть их на превью, а потом одной командой установить в Claude Code.
Полный список того, что можно добавить в качестве элемента в Status line:
Удобный инструмент, чтобы отслеживать текущее состояние контекста, параметры git-а, а также время до обновления лимитов.
У CC есть команда
/statusline, которая позволяет в вайб-режиме установить строку состояния. Также потом можно попробовать её настроить посредством промптов Либо можно пойти в официальную документацию и настроить Status line самостоятельно по примерам.
Но есть и куда более "ленивый" режим настройки. Через проект ccstatusline.
Это консольное микроприложение, которое позволяет в дружелюбном интерфейсе настроить до трёх строк состояния (одна под другой), посмотреть их на превью, а потом одной командой установить в Claude Code.
Полный список того, что можно добавить в качестве элемента в Status line:
Model Name - Shows the current Claude model (e.g., "Claude 3.5 Sonnet")
Git Branch - Displays current git branch name
Git Changes - Shows uncommitted insertions/deletions (e.g., "+42,-10")
Session Clock - Shows elapsed time since session start (e.g., "2hr 15m")
Version - Shows Claude Code version
Output Style - Shows the currently set output style in Claude Code
Tokens Input - Shows input tokens used
Tokens Output - Shows output tokens used
Tokens Cached - Shows cached tokens used
Tokens Total - Shows total tokens used
Context Length - Shows current context length in tokens
Context Percentage - Shows percentage of context limit used (out of 200k)
Context Percentage (usable) - Shows percentage of usable context (out of 160k, accounting for auto-compact at 80%)
Terminal Width - Shows detected terminal width (for debugging)
Custom Text - Add your own custom text to the status line
Custom Command - Execute shell commands and display their output (refreshes whenever the statusline is updated by Claude Code)
Separator - Visual divider between items (customizable: |, -, comma, space)
Flex Separator - Expands to fill available space
Удобный инструмент, чтобы отслеживать текущее состояние контекста, параметры git-а, а также время до обновления лимитов.
❤13🔥12👍6👌2
Qoder = Cursor + Kiro + Augment (1/2)
Тут вышла новая VSCode-based AI IDE от китайской Alibaba (от неё же недавно были модели Qwen3-Coder и консольный агент Qwen Code).
Расскажу, какими фичами она меня заинтересовала и поделюсь мнением после нескольких часов работы.
tl;dr
Qoder собрал неплохой набор фич из разных продуктов, с упором на контекст-инжиниринг, Wiki и Spec-Driven Development начального уровня.
Чистенький, приятный, "прямые" сценарии проработаны.
Стоит попробовать в тех задачах, где вы используете какую-то другую AI IDE.
К тому же, несколько недель будет бесплатным.
Quest Mode
Аналог спеков в Kiro, кусочек концепции Spec-Driven Development: сначала обсуждаем с агентом подробности задачи, потом он формирует подробную спецификацию, а затем по ней агент-кодер пишет код.
По сравнению с Kiro тут упрощенный вариант - агенту-кодеру спека отдается сразу вся целиком.
И это, увы, жёстко устанавливает верхнюю планку размера задач.
К примеру, по сгенерированной спецификации на 1500 строк агент сделал не всё - понятное дело, что здесь вмешиваются ограничения контекстного окна модели.
А субагентов тут, как в Claude Code, нет.
Но обещают улучшения именно этого режима работы + облачные агенты.
RepoWiki
Авто-генерируемая Wiki проекта, которая обновляется сама (!) при изменениях в репозитории.
Wiki получается очень (даже слишком) подробная, с кучей описаний, диаграмм, ссылок на файлы в проекте, кусками кода, но при этом неплохо структурированная.
На глаз её объем больше, чем объём кода в самом проекте :)
Генерируется она очень долго - на проекте, в котором примерно 200к токенов, это заняло часа два, и это нормально, судя по документации.
И да, она действительно обновляется после того, как обновляется код (обновление проходит шустро).
Индекс и поиск
Сделано на векторах + граф кода + RepoWiki.
Запрос к индексу не просто ищет ближайшие эмбеддинги, а ещё и проходит по графу (соседние функции, документация, тесты, конфиги).
Это даёт релевантный контекст в реальном времени с учётом структурных связей в коде, чего сильно не хватает в том же Claude Code.
Работает сравнимо с context engine в Augment, который я постоянно хвалю при использовании на больших проектах.
Можно видеть, как агент шлет запросы на естественном языке к этому context engine и за несколько секунд получает релевантные результаты.
То же самое касается и режима Ask в чате, когда вы задаете вопрос по проекту - очень быстро формируется подробный и релевантный ответ.
Или когда в чат скидываешь скриншот с ошибкой, которая у тебя вылезла в UI, а агент в пару шагов находит релевантный код и фиксит его - это очень удобно :)
Память
Обещания в блоге выглядят очень круто - эволюционирующий агент с полным циклом памяти, но на самом деле все гораздо проще :)
Работает это примерно как в Cursor/ChatGPT - агент выделяет из вашего чата какие-то важные (по его или вашему мнению) моменты, делает из них небольшие заметки, именует/тегирует их и складывает во внутреннее хранилище.
Это могут быть какие-то правила стиля кода, архитектурные подходы, общие инструкции, и все они потом используются агентом в релевантном контексте (если повезёт).
В дальнейшем эти заметки могут быть обновлены агентом или удалены вами - доступны они прямо в настройках самой IDE.
Конкретно этой фичей не впечатлён - агент успешно игнорил некоторые из заданных таким образом правил (как и в других подобных системах памяти).
#ai #review #ide
Тут вышла новая VSCode-based AI IDE от китайской Alibaba (от неё же недавно были модели Qwen3-Coder и консольный агент Qwen Code).
Расскажу, какими фичами она меня заинтересовала и поделюсь мнением после нескольких часов работы.
tl;dr
Qoder собрал неплохой набор фич из разных продуктов, с упором на контекст-инжиниринг, Wiki и Spec-Driven Development начального уровня.
Чистенький, приятный, "прямые" сценарии проработаны.
Стоит попробовать в тех задачах, где вы используете какую-то другую AI IDE.
К тому же, несколько недель будет бесплатным.
Quest Mode
Аналог спеков в Kiro, кусочек концепции Spec-Driven Development: сначала обсуждаем с агентом подробности задачи, потом он формирует подробную спецификацию, а затем по ней агент-кодер пишет код.
По сравнению с Kiro тут упрощенный вариант - агенту-кодеру спека отдается сразу вся целиком.
И это, увы, жёстко устанавливает верхнюю планку размера задач.
К примеру, по сгенерированной спецификации на 1500 строк агент сделал не всё - понятное дело, что здесь вмешиваются ограничения контекстного окна модели.
А субагентов тут, как в Claude Code, нет.
Но обещают улучшения именно этого режима работы + облачные агенты.
RepoWiki
Авто-генерируемая Wiki проекта, которая обновляется сама (!) при изменениях в репозитории.
Wiki получается очень (даже слишком) подробная, с кучей описаний, диаграмм, ссылок на файлы в проекте, кусками кода, но при этом неплохо структурированная.
На глаз её объем больше, чем объём кода в самом проекте :)
Генерируется она очень долго - на проекте, в котором примерно 200к токенов, это заняло часа два, и это нормально, судя по документации.
И да, она действительно обновляется после того, как обновляется код (обновление проходит шустро).
Индекс и поиск
Сделано на векторах + граф кода + RepoWiki.
Запрос к индексу не просто ищет ближайшие эмбеддинги, а ещё и проходит по графу (соседние функции, документация, тесты, конфиги).
Это даёт релевантный контекст в реальном времени с учётом структурных связей в коде, чего сильно не хватает в том же Claude Code.
Работает сравнимо с context engine в Augment, который я постоянно хвалю при использовании на больших проектах.
Можно видеть, как агент шлет запросы на естественном языке к этому context engine и за несколько секунд получает релевантные результаты.
То же самое касается и режима Ask в чате, когда вы задаете вопрос по проекту - очень быстро формируется подробный и релевантный ответ.
Или когда в чат скидываешь скриншот с ошибкой, которая у тебя вылезла в UI, а агент в пару шагов находит релевантный код и фиксит его - это очень удобно :)
Память
Обещания в блоге выглядят очень круто - эволюционирующий агент с полным циклом памяти, но на самом деле все гораздо проще :)
Работает это примерно как в Cursor/ChatGPT - агент выделяет из вашего чата какие-то важные (по его или вашему мнению) моменты, делает из них небольшие заметки, именует/тегирует их и складывает во внутреннее хранилище.
Это могут быть какие-то правила стиля кода, архитектурные подходы, общие инструкции, и все они потом используются агентом в релевантном контексте (если повезёт).
В дальнейшем эти заметки могут быть обновлены агентом или удалены вами - доступны они прямо в настройках самой IDE.
Конкретно этой фичей не впечатлён - агент успешно игнорил некоторые из заданных таким образом правил (как и в других подобных системах памяти).
#ai #review #ide
1👍15❤14🔥9
Qoder = Cursor + Kiro + Augment (2/2)
Стандартные фичи
● чат в сайдбаре с 2 режимами - Agent и Ask
● дополнение кода по tab
● inline-чат, MCP, диффы, правила в папке .Qoder/rules (если вам мало папок от других агентов), и т.п., ну всё как у людей
Что из минусов
🔴 Нельзя выбрать модель
Декларируется, что внутренний роутер сам надёжно выберет модель, но это плохое решение, я считаю - все мы знаем, как такие роутеры работают.
По характеру ответов, по крайней мере в агентских сценариях, очень похоже на то, что там чаще всего отвечает Sonnet 4.
Однако в некоторых случаях, кажется, используется и собственная модель компании, Qwen - заметно, что и "характер" самой модели меняется, и качество кода.
🔴 Нестабильная работа
Виснут квесты, агент в чате ходит кругами чаще, чем обычно, запромпчен он явно плохо, иногда ломается сетевое соединение, приходится жать "Retry".
Ну это не страшно для инструмента, который буквально сегодня вышел
🔴 Есть ограничение на количество вызываемых тулов на запрос в режиме агентского чата, по крайней мере один раз я это поймал
💰Цены
В течение нескольких следующих недель - бесплатно.
А дальше - цены пока что не объявлены.
Тарификация будет в абстрактных "кредитах", так что посмотрим, как это будет выражаться в количестве токенов, которые можно будет послать моделям.
Заключение
Ну, с одной стороны, это выглядит как попытка заявить о том, что "мы тоже можем".
А с другой стороны, работа проведена серьезная.
Такие фичи, как хороший индекс кода, автоматически обновляемая Wiki и Spec-Driven Development пока что вместе ни в одном продукте не встречаются.
Конкретно мне не хватает агентскости, чтобы можно было действительно большие задачи давать, и чтобы был какой-то оркестратор, который эти задачи будет выполнять многими агентами.
Так что хочется, чтобы Qoder развивался дальше - задел на будущее хороший, особенно для первого релиза.
#ai #review #ide
Стандартные фичи
● чат в сайдбаре с 2 режимами - Agent и Ask
● дополнение кода по tab
● inline-чат, MCP, диффы, правила в папке .Qoder/rules (если вам мало папок от других агентов), и т.п., ну всё как у людей
Что из минусов
🔴 Нельзя выбрать модель
Декларируется, что внутренний роутер сам надёжно выберет модель, но это плохое решение, я считаю - все мы знаем, как такие роутеры работают.
По характеру ответов, по крайней мере в агентских сценариях, очень похоже на то, что там чаще всего отвечает Sonnet 4.
Однако в некоторых случаях, кажется, используется и собственная модель компании, Qwen - заметно, что и "характер" самой модели меняется, и качество кода.
🔴 Нестабильная работа
Виснут квесты, агент в чате ходит кругами чаще, чем обычно, запромпчен он явно плохо, иногда ломается сетевое соединение, приходится жать "Retry".
Ну это не страшно для инструмента, который буквально сегодня вышел
🔴 Есть ограничение на количество вызываемых тулов на запрос в режиме агентского чата, по крайней мере один раз я это поймал
💰Цены
В течение нескольких следующих недель - бесплатно.
А дальше - цены пока что не объявлены.
Тарификация будет в абстрактных "кредитах", так что посмотрим, как это будет выражаться в количестве токенов, которые можно будет послать моделям.
Заключение
Ну, с одной стороны, это выглядит как попытка заявить о том, что "мы тоже можем".
А с другой стороны, работа проведена серьезная.
Такие фичи, как хороший индекс кода, автоматически обновляемая Wiki и Spec-Driven Development пока что вместе ни в одном продукте не встречаются.
Конкретно мне не хватает агентскости, чтобы можно было действительно большие задачи давать, и чтобы был какой-то оркестратор, который эти задачи будет выполнять многими агентами.
Так что хочется, чтобы Qoder развивался дальше - задел на будущее хороший, особенно для первого релиза.
#ai #review #ide
4👍23🔥11❤6
И правда, доколе?!
Скорее бы уже кто-то один победил или хотя бы выработался единый стандарт.
Хотя скорее всего будет как в известном комиксе xkcd :)
#fun #ai
Скорее бы уже кто-то один победил или хотя бы выработался единый стандарт.
Хотя скорее всего будет как в известном комиксе xkcd :)
#fun #ai
1😁33💯18👍4
Forwarded from Сиолошная
OpenAI выпустили новую GPT-5 😑
...заточенную на программистов, GPT-5 Codex. Эта модель заменит o3 в Codex в веб-клиенте (наконец-то) и уже доступна в локальном Codex CLI / плагине для вашей IDE. Если вы ещё не пробовали — обязательно попробуйте! Это бесплатно, если вы подписаны на любой тир ChatGPT. В комментариях многие отмечали, что им нравится больше, чем Claude Code, и модель работает лучше.
GPT-5 Codex дотренировали на новых сложных реальных задач, создании проектов с нуля, добавлении функций и тестов, отладке, проведении масштабных рефакторингов и ревью кода.
По стандартному бенчмарку SWE-bench Verified разница не особо заметна, 74.5% против старых 72.8%. Однако на внутреннем бенчмарке OpenAI на задачах рефакторинга модель стала гораздо лучше: прыжок с 33.9% до 51.3%!
Но и это не всё: модель стала писать меньше бесполезных или ошибочных комментариев, лучше ловить баги в коде, и... думать меньше, когда это не надо. OpenAI взяли запросы от сотрудников внутри компании и сравнили количество токенов в ответах двух моделей.
Там, где ответы были короткими, они стали ещё короче, а там, где цепочки рассуждений и сгенерированный код были длиннее — стало больше. Со слов OpenAI, во время они наблюдали, как GPT‑5-Codex работал автономно более 7 часов подряд над большими и сложными задачами, выполняя итерации по внедрению, исправляя ошибки тестирования и в конечном итоге обеспечивая успешное решение задачи.
Codex CLI и Codex Web получили кучу обновлений за последний месяц, но про них писать не буду.
В API модель появится скоро, очень ждём, пока замеряют качество и на других бенчмарках. В системной карточке модели указали лишь один — по решению многоступенчатых задачек по кибер-взлому (с соревнований CTF). Модель наконец-то статистически значимо обгоняет o3! Жаль, не замерили другие бенчмарки (вроде PaperBench).
...заточенную на программистов, GPT-5 Codex. Эта модель заменит o3 в Codex в веб-клиенте (наконец-то) и уже доступна в локальном Codex CLI / плагине для вашей IDE. Если вы ещё не пробовали — обязательно попробуйте! Это бесплатно, если вы подписаны на любой тир ChatGPT. В комментариях многие отмечали, что им нравится больше, чем Claude Code, и модель работает лучше.
GPT-5 Codex дотренировали на новых сложных реальных задач, создании проектов с нуля, добавлении функций и тестов, отладке, проведении масштабных рефакторингов и ревью кода.
По стандартному бенчмарку SWE-bench Verified разница не особо заметна, 74.5% против старых 72.8%. Однако на внутреннем бенчмарке OpenAI на задачах рефакторинга модель стала гораздо лучше: прыжок с 33.9% до 51.3%!
Но и это не всё: модель стала писать меньше бесполезных или ошибочных комментариев, лучше ловить баги в коде, и... думать меньше, когда это не надо. OpenAI взяли запросы от сотрудников внутри компании и сравнили количество токенов в ответах двух моделей.
Там, где ответы были короткими, они стали ещё короче, а там, где цепочки рассуждений и сгенерированный код были длиннее — стало больше. Со слов OpenAI, во время они наблюдали, как GPT‑5-Codex работал автономно более 7 часов подряд над большими и сложными задачами, выполняя итерации по внедрению, исправляя ошибки тестирования и в конечном итоге обеспечивая успешное решение задачи.
Codex CLI и Codex Web получили кучу обновлений за последний месяц, но про них писать не буду.
В API модель появится скоро, очень ждём, пока замеряют качество и на других бенчмарках. В системной карточке модели указали лишь один — по решению многоступенчатых задачек по кибер-взлому (с соревнований CTF). Модель наконец-то статистически значимо обгоняет o3! Жаль, не замерили другие бенчмарки (вроде PaperBench).
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥5❤3
Codex + GPT-5 (1/2)
Вскоре после выхода GPT-5 я писал в обзоре на эту модель:
Так вот, тулинг подтянули, и модель в составе агентов (в частности, Codex) стало можно использовать для работы.
Я всё ещё пользуюсь Claude Code для массовой генерации кода и типично агентских задач, но для всего остального у меня теперь Codex.
(тут я буду говорить про Codex CLI + GPT-5 medium/high по итогам 3 недель работы)
В чём хорош Codex
🟢 Сложные изменения и работа с существующим кодом
Все же наверное сталкивались с тем, как Claude Code при рефакторинге оставляет старую реализацию рядом с новой?
Или как для качественных изменений ему нужен крайне подробный, почти пошаговый план?
Codex тут себя гораздо лучше показывает. Он не пытается сэкономить каждый токен, как старые модели OpenAI (привет, o3), но и не оставляет за собой "хвосты" в виде дублирующегося кода.
При хорошо собранном контексте рефакторинг с ним проходит успешно гораздо чаще, чем с Claude Code, что делает работу агента куда более детерминированной.
Ну и в целом правки выходят более точечными и аккуратными, что для рефакторинга особенно ценно - по сути, работаем не топором, а скальпелем :)
А модель gpt-5-codex, которая вышла сегодня, обещает ещё большую точность в задачах на рефакторинг.
● Задачи: глубокие изменения в архитектуре, сложные рефакторинги, работа с легаси-системами, где много состояний и запутанных связей, фиксы нетривиальных багов.
🟢 Архитектурные задачи и чистый ризонинг
GPT-5 - это в первую очередь мощный ризонер. Если вам нужно не просто нагенерить CRUD, а обсудить архитектурные паттерны, найти code smells или решить сложную алгоритмическую задачу - тут модель весьма хороша.
С ней интересно обсуждать варианты реализации, и при этом она способна давать адекватную критику, не считая все ваши предложения гениальными, а весь тот код, который был создан с её помощью - production ready :)
● Задачи: проектирование новых систем, выбор между архитектурными подходами, решение алгоритмических задач, аудит кодовой базы.
🟢 Аккуратная работа с контекстом
Это, пожалуй, самое важное преимущество. GPT-5 - state-of-the-art модель по удержанию контекста. Инструкции, данные в начале сессии, она с высокой вероятностью будет помнить до самого конца, даже если разнообразие этого контекста было очень высоким.
И модель ощутимо более внимательна ко всему, что вы ей говорите сделать.
Более того, сам Codex ощутимо экономнее расходует контекстное окно (в 2-3 раза по сравнению с Claude Code на похожих задачах).
Он прощает небрежную работу с контекстом, позволяя делать несколько задач за раз в рамках одной сессии, затрагивать больше мест в системе, делать более широкие задачи.
● Задачи: длинные, многоэтапные изменения, требующие удержания в голове большого количества деталей по всему проекту.
#ai #codex #claude
Вскоре после выхода GPT-5 я писал в обзоре на эту модель:
Чего остро не хватает? Развитого тулинга.
...
можно надеяться на то, что если вокруг модели выстроить нормальный тулинг, который будет с ней правильно работать - возможно, она раскроется и в агентских сценариях, но на это потребуется время.
Так вот, тулинг подтянули, и модель в составе агентов (в частности, Codex) стало можно использовать для работы.
Я всё ещё пользуюсь Claude Code для массовой генерации кода и типично агентских задач, но для всего остального у меня теперь Codex.
(тут я буду говорить про Codex CLI + GPT-5 medium/high по итогам 3 недель работы)
В чём хорош Codex
🟢 Сложные изменения и работа с существующим кодом
Все же наверное сталкивались с тем, как Claude Code при рефакторинге оставляет старую реализацию рядом с новой?
Или как для качественных изменений ему нужен крайне подробный, почти пошаговый план?
Codex тут себя гораздо лучше показывает. Он не пытается сэкономить каждый токен, как старые модели OpenAI (привет, o3), но и не оставляет за собой "хвосты" в виде дублирующегося кода.
При хорошо собранном контексте рефакторинг с ним проходит успешно гораздо чаще, чем с Claude Code, что делает работу агента куда более детерминированной.
Ну и в целом правки выходят более точечными и аккуратными, что для рефакторинга особенно ценно - по сути, работаем не топором, а скальпелем :)
А модель gpt-5-codex, которая вышла сегодня, обещает ещё большую точность в задачах на рефакторинг.
● Задачи: глубокие изменения в архитектуре, сложные рефакторинги, работа с легаси-системами, где много состояний и запутанных связей, фиксы нетривиальных багов.
🟢 Архитектурные задачи и чистый ризонинг
GPT-5 - это в первую очередь мощный ризонер. Если вам нужно не просто нагенерить CRUD, а обсудить архитектурные паттерны, найти code smells или решить сложную алгоритмическую задачу - тут модель весьма хороша.
С ней интересно обсуждать варианты реализации, и при этом она способна давать адекватную критику, не считая все ваши предложения гениальными, а весь тот код, который был создан с её помощью - production ready :)
● Задачи: проектирование новых систем, выбор между архитектурными подходами, решение алгоритмических задач, аудит кодовой базы.
🟢 Аккуратная работа с контекстом
Это, пожалуй, самое важное преимущество. GPT-5 - state-of-the-art модель по удержанию контекста. Инструкции, данные в начале сессии, она с высокой вероятностью будет помнить до самого конца, даже если разнообразие этого контекста было очень высоким.
И модель ощутимо более внимательна ко всему, что вы ей говорите сделать.
Более того, сам Codex ощутимо экономнее расходует контекстное окно (в 2-3 раза по сравнению с Claude Code на похожих задачах).
Он прощает небрежную работу с контекстом, позволяя делать несколько задач за раз в рамках одной сессии, затрагивать больше мест в системе, делать более широкие задачи.
● Задачи: длинные, многоэтапные изменения, требующие удержания в голове большого количества деталей по всему проекту.
#ai #codex #claude
1👍20🔥12👏4
Codex + GPT-5 (2/2)
А в чем подвох?
🔴 Всё ещё незрелый тулинг
Команда Codex очень шустро двигается - фактически, агент был переделан с нуля после выхода GPT-5, но он пока сильно отстает функционально от Claude Code:
● нет никаких субагентов - самая частая хотелка от коммьюнити, и вроде бы есть подвижки, судя по репозиторию Codex (да, он открытый, в отличие от Claude Code);
● кастомные команды - только глобальные (нельзя привязать к проекту) и без параметров;
● нет режима планирования - но, справедливости ради, если сначала попросить собрать контекст и составить подробный план, то и этого достаточно.
Но во всех таких случаях лучше смотреть на динамику развития, нежели на текущее состояние, а тут пока что команда Codex неплохо движется (несмотря на то, что выбрали Rust для разработки😀 ).
🔴 Низкая "агентскость"
Это фундаментальное ограничение самой модели - она просто делает меньше ходов за раз, и раньше остановится, чтобы задать вопрос или спросить, а надо ли идти дальше. Она не настолько инициативна, как модели от Anthropic (что может быть и плюсом).
Т.е. это скорее модель для интерактивной вдумчивой работы, где нужно участие человека.
Но, кстати, в сегодняшнем релизе gpt-5-codex обещали улучшения именно в агентских сценариях, так что посмотрим.
🔴 Цены
Codex работает в рамках подписки OpenAI, и его можно использовать и как консольный агент, и как расширение для VSCode, и онлайн на сайте ChatGPT (кстати, с сегодняшнего дня там будет работать gpt-5-codex, а до этого там был тюн o3, codex-1).
Но! Вариантов подписки всего 2:
● $20 - ChatGPT Plus, за которые вы получаете несколько 5-часовых сессий в неделю, после чего доступ отрубается на несколько дней (!);
● $200 - ChatGPT Pro, где лимиты в 10 раз больше, и я пока что не слышал, чтобы кто-то в них упёрся (и сам не упирался). При этом в составе Pro идёт довольно много того, что лично мне совсем без надобности.
Хочется чего-то среднего чисто для кодинга, и это тоже довольно частый запрос от комьюнити.
Вердикт
OpenAI, наконец-то, смогла :)
Предыдущие модели и инструментарий компании для разработчиков мною часто критиковались и я практически их не использовал.
До появления GPT-5, а теперь вот и Codex CLI.
Если перед вами стоит задача, которую не вывозит даже Opus, если нужно провести сложный рефакторинг существующей системы или обсудить нетривиальную архитектуру - Codex будет лучшим вариантом на текущий момент.
#ai #codex #claude
А в чем подвох?
🔴 Всё ещё незрелый тулинг
Команда Codex очень шустро двигается - фактически, агент был переделан с нуля после выхода GPT-5, но он пока сильно отстает функционально от Claude Code:
● нет никаких субагентов - самая частая хотелка от коммьюнити, и вроде бы есть подвижки, судя по репозиторию Codex (да, он открытый, в отличие от Claude Code);
● кастомные команды - только глобальные (нельзя привязать к проекту) и без параметров;
● нет режима планирования - но, справедливости ради, если сначала попросить собрать контекст и составить подробный план, то и этого достаточно.
Но во всех таких случаях лучше смотреть на динамику развития, нежели на текущее состояние, а тут пока что команда Codex неплохо движется (несмотря на то, что выбрали Rust для разработки
🔴 Низкая "агентскость"
Это фундаментальное ограничение самой модели - она просто делает меньше ходов за раз, и раньше остановится, чтобы задать вопрос или спросить, а надо ли идти дальше. Она не настолько инициативна, как модели от Anthropic (что может быть и плюсом).
Т.е. это скорее модель для интерактивной вдумчивой работы, где нужно участие человека.
Но, кстати, в сегодняшнем релизе gpt-5-codex обещали улучшения именно в агентских сценариях, так что посмотрим.
🔴 Цены
Codex работает в рамках подписки OpenAI, и его можно использовать и как консольный агент, и как расширение для VSCode, и онлайн на сайте ChatGPT (кстати, с сегодняшнего дня там будет работать gpt-5-codex, а до этого там был тюн o3, codex-1).
Но! Вариантов подписки всего 2:
● $20 - ChatGPT Plus, за которые вы получаете несколько 5-часовых сессий в неделю, после чего доступ отрубается на несколько дней (!);
● $200 - ChatGPT Pro, где лимиты в 10 раз больше, и я пока что не слышал, чтобы кто-то в них упёрся (и сам не упирался). При этом в составе Pro идёт довольно много того, что лично мне совсем без надобности.
Хочется чего-то среднего чисто для кодинга, и это тоже довольно частый запрос от комьюнити.
Вердикт
OpenAI, наконец-то, смогла :)
Предыдущие модели и инструментарий компании для разработчиков мною часто критиковались и я практически их не использовал.
До появления GPT-5, а теперь вот и Codex CLI.
Если перед вами стоит задача, которую не вывозит даже Opus, если нужно провести сложный рефакторинг существующей системы или обсудить нетривиальную архитектуру - Codex будет лучшим вариантом на текущий момент.
#ai #codex #claude
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥22👍13❤10👏2
Forwarded from AI-Driven Development. Родион Мостовой
Онлайн: Разбираемся с Gemini CLI, Claude Code и Codex CLI на продвинутом уровне вместе с экспертами
Сегодня, в среду, в 17:00 по МСК, 16:00 по CEST и в 19:00 по Алматы встречаемся с Александром Колотовым, чтобы разобраться в том, как эффективно использовать Gemini CLI в повседневных задачах программиста. Помимо разных фишек Gemini CLI так же увидим как CodeAlive MCP может усилить Gemini CLI. Александр - разработчик с 20-ти летним стажем, сейчас кодит преимущественно на Elixir в компании Blockscout.
Добавляйте в календарь встречу "Раскрываем потенциал Gemini CLI + MCPs", чтобы не пропустить: https://calendar.app.google/rgjV3Q3BW8Kw68P47
—
А в этот четверг, 16:00 МСК, 15:00 CEST и 18:00 по Алматы пройдет встреча с Максимом, автором замечательного Telegram-канала Этихлид. Из всех моих знакомых Максим наиболее глубоко и широко погружен в тему кодовых агентов - регулярно пробует и обозревает разные решения и (что важно) не зацикливается на каком-то одном агенте. Цель встречи - на реальной задаче посмотреть как эффективно использовать Claude Code со всякими продвинутыми фишками типа субагентов, а также разберемся в каких случаях может пригодится Codex CLI. Помимо глубокой погруженности в тему, у Максима так же опыт разработки почти 20 лет.
Добавляйте встречу "Claude Code vs Codex. А не пора ли нам обновить воркфлоу?" в календарь, чтобы не пропустить: https://calendar.app.google/8awBNMRXowCW9tp5A
Обе встречи будут записаны, но у тех, кто подключится Live будет возможность задать свои вопросы экспертам.
Сегодня, в среду, в 17:00 по МСК, 16:00 по CEST и в 19:00 по Алматы встречаемся с Александром Колотовым, чтобы разобраться в том, как эффективно использовать Gemini CLI в повседневных задачах программиста. Помимо разных фишек Gemini CLI так же увидим как CodeAlive MCP может усилить Gemini CLI. Александр - разработчик с 20-ти летним стажем, сейчас кодит преимущественно на Elixir в компании Blockscout.
Добавляйте в календарь встречу "Раскрываем потенциал Gemini CLI + MCPs", чтобы не пропустить: https://calendar.app.google/rgjV3Q3BW8Kw68P47
—
А в этот четверг, 16:00 МСК, 15:00 CEST и 18:00 по Алматы пройдет встреча с Максимом, автором замечательного Telegram-канала Этихлид. Из всех моих знакомых Максим наиболее глубоко и широко погружен в тему кодовых агентов - регулярно пробует и обозревает разные решения и (что важно) не зацикливается на каком-то одном агенте. Цель встречи - на реальной задаче посмотреть как эффективно использовать Claude Code со всякими продвинутыми фишками типа субагентов, а также разберемся в каких случаях может пригодится Codex CLI. Помимо глубокой погруженности в тему, у Максима так же опыт разработки почти 20 лет.
Добавляйте встречу "Claude Code vs Codex. А не пора ли нам обновить воркфлоу?" в календарь, чтобы не пропустить: https://calendar.app.google/8awBNMRXowCW9tp5A
Обе встречи будут записаны, но у тех, кто подключится Live будет возможность задать свои вопросы экспертам.
1🔥19❤8⚡3👍1