Этихлид – Telegram
Этихлид
4.77K subscribers
152 photos
23 videos
129 links
Канал техлида с мыслями об AI, IT и спорте.

https://news.1rj.ru/str/etechlead/6 - содержание

https://news.1rj.ru/str/etechlead/8 - о канале

https://news.1rj.ru/str/+NgQZbosvypEyYWQ6 - чат канала, там отвечаю(т) быстрее :)

(без рекламы)
Download Telegram
ChatGPT o3 и немного o4-mini (1/2)

Итак, несколько дней назад вышла долгожданная модель o3 и семейство o4-mini.
Новостники по сложившейся традиции объявили революцию в ИИ, конец профессии разработчика и наступление эры AGI.
Да, ожидания были высокими, особенно в свете последних релизов Anthropic и Google.
Попробуем разобраться, насколько они оправдались.

Кратко по выбору модели для разработки
Универсального лидера нет - выбор зависит от задачи, бюджета и требований к контексту/ризонингу.

Повседневные задачи
🥇 Gemini 2.5 Pro: универсальная модель, фактически единственная для работы с длинным контекстом, отличный ризонинг, но местами проседает в работе с тулингом
🥈 Claude 3.7 Sonnet: закрывает те задачи, которые требуют проактивности, хорошей агентскости, а также повседневную мелочь

Архитектура и планирование
🥇 Gemini 2.5 Pro: в силу общей эрудиции и большого контекста с ней такие вопросы решать удобнее всего
🥈 o3: для каких-то узких и нетривиальных случаев, где важен мощный ризонинг

Сложные задачи, чистый ризонинг
🥇 o3: самый мощный на текущий момент ризонер. Подойдет для брейншторминга, поддержки в принятии сложных решений, работы над алгоритмическими проблемами
🥈 Gemini 2.5 Pro: лучший практический выбор из-за большого контекста, отличного ризонинга и адекватной цены/длины вывода

Длинный контекст (>200k)
🥇 Gemini 2.5 Pro: единственный приемлемый вариант на таком контексте

А где же o4-mini?
Если у вас есть доступ ко всем вышеперечисленным моделям, то они успешно перекрывают все её возможные применения, по крайней мере в разработке, а на фоне её проблем, которые перекликаются с таковыми у o3, я не нашёл ей места в рабочих задачах.

OpenAI o3
Флагманский ризонер, заточенный под сложные задачи и научившийся работе с инструментами.

Плюсы
🟢 Мощный ризонинг - главное преимущество. Модель бьёт все бенчмарки по этому показателю, и в реальности это подтверждается - она способна строить длинные логические цепочки, раскапывать нетривиальные проблемы и плюс к этому использовать инструменты: веб-поиск, Python-интерпретатор и анализ изображений прямо в ходе "размышлений".
Что приводит нас ко второму плюсу:

🟢 Использование инструментов - прошлые модели о-серии использовали инструменты либо нехотя, либо вообще отказывались их задействовать.
Тут же ситуация значительно лучше, но с оговоркой - на сайте ChatGPT она пользуется ими гораздо охотнее, чем через API или в каком-то другом софте.
Веб-версию даже можно использовать как мини-вариант DeepResearch, когда модель может делать десятки вызовов к разным инструментам для анализа какой-то темы или решения задачи - и всё в рамках одного запуска.

+/-
🟡 (Само)уверенность и неуступчивость - o3 реже вам поддакивает и соглашается, если вы ей возражаете, и может аргументированно отстаивать свою позицию.
Это ценно для брейншторминга и поиска объективных решений там, где разные мнения имеют право на существование, но запросто может и создавать проблемы.

#ai #model #review
👍11🔥92
ChatGPT o3 (2/2)

Минусы
🔴 Малая длина фактического вывода
● модель обрезает код, выдает 200 строк вместо ожидаемых 800, пытается его ужать там, где это лишено смысла;
● использует плейсхолдеры вместо реальных имплементаций;
● игнорирует просьбы выдать полный ответ;
● не дает пояснений к тому, что делает и комментариев к нетривиальному коду;

И для многих задач разработки одно это делает её неприменимой.
Такое ощущение, что ее тренировали на то, чтобы она как можно меньше тратила токенов на ответ.

🔴 Ленивое использование инструментов по API - тут, конечно, плюс в том, что о-модель в принципе использует инструменты, но минус в том, что недостаточно активно там, где это нужно, и ей часто приходится указывать на то, какой инструмент использовать на следующем шаге.
Напомню, что на сайте ChatGPT свои инструменты она использует куда активнее.

🔴 Галлюцинации - есть много жалоб на галлюцинации, особенно на нишевых темах, и этому есть даже подтверждения в system card модели от самих OpenAI.

🔴 "Враньё" - а эта проблема посерьёзнее - сообщения пользователей (и отчёт TransluceAI) о том, что модель может фабриковать информацию о своих действиях (например, имитировать поиск или вызов других тулов) и настаивать на своем, даже будучи неправой.

Мне она как-то выдала, что одно из возможных решений задачи снизит количество ошибок с 15 до 1%, хотя я видел, как она сама его недавно проверяла, и у неё по факту не получилось такого результата.
Целевые 1% я ей сам озвучивал как достижимые (это в самом деле так), и тут она явно пыталась подогнать свой ответ под мои ожидания.

🔴 Высокая стоимость API - несмотря на более низкие, чем у o1, цены, реальная стоимость решения сложных задач с активным ризонингом и тулами может быть очень высокой. К примеру, на бенчмарке Aider Polyglot o3 оказалась в 17.5 раз дороже Gemini 2.5 Pro. Это ставит под вопрос экономическую целесообразность использования её через API.

(Личное) Меня напрягает её манера иногда начинать фразы в ризонинге с прямого обращения ко мне по имени или упоминая его где-то в тексте - выглядит криповато-НЛПшно :)

Вердикт для разработчиков
● Модель отличная для решения узких сложных задач, но нет смысла ее использовать где-то ещё из-за вышеперечисленных минусов.

● В силу её особенностей передача всего нужного ей контекста заранее является особенно важным - описывайте задачу сразу подробно и со всеми ограничениями, накладываемыми на потенциальное решение.

● Эффективнее будет использовать o3 на сайте ChatGPT в рамках подписки, чтобы не тратить деньги на API и чтобы добиться от нее внятного использования инструментов.
В том же Cursor тоже можно (30 центов за запрос), но не стоит рассчитывать, что она сама соберет весь нужный контекст, и лучше озаботиться этим заранее, подготовив её к ваншоту, нежели к долгой переписке :)

Для ответственных задач, которые выходят за рамки вашей собственной интуиции/понимания, и которые нельзя легко проверить, использовать её нужно с осторожностью, и обязательно делать кросс-чек с той же Gemini 2.5 Pro / специалистами в теме.

Несмотря на все её проблемы я сам точно буду её использовать там, где нужен чистый мощный ризонер.

Что ждём дальше по моделям?
● DeepSeek R2 / V4
● Таинственные dayhush и claybrook, которые вчера появились на WebDev Arena и показывают очень хорошие результаты в веб-кодинге (и пока что больше ничего про них неизвестно) - это могут быть специализированные модели от Google для разработки

P.S.
В этот раз не стал расписывать бенчмарки, т.к. рассказывал кратко про них в постах про другие модели ранее.
Думаю как-нибудь отдельно написать, какие и почему важны для программирования, куда смотреть, кому верить, потому что там уже какой заяц, какой орёл, какая блоха.
✍️ - посмотрим, сколько наберётся интересующихся :)

#ai #model #review
Please open Telegram to view this post
VIEW IN TELEGRAM
15🔥13👍8
This media is not supported in your browser
VIEW IN TELEGRAM
Когда ChatGPT устаёт притворяться белым и пушистым 😱


Взято отсюда - пишут, что не такой уж редкий баг voice mode.

Крипота-то какая, крипотааа :)

#fun #bug
😁11😱10🤣4
Ну вот Google и сместили постоянного лидера во фронтэнд разработке Sonnet 3.7 - так что, господа фронтэндщики, присмотритесь. Интересно, когда Gemini сравняется по своим способностям в агентских возможностях кодогенерации с Sonnet в Cursor'е? Или уже? Поделитесь своим опытом.
Попробовать можно в API и, возможно, уже в вебе (там точную версию не указывают, так что до конца не ясно).

Сам я в последнее время для кодогенерации использую как раз Gemini 2.5 Pro в основном - качество действительно превосходное; особенно удивляет то, как она сама продумывает и обрабатывает корнер кейсы (да да, под синьора косит :))

PS. Нас уже 1000+! Благодарю всех своих читателей, что находите время на чтение меня. Отличный повод для дайджеста по каналу и моим материалам - будет.
👍103
Gemini 2.5 Pro 05-06 - ещё несколько вещей по поводу обновления

Доступность
Модель доступна там же, где и предыдущий релиз - т.е. её буквально на лету подменили.

Так что в Cursor она уже есть под старым названием gemini-2.5-pro-exp-03-25 (хотя по факту там теперь gemini-2.5-pro-preview-05-06).
В OpenRouter - google/gemini-2.5-pro-preview.
И только в Google AI Studio поменяли имя на Gemini 2.5 Pro Preview 05-06 :)

Отличия от прошлой версии
Надо сделать оговорку, что это итеративное улучшение существующей модели, не полностью новая модель, так что в среднем больших изменений нет, однако:

🟢 прокачали её в основном в кодинге и особенно в веб-разработке;
🟢 улучшилась работа с тулами и модель стала охотнее их использовать;
🔴 модель стала чутка хуже по другим, "общечеловеческим" бенчмаркам.

Быстрые собственные впечатления
● в одном из текущих проектов (next.js / mcp / prisma / postgres / ai sdk) как раз была задача ловли плавающего бага на стыке бекенда и фронтенда, с которым вчера прошлая Gemini / Sonnet 3.7 / o3 не смогли справиться на протяжении нескольких заходов.
Откатил чат до чекпойнта, с которого все началось, и с тем же самым промптом и контекстом новая Gemini ваншотнула проблему 😱
При этом построила 2 цепочки рассуждений на 8 (!) страниц (а у меня 1600px высоты экран, между прочим)

● в боте, где модель используется в качестве ассистента, она стала намного охотнее и по месту использовать доступные ей инструменты - с прошлой пришлось немало побороться, чтобы она их учитывала

● поменялась "личность" модели - явно стала по-другому писать ответы, даже на тех же промптах, которые задавали ей конкретное поведение. Не сказать что лучше или хуже - просто стиль стал другим


В целом, как пользовался в последнее время в основном Gemini для разработки, так и продолжу, рад тому, что модель стала лучше :)
Тем, кто ещё на неё не перешёл - крайне советую.

#ai #review
👍20🔥106
Cursor 0.50, инфа для MAX-бояр

Как нередко у них бывает, команда Cursor к ночи пятницы выпустила новый релиз.

В юбилейном 0.50 наряду с новыми фичами, про которые будет следующий пост, произошли изменения для MAX-бояр, которые можно кратко суммировать как "лафа кончилась" :)

Для тех, кто не использует MAX-режим, всё осталось как и было, и это по-прежнему довольно выгодное предложение.

Изменения в прайсинге
Теперь всё считается "запросами" - вот теми штуками, которых выдается 500 в месяц за $20 и которые стоят 4 цента - что в рамках подписки, что при превышении лимита в 500 "подписочных".

MAX-режим добавили для всех топовых моделей - это тот режим, где доступен максимально возможный для конкретной модели контекст, Cursor его не сжимает и не ограничивает модель в вызове тулов (в обычном режиме - 25 вызовов на запрос).

Однако, для MAX-режима учёт теперь ведётся не из расчёта 5 центов за запрос + 5 центов за вызов тула, а по токенам - т.е. как обычно вендоры самих моделей считают.

И это изменение во многих случаях сделает MAX-режим дороже, чем он был, особенно на длинных контекстах.

К примеру, для Gemini 2.5 Pro на контексте длиннее 200к цены теперь такие:
● 1M входящих токенов - 75 запросов ($0.04 * 75 = $3)
● 1M входящих токенов с кешированием - 15 запросов ($0.04 * 15 = $0.6)
● 1М исходящих токенов - 450 запросов ($0.04 * 450 = $18)

Нетрудно заметить, что эти цены (если не брать кеширование) на 20% выше, чем при использовании API Google напрямую.
Примерно так же строится ценообразование и для моделей других вендоров в MAX-режиме, так что тут мы видим попытку Cursor начать-таки зарабатывать деньги.

Ну и, как пишет сам Cursor, MAX-режим теперь "for advanced users that are cost insensitive" :)

Старый MAX-режим будет доступен ещё "несколько недель" на старых версиях Cursor, но потом его все равно прикроют.

Однако только MAX-боярам будет доступен режим Background Agent, о нём в следующем посте.

#ai #cursor
🔥9👍41
Cursor 0.50, новые фичи

Полный список тут: https://www.cursor.com/changelog

Background Agent
Большая фича, которой у меня пока что нет, чтобы проверить, но её постепенно будут раскатывать.

Сразу скажу, что она только для MAX-режима (см. предыдущий пост).

По сути, для Cursor это задел на будущее, чтобы можно было в параллель запускать несколько агентов, которые без участия человека делают свои задачи, независимо или во взаимодействии друг с другом.

Работает это так, что пользователь ставит задачу, а дальше на удаленной машине (как я понимаю, в облаке самого Cursor) запускается инстанс агента, скачивает себе кодовую базу (судя по всему, пока что только с GitHub), некоторое время возится в бэкграунде, а потом возвращается с нотификацией о завершении и предлагает результат на ревью.

Сейчас сами Cursor её советуют использовать для:
● фикса несложных багов
● имплементации небольших, хорошо очерченных фич
● рефакторинга (я добавлю - несложного рефакторинга)
Это логичный и ожидаемый шаг в сторону агентских систем типа Devin, так что посмотрим, что из этого выйдет.

Включение папок в контекст
Раньше содержимое папок в контекст не включалось (включалась только ссылка на папку), а теперь можно будет включать и содержимое.
Чтобы эта фича работала, её нужно разрешить в настройках (Features -> Full folder contents).

Это удобно в том случае, когда заранее известно, что нужно положить в контекст, и не хочется ждать, когда/если агент сам найдет нужные файлы.

Если файл или папка не лезут в контекст, то Cursor сам выбирает, что включать и может применить сжатие контента.
Добавленная папка в чате будет иметь соответствующую иконку и при наведении на неё можно будет увидеть, сколько файлов там включено и применяется ли сжатие.

Жаль, что (пока что?) не сделали как было в концепте их дизайнера.
И я пока не уверен, будет ли это хорошо работать, и буду держать на всякий случай под рукой Prompt Tower / Repomix :)

Быстрое редактирование длинных файлов
Моделям Cursor теперь даёт еще один инструмент для поиска и замены в конкретном файле, что ускоряет точечное редактирование больших файлов.
Пока что будет работать на моделях Anthropic, позже добавят поддержку других.

Экспорт чатов
То, что раньше требовало Specstory, теперь доступно из коробки - чат можно экспортировать в .md.

Зачем оно нужно? Для хранения истории проекта, чтобы делиться чатами, или чтобы из чатов вытаскивать потом при помощи LLM нужную инфу и т.п.
Specstory всё ещё выглядит интереснее, но для нечастого использования встроенная фича - норм.

Дублирование чата
Вот это хорошая штука, когда какая-то развилка наметилась - можно продублировать чат и параллельно в двух разных чатах продолжить работу над разными фичами после планирования.
Причём, чат можно дублировать из середины, что создает возможность ветвления из любого места - мне, как любителю веток, эт прям в тему.

Если что, в Cursor поддерживается одновременно 3 чата в разных табах (никто не знает, почему именно 3).

Отключение конкретных MCP-тулов
Полезная мелочь для того, чтобы более детально управлять тулами, доступными моделям, особенно теми, которые могут чего-нить сломать.
Работает через клик по названию тула в настройках MCP.

Жаль, что не сохраняется каким-либо образом в файле mcp.json, но это уже больше вопросы к Anthropic по недостандартизации некоторых аспектов MCP :)

Улучшения inline-режима
Это когда вы выделяете кусок кода, делаете Ctrl-K и просите модель что-то с этим кодом сделать в открывшемся попапе.
Так вот теперь из него можно переключаться в режим редактирования всего файла или переходить в агента.

Сам я чёт этой штукой почти не пользуюсь, но в принципе можно представить сценарии, где это может быть полезным.

Работа с несколькими проектами
Если у вас кодовая база раскинута по нескольким проектам в разных папках - теперь их можно собрать в один workspace и Cursor будет работать с ними как с одним проектом.

Должно быть удобно для случаев, когда нужно кросс-проектные изменения сделать, но на постоянной основе я бы не стал так объединять разные по технологиям проекты.

#ai #cursor
👍14🔥101🤔1
Forwarded from Сиолошная
Примерно через 4 часа (8 AM PT, 16:00 по Лондону, 18:00 по Москве) OpenAI проведёт стрим с анонсом. Почти наверняка это всё-таки будет агент-программист, но вопрос — в каком форм факторе. Будет ли это аналог Devin (полностью автономный, но воспринимающий ваши команды и подсказки), или что-то более близкое к копайлоту, ассистенту?

Я думаю, что последнее не исключено — во первых, OpenAI почти год назад полглотили Multi.app — программу для коллаборативной работы программистов (см. видео). Только теперь она, возможно, будет заточена на работу вас И агента, принося новый опыт управления процессом разработки. Только основную работу делать будете не вы, а агент — вы лишь наблюдаете и вносите правки на лету, выделяя код, задавая вопросы, итд.

Кофаундер этой компании, работающий теперь в OpenAi, уже ретвитунл пост с анонсом стрима.

С другой стороны вот такие обновления засветились в коде сайта OpenAI, см. вторую картинку — выглядит как просто agent, а не coding buddy.

В общем, ждать недолго, всех ждем на стриме!
👍5👎2
⬆️ ️Это ещё на фоне появления у Cursor background agent, того что недавно Windsurf был куплен OpenAI и в целом тренда на усиление агентскости инструментов для разработки.

Но, с другой стороны, - на фоне непригодной в повседневной работе o3, невнятного Codex и в целом большего уклона топовых моделей от OpenAI по части разработки на решение узких олимпиадных/алгоритмических задач.

Так что посмотрим :)
Реализация background agent'а (а ещё лучше - сети агентов, решающих большую распиленную задачу в параллель), могла бы стать интересным релизом, особенно если будет частью общей подписки на ChatGPT.

#news
🔥6👍5
OpenAI Codex

Что в итоге представили на стриме

Codex
Предварительная исследовательская версия облачного агента для разработки.

Он интегрирован в UI ChatGPT, оттуда его можно вызывать и давать ему задачи.
Каждая задача выполняется в собственной "песочнице"-контейнере с предварительно загруженным в него GitHub-репозиторием.
Занимает от 1 до 30 минут, в зависимости от сложности, и можно отслеживать прогресс в режиме реального времени.
А вот вмешиваться в процесс выполнения пока что нельзя.

По завершению Codex коммитит свои изменения, а в процессе ведет лог того, что делал, и можно потом посмотреть, чем он занимался.
Дальше можно попросить поменять что-то еще, сделать PR в GitHub или перетащить код к себе.

Во время выполнения задачи доступ контейнера в Интернет отключен, и агент работает исключительно с кодом, предоставленным через GitHub и предварительно установленными зависимостями, настроенными через установочный скрипт.

По описанию реально очень похоже на Cursor Background Agent или на то, как работает Devin.
Вопрос только в полноте фич, стабильности и удобстве, это уже надо пробовать.

codex-1
Это новая модель, версия o3, оптимизированная для разработки, и с упором не только на работу с кодом, но и с агентскими сценариями: запуск тестов, линтера, работа с git, оформление PR и т.д.
По сравнению с o3, codex-1 производит более чистые патчи, уже готовые к проверке человеком и их интеграции в рабочие процессы.

И выпустили ещё модель попроще, codex-mini, на основе o4-mini.

Доступность
Codex как фича и codex-1 как модель пока что доступны для ChatGPT Pro/Enterprise/Team, позже обещают добавить для Plus.
codex-mini-latest доступна в API, так что в теории её и в Cursor добавят.

В своё время, кстати, Codex было названием первой модели, на которой работал GitHub Copilot в далёком 2023м, и базировался он на GPT-3.
OpenAI от сомнительного нейминга перешли к переиспользованию названий переменных продуктов :)

Сценарии использования Codex
От самих OpenAI и тех компаний, кому дали заранее попробовать:
● четко выделенные задачи: рефакторинг, написание тестов, правка ошибок, интеграция компонентов, составление документации;
● разбор инцидентов во время дежурств (немного неожиданно, конечно, но интересно);
● планирование задач в начале дня;
● передача фоновой работы, чтобы не отвлекаться от основных задач и избегать переключения контекста;
● внесение мелких правок в проекты нетехническими специалистами (с проверкой инженерами);
● исследование существующих кодовых баз.

Своё мнение
В текущем релизе, насколько я могу судить по анонсу, нет ничего прорывного.
В том или ином виде это уже существует в других продуктах, с большей интеграцией в рабочие процессы, и с возможностью расширения под свои задачи (MCP).
Посмотрим, как оно будет на практике, но, кажется, это пока что для довольно мелких/муторных задач, которые можно и в условном Cursor решить.
Качество базовой модели тоже сильно будет влиять, но по codex-1 нам дали буквально 2 бенча (один из которых внутренний), на которых он показал небольшой рост в сравнении с o3.

Что бы хотелось видеть от подобного рода систем:
● бесшовную интеграцию с IDE, чтобы прям из нее можно было поставить асинхронную задачу (возможно, прям из существующего чата) и продолжить работать. В теории таким обещает стать Cursor Background Agent;
● кооперативную работу агентов, которые вместе решают какую-то большую задачу по кускам, в параллель или последовательно;
● интерактивность в решении задач, чтобы агент останавливался и задавал уместные вопросы по тому, как двигаться дальше;
● сбор контекста по задаче не только из кода, но и из Jira/Slack/Google Docs/etc;
● улучшение базовых моделей - длины контекста, качества работы с ним, ризонинга, актуальности датасета. И именно в такой последовательности.

Но даже в виде исследовательской версии Codex попробовать, конечно, будет интересно.
Осталось договориться с жабой или дождаться, когда он станет доступен в Plus-подписке :)

#news
👍85🔥5