В Cursor обновили модель поиска: благодаря RAG многое теперь работает лучше

В Cursor уже давно используется retrieval-механика: агент ищет по кодовой базе и добавляет нужные куски в контекст LLM. Но раньше был реализован просто grep вариант – поиск по строковому совпадению. Это быстро, но не всегда в достаточной степени релевантно.

Теперь же ему на смену пришел более умный семантический поиск. По сути, RAG. То есть релевантность кусочков кода теперь оценивает специальная векторная модель, которая уже не просто ищет по ключевым словам, а сопоставляет смыслы.

Интересно, что для этого обновления Cursor обучили собственную embedding-модель, заточенную именно под код. Для этого использовались реальные траектории работы агента. Каждая сессия – это последовательность: запрос -> поиск релевантных кусочков кода -> результат. Отдельная LLM-ка по этим траекториям оценивала, какие из найденных кусочков в итоге пригодились, а какие оказались шумом.

А дальше берем нашу векторную модель и учим ее на триплетах (запрос, релевантные файлы, нерелевантные) так, чтобы в итоге ее ранжирование соответствовало ранжированию LLM, то есть более полезные кусочки были в векторном пространстве ближе к запросу.

Grep-поиск, кстати, все еще где-то остается: например, он незаменим, когда надо быстро поискать по названиям переменных или функций. Результаты grep-модуля и векторной модельки комбинируются.

Что в итоге с метриками:

1. На оффлайн-оценке на специально собранном бенчмарке «Cursor Context Bench» среднее повышение точности составило ~12,5%.

2. На A/B-тестах в среднем на ~0,3% вырос code retention. Это метрика, показывающая, сколько кода, сгенерированного агентом, в итоге осталось в проекте пользователя спустя время. На больших кодовых базах наблюдалось вообще +2,6%.

3. Также на ~2,2% понизилось количество dissatisfied follow-up requests – когда пользователь вынужден делать исправления или дополнительные запросы, если у агента что-то не вышло с первого раза.

Эффект не огромный, потому что далеко не каждый запрос вообще требует поиска, но он есть и особенно будет ощущаться в крупных кодовых базах.

https://cursor.com/blog/semsearch

OpenAI подняли лимиты на Codex и выпустили GPT-5-Codex-Mini

Новая моделька всего на 3 п.п. отстает от GPT-5-Codex на SWE-bench Verified, но при этом в 4 раза выгоднее.

OpenAI советуют использовать ее для не самых сложных задач, чтобы тратить меньше доступных запросов к основной модели. Более того, когда вы прожжете 90% своих лимитов, Codex будет автоматически предлагать вам переключиться.

Еще из приятного: лимиты для ChatGPT Plus, Business и Edu увеличили на 50%. С щедростью Anthropic все еще не сравнится, но все равно неплохо.

Google предложили новую ML-парадигму Nested Learning, с помощью которой модели смогут учиться непрерывно

Google все не оставляют попыток повторить свой успех 2017 года и снова изобрести в ИИ что-то новенькое и прорывное. Может, когда-нибудь одна из вот таких интересных работ и стрельнет.

В этот раз они предлагают переосмыслить нейросеть как таковую и начать рассматривать модель не просто как одну крупную оптимизационную задачу, а как набор вложенных (nested) оптимизационных задач, каждая из которых имеет свой контекстный поток и своё время обновления.

В первую очередь это попытка решить проблему катастрофического забывания. Память современных моделей, мягко говоря, сильно ограничена, и после предобучения или файнтюнинга их уже не так-то просто научить чему-то еще: при обучении на новых данных старые навыки начинают деградировать. Это гигантский глобальный недостаток, учитывая, что мы тут все вообще-то ждем AGI, который сможет непрерывно учиться и самосовершенствоваться.

А вот как работает Nested Learning:

1. Авторы формализуют модель как множество оптимизационных задач: у каждой есть свой поток информации, на которой она учится, и своя частота обновления. Например, компоненты с высокой частотой обновления отвечают за адаптацию к текущему контексту, с низкой частотой – за какие-то базовые знания, и тд.

2. Но просто так, по щучьему веленью, модель не поймет, что и когда обновлять. Поэтому авторы предлагают сделать обучаемым сам оптимизатор. То есть алгоритм, который отвечает за обновление весов, перестает быть просто формулой и превращается в такую же нейросеть. Это называется Deep Optimizers.

3. Формально оптимизатор рассматривается как ассоциативная память, которая учится связывать градиенты с правильными изменениями весов. В этом смысле привычные SGD или Adam – это простейшие частные случаи (об этом, если интересно, подробнее читайте в самой статье).

Звучит немного замысловато, но об этом можно думать вот как: в последнее время очень модно делить память моделей на кратковременную и долгосрочную, а NL просто обобщает эту идеи и предлагает концепцию спектра памяти с множеством таких модулей.

И на практике это реализуется аналогично. В частности, Google просто взяли свою старую архитектуру TITAN (мы о ней вот тут писали), в которой как раз были модули долгой и короткой памяти, и расширили ее на неограниченное число уровней in-context обучения. Получившаяся HOPE в каком-то смысле стала первой в своем роде само-модифицирующейся моделью.

И, что самое интересное: эксперименты показали, что HOPE, по сравнению с базовыми трансформерами, имеет более низкую перплексию и более высокую точность в задачах common-sense reasoning и long-context memory.

Статья | Блогпост

Понедельник, настроение:

P.S. Сожалеем о его потерях

А вот так выглядит первая тестовая производственная линия Теслы для Optimus

В 2026 должна появится еще одна, уже более крупная. Это пока пилот.

Компания пишет, что их цель – это достичь себестоимости в 20к долларов на робота, и тестируют они их прямо тут же, на заводе и в лабораториях (что может пойти не так?)

Российские исследователи нашли способ обучать LLM логическим рассуждениям быстрее и дешевле

Исследователи из T-Bank AI Research совместно с Центральным университетом представили новый метод, который позволяет развивать способность к логическим рассуждениям у больших языковых моделей без дорогостоящего полного переобучения. Исследование станет хорошим подспорьем для дальнейшего изучения интерпретируемости ИИ.

Вместо того чтобы менять миллиарды параметров, они добавили небольшие подсказки-векторы, которые усиливают логические шаги модели в нужном направлении. Такой подход сохраняет все преимущества большой модели, но требует значительно меньше вычислительных ресурсов.

Эффективность метода протестили на шести бенчмарках по математическому рассуждению: при изменении всего 0.0016% параметров сохраняется 100% качество полного дообучения. Потребление памяти сокращается с гигабайтов до сотен килобайт.

Метод уже затестили на LLM Qwen и LLaMA. Потенциально он сможет встраиваться в существующие пайплайны, например, чат-боты, системы проверки кода или аналитические платформы. Поэтому даже университетские лаборатории и небольшие компании смогут обучать reasoning-модели. Метод представили на одной из ведущих международных конференций в области ИИ по эмпирическим методам обработки естественного языка (EMNLP 2025) уровня А* в Китае.

Внезапно: по мнению Яна Лекуна LLM-модели — это не «пузырь»

На его взгляд, здесь нет инвестиционного пузыря: LLM уже сейчас находят практическое применение и будут ещё долго приносить пользу.

Пузырь – это не сами LLM, а вера в то, что одни только они смогут достичь уровня человеческого интеллекта, то есть AGI. Дальнейший прогресс требует прорывов, а не просто большего объема данных и вычислений.

«Мы упускаем что-то важное»

PostgreSQL опубликовали топ-50 главных контрибьюторов проекта: в список вошел Андрей Бородин, руководитель разработки СУБД с открытым исходным кодом в Yandex Cloud

На данный момент PostgreSQL является самой популярной опенсорсной СУБД в мире. Особенно в сегменте ИИ- и ML-проектов: векторный поиск помогает моделям быстрее находить и анализировать нужную информацию. Например, PostgreSQL применяют при создании ChatGPT.

Получить статус контрибьютора в проекте очень нелегко: нужно не просто коммитить, но и проходить долгое строгое ревью. Процент коммитов, которые в конечном счете одобряют, довольно мал, – доработка должна быть действительно существенной.

Андрей стабильно контрибьютит с 2016, четвертый раз входит в топ-50 контрибьюторов года и теперь имеет статус major contributors. Их в проекте всего 52, этот статус выше, чем significant contributor, и означает, что разработчик "оказывает существенное влияние на кодовую базу и процессы".

Интересно, что вклад команды Бородина не ограничивается только ядром PostgreSQL. Недавно они разработали SPQR (Stateless Postgres Query Router), систему с открытым исходным кодом для горизонтального масштабирования PostgreSQL через шардирование. Она уже доступна сообществу: если любите Postgres, потрогать проект можно здесь.

Отдаем дань уважения 👒

RL не улучшает навыки ризонинга модели

Тренд на негативные статьи о том, что "что-то не работает или работает не так, как мы думали", остается с нами. В этот раз хайпует китайская работа под названием "Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?".

Мы все привыкли к тому, что в целом ризонинг – это про RL*. Но в этой статье показано, что на самом деле ничего сверхъестественного RL не вносит, а просто переупаковывает то, что уже было в распределении базовой модели.

Как это проверяли?

Основная метрика – pass@k: задача считается решенной, если среди k попыток модели (сэмплов) есть хотя бы одна правильная. Для авторской гипотезы метрика как раз очень подходит, потому что отражает именно потенциал модели решать задачу при разумном числе попыток.

И вот что получается. При малых k RLVR-модели действительно чаще попадают в правильный ответ (то есть у них выше pass@1), но при росте k базовые модели догоняют и превосходят RLVR практически на всех наборах задач и семейств моделей.

Это значит, что эти методы не расширяют границы решаемости задач (в том числе математических и кодовых), они просто повышают эффективность семплирования уже существующих траекторий aka вероятность сразу пойти по нужному пути, и поэтому работают. Плохо ли это? Нет. Но означает, что и слишком больших надежд на RLVR возлагать не стоит: все равно все опять упирается в претрен.

* Дисклеймер: в статье речь именно про RLVR, то есть Reinforcement Learning with Verifiable Rewards. RLHF, например, сюда не относится, но вот куча других популярных алгосов, типа PPO/GRPO/Reinforce++ и тд – да.

Meta* поделились деталями о новой модели GEM, которая теперь лежит в основе их рекомендательных систем

Это гибридная архитектура на основе трансформера (вдохновенная, естественно, LLM). Заявляется, что модель настолько хороша, что уже привела к заметному росту конверсий на рекламу: +5% в Instagram и +3% в Facebook за второй квартал.

Скачки очень существенные, поэтому давайте смотреть, что у модели внутри. Главных технических фишечки тут три:

1. Входные данные делятся на две группы: последовательные признаки (истории действий пользователя, клики, просмотры и тд) и непоследовательные (локация, возраст, свойства рекламы и пр). Чтобы не сваливать их в одну кучу и не замыливать сигналы, используется так называемый InterFormer с динамическим чередованием. Сначала последовательности событий обрабатываются кастомным трансформер-блоком, затем слой объединяет эти выходы со статичными признаками через кросс-фичевые interaction-блоки, после чего цикл продолжается на следующем уровне.

2. Кроме того, нам нужно учитывать связи признаков из двух групп. Для этого работает целый отдельный компонент Wukong. Он состоит из стековых факторизационных машин, которые ищут неочевидные связи между признаками (почему пользователь повел себя так или вот так).

3. Для длинных последовательностей (то есть долгих пользовательских историй) применяется собственная пирамидальная параллельная структура. Она нужна, чтобы не столкнуться с пресловутым экспоненциальным ростом затрат при увеличении длины последовательности. Все цепочка сначала разбивается на более мелкие -> они обрабатываются -> итоги образуют следующий уровень эмбеддингов -> они снова делятся на кусочки и обрабатываются -> и так далее, пока все не схлопнется окончательно.

В итоге мы получаем: (а) масштабируемость; (б) возможность эффективно учитывать все фичи и их связи; (в) адекватное поведение модели на длинных последовательностях. Ну и судя по скачкам конверсий, работает это неплохо. Еще пишут, что планируют добавить ризонинг.

Если интересуетесь рексисами, обязательно почитайте статью полностью

Внезапный факт: Anthropic может выйти в плюс гораздо раньше OpenAI

WSJ проанализировали финансовые отчеты обеих компаний и выяснили, что Anthropic, судя по всему, пройдет точку безубыточности уже в 2028. OpenAI же в 2028 все еще будет уходить в минус, причем в немаленький: по предварительным оценкам, убыток составит ~74 миллиарда долларов.

Ранее OpenAI обещали, что начнут зарабатывать в 2029, но теперь ясно, что это случится не раньше 30 года. Уж слишком много они планируют потратить на инфраструктуру (журналисты пишут об 1.4 триллионах за 8 лет).

Стратегия Anthropic другая, у них расходы растут примерно с той же скоростью, что и доходы. И кстати, 80% их выручки все еще приходится на корпоративных клиентов.

Топ-10 неожиданных концовок собеседования

Снова вспоминается эта прекрасная иллюстрация происходящего

Первый российский гуманоид вышел на сцену и даже успел улыбнуться, сделать два шага и попытку помахать зрителям рукой, прежде чем…

Ну в общем, смотрите до конца