Data Secrets – Telegram
Data Secrets
88.3K subscribers
6.62K photos
701 videos
20 files
2.88K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Когда в 2023-м все начали говорить про агентов, под этим чаще всего подразумевали цепочку промптов с фиксацией контекста, а про инфраструктуру, как правило, даже не задумывались. Сейчас кто-то по-прежнему считает, что агенты — это окошечки с LLM, а развернутая на единственной ноде модель — это подходящая инфраструктура для агентской системы. На самом деле это, конечно, не так.

Чтобы экономика сходилась и железо утилизировалось эффективно, нужно учитывать реальный паттерн нагрузки: долгие сессии, многошаговые диалоги, большие контексты.

В последнем обновлении Yandex AI Studio интересен не столько факт, что появилась модель DeepSeek V3.2, сколько то, как под нее оптимизировали инференс. Модель работает в режиме prefill/decode, где prefill-ноды оптимизированы под быстрый прогон длинных контекстов, а decode-ноды — под устойчивую генерацию с низким и стабильным показателем Time Between Tokens. Чтобы это работало, пришлось научиться передавать KV-кэши между серверами в реальном времени, а это гигабайты данных.

Дальше — больше. Введена иерархия кэшей (GPU → CPU → распрелеленный слой), а балансировщик теперь «знает», где уже хранятся закешированные фрагменты контекста, и отправляет запрос туда, где cache hit rate будет выше.

Поверх этого слоя появились приватные эндпоинты и правила модерации ответов моделей, что особенно актуально при работе с опенсорс моделями в корпоративном контуре. Добавили и новый подход к тарификации: появились токены инструментов и токены кеширования. Первые участвуют при вызове встроенных инструментов (File Search, Web Search, MCP), вторые — при повторном использовании уже обработанных фрагментов запроса. Всё это стоит в четыре раза дешевле обычных токенов и делает длинные агентские сценарии экономически осмысленными.


Возможно, именно здесь и начинается взрослая эпоха для агентных систем — не промпт-цепочки, а полноценные цифровые организмы, у которых есть память, тело и дисциплина.
🗿97🔥37🤨17👍16117🤔5🤯2😁1👾1
⚡️ Встречаем GPT‑5.4

Модель вышла в версиях Thinking и Pro. Метрики подросли на кодинге (немного), на математике (прилично) и на computer use. Последним хвастаются особенно.

Кроме того, модель стала эффективнее: использует меньше токенов при рассуждении и отвечает быстрее. Но есть нюанс: теперь она стоит немножко дороже.

Что еще интересного:

– Модель теперь можно остановить посередине ответа и добавить дополнительные инструкции.

– Контекст теперь до 1 миллиона токенов (наконец-то!)

– В Codex появился /fast мод, который ускорит генерацию в 1.5x (это та же модель и тот же уровень рассуждений, просто быстрее). Правда, в таком режиме каждый токен будет учитываться в лимитах за два.

https://openai.com/index/introducing-gpt-5-4/
Please open Telegram to view this post
VIEW IN TELEGRAM
106😁39🔥22🎉13🦄87🗿65👍2👾1
Google предложили, как обучать LLM становиться умнее по ходу диалога

Есть довольно известная проблема: LLM плохо обновляют убеждения по мере получения новой информации. Хотя от модели ожидается, что она должна понимать предпочтения пользователя по его ответам и при накоплении таких данных становится полезнее, на самом деле LLM в этом плохи.

С математической точки зрения это означает, что у моделей нет байесовского мышления, то есть умения обновлять вероятность гипотез при поступлении новой информации. У людей, кстати, такое мышление развито хорошо.

Здесь исследователи предлагают интересный подход. Вместо того, чтобы учить модель обновлять знания с помощью файнтюна на обычных диалогах, они берут и дистиллируют в нее настоящий байесовский алгоритм. То есть:

1. Строится обычный автомат Байеса, который знаком всем, кто изучал классический ML. Он решает задачу, просто обновляя вероятность разных гипотез по формуле.

2. LLM файнтюнят на ответах алгоритма, чтобы она переняла общую логику обновления, но уже без формулы.

Например, нам нужно понять, какие фильмы любит пользователь – боевики, комедии или драмы:
– В начале вероятности равные, по 33%.
– Мы советуем ему три фильма разных жанров, и он выбирает боевик. Мы также знаем вероятность выбора боевика при условии предпочтении каждого из жанров (например, 80%, 20% и 30%).
– Алгоритм на основе всего этого обновляет вероятности по формуле и получается, что они равны уже 62%, 23% и 15%.
– Такие априорные и апостериорные вероятности показывают LLMке.
– Постепенно она учится вести себя как алгоритм.


Результаты получились интересные.
Во-первых, модель действительно начинает вести себя ближе к байесовскому оптимуму и учитывать новые данные. На основной задаче рекомендаций качество заметно увеличилось.
Во-вторых, появилось обобщение. То есть модель фактически выучивает сам принцип рассуждения, и начинает использовать эту стратегию в других задачах, где ее напрямую не обучали.

Короче говоря, довольно показательно, и авторы делают вывод о том, что обучение на демонстрациях алгоритмов в целом – работает. В действительности, мы ведь и правда хотим от LLM, чтобы они были не просто генераторами текста, а универсальными имитатороми алгоритмов мышления.

research.google/blog/teaching-llms-to-reason-like-bayesians/
1172❤‍🔥40👍38🔥13🤯3🤗33😁2👾22
Media is too big
VIEW IN TELEGRAM
Cursor теперь может мониторить вашу кодовую базу автономно и постоянно

Теперь там есть возможность настроить ИИ‑агентов, которые автоматически выполняют задачи в вашей базе по расписанию или по событиям (push, Slack, PagerDuty и т.п.).

Каждый такой агент крутится в отдельной cloud‑sandbox, может ходить в твой репозиторий, CI, Slack и внешние сервисы через MCP (Model Context Protocol).

То есть при срабатывании триггера поднимается изолированная среда, в нее подтягивается свежий код, и агент выполняет нужный сценарий. Настройки могут быть максимально гибкими.

Внутри уже есть типовые шаблоны: ежедневные дайджесты изменений в базе, поиск уязвимостей и простых багов, обновление документации. Пробуем!

cursor.com/blog/automations
😁64👍3332🔥12🤨53
Поздравляем подписчиц с Международным Женским Днем!

Желаем, чтобы в жизни было больше прорывов, чем в новостях про очередную AI-модель, и чтобы мечты сбывались чаще, чем обещания Илона Маска.

С праздником! 🤍
Please open Telegram to view this post
VIEW IN TELEGRAM
3😁183💘9364🍓8🗿5❤‍🔥4🔥33👌2🤗11
Autoresearch от Андрея Карпаты

Встречаем новый проект от гуру: агент, который автономно проводит эксперименты и обучает LLM.

Autoresearch состоит из: самого агента, одной GPU и простой среды обучения маленькой LLM. Агент самостоятельно изменяет train.py, запускает короткие сессии обучения модели по 5 минут, оценивает улучшение метрик и сохраняет или отбрасывает изменения.

Так он может провести десятки экспериментов за ночь. Вы встаете – и получаете уже улучшенную модель, экономя себе несколько часов рутинного копания в коде (см.график с изменениями метрики по итерациям ⬆️).

Все свои дополнительные инструкции можно дописать в program.md: где менять гиперпараметры, что исследовать. Исходный program.md сделан предельно простым, но при желании можно упороться и добавить мультиагентность, новые метрики, стратегии и прочее.

https://github.com/karpathy/autoresearch
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥193👍402915🤯13😁4🤨4🤔3❤‍🔥2
Современные туториалы от мировых математических гениев такие типа ⬆️

Кажется, для математиков пора официально вводить термин вайбпрувинг

А ссылка на новое видео Тао вот: https://youtu.be/JHEO7cplfk8
Please open Telegram to view this post
VIEW IN TELEGRAM
117😁91👍21🔥13🤔3
This media is not supported in your browser
VIEW IN TELEGRAM
В стартапе Eon Systems ученые сделали первую полноценную цифровую эмуляцию мозга животного, которая способна управлять телом

Короче, на равных с искусственным интеллектом аля Джарвис в науке уже давно существует и другая идея: не обучать саму машину, а взять настоящий биологический мозг, полностью скопировать его в цифровую модель и запустить на роботе или компьютере. Особенно этот концепт знаком любителям научной фантастики.

Так вот ученые из Eon Systems заявляют, что они впервые создали такую систему и могут показывать ее в действии.

Они взяли мозг плодовой мухи, скопировали его и создали так называемый connectome: как бы полную карту всех нейронов мозга и связей между ними. То есть все нейроны, все соединения и сигналы синапсов.

Сам мезанизм такого копирования не свеж, и, вообще говоря, сама копия мозга мухи существует уже с 2024 года, НО что Eon Systems сделали впервые – так это соединили эту модель с настоящим телом в симуляции.

Другими словами, они впервые продемонтрировали полный цикл среда → сенсоры → мозг → моторные команды → движение тела. Это называется closing the sensorimotor loop – замыкание петли восприятия и действия. Причем получившаяся виртуальная муха демонтрирует не какой-то один тип поведения, а сразу несколько базовых паттернов.

Никаких искусственных нейросетей. Просто взяли карту мозга, подключили к телу, и это заработало. Хотя говорить, что совсем никакого ML там нет, было бы нечестно: даже если мы видим карту мозга, его динамика (пороги возбуждения, сила синапсов и тд) остается неизвестной, и ее тут как раз приближают моделями. Но это все равно нельзя назвать ИИ в привычном смысле слова.

Главное – что в целом работоспособность принципа brain upload +-подтверждена. Авторы пишут, что дальше все дело в масштабируемости. Для понимания, в мозге мухи примерно 140к нейронов (и даже его скопировать непросто), а у человека нейронов ~86 млрд.
1❤‍🔥109🔥46🤯401210😁65🤔1
🤔 🍴 🤨
Please open Telegram to view this post
VIEW IN TELEGRAM
🕊116😁9015🔥8🤔6🤓3💯2🤨2❤‍🔥11
Ничего необычного, просто в Китае прямо на улицах устанавливают всем желающим OpenClaw

Конкретно эти фотографии сделаны у офиса Tencent в Шэньчжэне. Там разработчики провели бесплатный ивент по установке OpenClaw. Говорят, пришло около тысячи человек.

Подобные мероприятия прошли также в Шанхае, Пекине и нескольких других городах.

Кстати, в Китае в целом сейчас планируют развернуть огромную программу поддержки OpenClaw. Они хотят создавать так называемые Lobster service zones: физические или облачные места, где OpenClaw уже развернут и настроен. Операторам будут выделять бюджет на хостинг, а люди и компании смогут пользоваться (почти) бесплатно.

Плюс разработчикам или компаниям, которые контрибьютят приложения/скиллы на OpenClaw для приоритетных отраслей, обещают до 2 млн юаней субсидий на проект. А проекты, которые признают «демонстрационными» (успешные применения OpenClaw), получают разовую выплату до 1 млн юаней. Это примерно 140к доллларов.
2😁139🔥89👍251212🤯7🗿7🕊3🐳22🤔1