Куда будут развиваться LLM-платформы в дальнейшем

Вижу интересную тенденцию, что большинство LLM-движухи сейчас сконцентрировано вокруг моделей: каналы пестрят новостями о новых релизах Anthropic, Google и остальных. Но на мой взгляд, ключевые инновации, которые будут влиять на то как быстро LLM будут проникать в бизнес и пользовательские приложения сейчас происходят в области LLM-инфраструктуры (LLMOps)

Это как было с data science – с ростом потребности в том, чтобы DS-решения были масштабируемые, управляемые, воспроизводимые появилась целая область MLOps, в которой на текущий момент несколько доминирующих платформ и тысячи узко-специализированных решений

Похожая история будет происходить и с LLM: ключевые задачи тут будут касаться менеджмента LLM-пайплайнов (в том числе промпт-менеджмента, оркестрации в комплексные агентные системы, а также автоматизированной оценки пайплайнов) и resource-management (что-то про то как выдавать качество, валидное для решения задачи, но с минимальной стоимостью, например, через оптимизацию выбора модели/архитектуры под задачу)

У меня была нудная задача. Признаюсь, что я очень многие задачи считаю нудными по умолчанию. И я вынужден сам вдыхать в них какую-то творческую составляющую, чтобы они переставали быть такими нудными. В общем, я сам себе сначала рою яму отчаяния от того, что «боже мой какая же это скучная задача», а потом из этой ямы выкарабкиваюсь различными героическими и почти что поэтическими путями

Задача моя состояла в том, чтобы сделать тренд-репорт о том, что вообще происходит с использованием ИИ в продуктах — какие тренды, нововведения. И я не хотел сознательно просто рассказывать про то, что появляются новые модели и т.д. и т.п. Также мне не хотелось делать компиляцию из уже известных тренд-репортов и сыпать банальностями в перемешку с баззвордами. Мне хотелось прям понять какие конкретные ИИ функции внедряют разные технологические компании в свои продукты и какие большие тренды из этого вырисовываются, в общем, по классике — сначала сигналы, потом паттерны

Как вы уже поняли, сделать эту задачу как-то откровенно плохо я не хотел, но и закрадывалась «перебирать тьму различных пресс-релизов и кропотливо выбирать из них те, что достойны включения в моё исследование — такое себе удовольствие»

В итоге я сделал задачу с помощью ИИ — поэтапно собрал источники, скопировал всё что нужно в единый док и скормил его Claude (хотя конечно можно было бы сделать сразу Deep Research в Claude, но я так не хотел, потому что не контролировал бы источники)

А ещё прелесть в том, что когда решаешь задачу через ИИ, то фактически документируешь весь процесс. В итоге навайбкодил сделал вот такую симпатичную страничку с помощью Claude и Replit, примерно за 2 часа, которая рассказывает обо всём процессе в занимательной форме

Я ещё позже отрефлексирую что это вообще значит глобально, но общая суть в том, что:
а) делать задачи становится проще — новая задача становится экспериментом по взаимодействию человека и ИИ;
б) выполняя задачи с помощью ИИ вы фактически попутно документируете процесс выполнения, а значит выше вероятность, что эту задачу вы можете делегировать;
в) эти алгоритмы решения позже могут быть переложены в агентную систему и выполнены с минимальным участием человека;
г) бонусно вы можете производить из каждого такого взаимодействия с ИИ некоторое количество контента разных форм — как некие behind the scenes вашей деятельности;
д) весь этот контент может быть упакован в one-pager, который предоставляет некоторую базовую интерактивность, а не просто статичен, а стоимость производства такого контента довольно-таки мала

Ну и сам отчет почитайте

Завтра вместе с Сашей Поляковым будем рассказывать про ИИ-сервисы для разработки и автоматизации. Приходите в бота и регистрируйтесь https://news.1rj.ru/str/workshow_bot по слову Дегустация

LangChain запустили Open Deep Research — open-source решение для построения агентских цепочек исследований с LLM

Пока все крупные игроки (OpenAI, Anthropic, Perplexity, Google) выпускают свои проприетарные решения для deep research, LangChain создали открытую альтернативу на базе LangGraph.

Что внутри:
• Трёхэтапный процесс: уточнение задачи → исследование → написание отчёта
• Мульти-агентная архитектура с супервизором и под-агентами для параллелизации
• Гибкость — можно подключить любые модели, поисковые инструменты и MCP-сервера

Ключевые инсайты:
• Мульти-агенты хороши только для легко распараллеливаемых задач (исследование), но плохи для координации (написание отчёта);
• Контекст-инжиниринг критически важен — без него расход токенов взлетает в 15 раз;
• Изоляция контекста по подтемам решает проблемы длинного контекста

Интересно как решили проблему координации: Изначально пытались параллельно писать разные секции отчёта разными агентами — получалась каша. Поэтому оставили мульти-агентность только для сбора информации, а финальный отчёт генерируют one-shot после завершения всех исследований. Простое, но эффективное решение дилеммы скорости vs качества

Где попробовать: Можно потестить прямо на демо-инстансе их Open Agent Platform — просто вводишь API ключи и пользуешься. Или запускаешь локально через LangGraph Studio.

Код на GitHub

Новость в блоге LangChain

Semantic Outlier Removal with Embedding Models and LLMs

Наткнулся на интересную статью с практичным подходом к очистке веб-страниц

Проблема знакома многим: при парсинге сайтов приходится отделять основной контент от навигации, футеров, рекламных блоков и прочих элементов интерфейса

Обычно это решается написанием специфичных правил для каждого сайта — трудозатратно и неуниверсально

Автор предлагает элегантное решение через эмбеддинги:
1. Извлекаем все HTML-теги с текстом и фиксируем уровень их вложенности
2. Передаем эти данные в модель эмбеддингов
3. Отдельно подаем заголовок страницы и основную тему
4. Фильтруем элементы по семантическому расстоянию

Подход работает универсально — модель понимает смысловую связь между элементами и основной темой страницы, автоматически отсекая нерелевантный контент

Выглядит перспективно, особенно для проектов, где нужно обрабатывать контент с разнородных сайтов

Кто-то уже применял подобные методы? Буду благодарен за опыт использования и ссылки на реализации (мб уже знаете либы для очистки через LLM)

Ещё один разрывной кейс: дано 15 открытых вкладок, просим Comet все их сгруппировать по тематикам, а потом по группе делаем сжатый (но при этом всё равно достаточно подробный) конспект

Промпт для получения конспекта по группе вкладок в комментариях

Решил завести канал для вакансий про LLM... 🤖

Рынок LLM-приложений развивается с космической скоростью, а хорошие специалисты нарасхват. Каждый день вижу, как компании ищут ML-инженеров, дата-сайентистов, продактов и разработчиков, которые понимают в языковых моделях

Проблема в том, что:
- Вакансии разбросаны по всей телеге и на job board'ах
- Много шума и мало действительно интересных позиций
- HR-ы часто не понимают специфику AI-ролей
- Люди тратят кучу времени на поиски
- Непонятно с чего вкатиться в LLM-роли

Что будет в канале:
✅ Только проверенные вакансии от реальных компаний
✅ Позиции разного уровня — от джунов до тех-лидов
✅ Удаленка, офис, релокация — все варианты
✅ Стартапы, корпорации, продуктовые команды
✅ Вакансии только с контактами HR

Ссылка: https://news.1rj.ru/str/llm_jobs

Делюсь новостью

С июня 2025 года я присоединился к Т-Банку в роли продуктового лида LLM-платформы. Я бы не пошел работать классическим продактом ни за что, потому что все вот эти вот продакт-маркет фиты и бесконечные A/B-тесты я не люблю, а тут по факту это такой платформенный челлендж: как сделать так, чтобы внутренние команды перестали изобретать велосипеды с AI и начали пользоваться общей инфраструктурой. Задача скорее про «мягкую силу», чем про классическое управление на основе цифр/данных

Что вообще за LLM-платформа?

Представьте: у вас в банке 50+ команд, которые хотят добавить AI в свои продукты. Каждая идет своим путем — кто-то сам поднимает себе модельку, кто-то пилит свой RAG на коленке, кто-то вообще не понимает, с чего начать. Результат такой: усилия дублируются, проблемы с качеством вывода моделек, никакой наблюдаемости, и главное — никакого переиспользования решений

LLM Platform — это попытка навести порядок в этом хаосе. По сути, набор компонентов, который позволяет командам фокусироваться на бизнес-логике, а не на том, как правильно настроить rate limiting или разбираться, почему модель вчера работала, а сегодня выдает ерунду

Что внутри:
- API Gateway — единая точка доступа к моделям с управлением лимитами и внутренним биллингом (чтобы команды понимали, во что им обходится их «да там простой чат-бот»)
- RAG Platform — конструктор для быстрого создания ассистентов поверх корпоративных знаний
- Observability Platform — потому что нужны логи, чтобы диагностировать почему у нас что-то сломалось и LLM выводит дичь, а ещё без наблюдаемости нельзя выстроить системной работы над качеством
- Tools Registry, Prompt Playground, Security-компоненты — и еще куча штук, о которых никто не думает, пока не столкнется с LLM в продакшне

В чем вызов и почему я захотел работать в таком сложном продукте?

Классическая ловушка внутренних платформ: нужно быть одновременно enterprise (чтобы крупные продукты не боялись заходить) и достаточно простым (чтобы небольшая команда могла запустить прототип за неделю). Плюс постоянная дилемма build vs buy — open source развивается быстро, и каждый раз нужно решать, стоит ли делать свое или интегрировать чужое из open source

Еще пикантный момент: у меня нет формальной власти над командами-потребителями. Нельзя просто прийти и сказать: «теперь вы живете внутри нашей платформы». И как итог многое строится на искусстве идти в политику и убеждения. Платформа — это продукт, который продается внутри компании, где «клиенты» могут просто пойти и накостылять свое решение

В общем, это прям такой большой челлендж по выстраиванию экосистемы в условиях, когда ценность от платформизации ещё надо доказать и продать внутри

Если кому-то интересно что-то узнать подробнее или кто-то сталкивается с похожими кейсами — пишите

P.S.: а ещё если вы продакт с сильным техническим уклоном и вам близка философия «инфраструктура как продукт» — у нас есть открытые позиции. Скучно точно не будет