Куда будут развиваться LLM-платформы в дальнейшем

Вижу интересную тенденцию, что большинство LLM-движухи сейчас сконцентрировано вокруг моделей: каналы пестрят новостями о новых релизах Anthropic, Google и остальных. Но на мой взгляд, ключевые инновации, которые будут влиять на то как быстро LLM будут проникать в бизнес и пользовательские приложения сейчас происходят в области LLM-инфраструктуры (LLMOps)

Это как было с data science – с ростом потребности в том, чтобы DS-решения были масштабируемые, управляемые, воспроизводимые появилась целая область MLOps, в которой на текущий момент несколько доминирующих платформ и тысячи узко-специализированных решений

Похожая история будет происходить и с LLM: ключевые задачи тут будут касаться менеджмента LLM-пайплайнов (в том числе промпт-менеджмента, оркестрации в комплексные агентные системы, а также автоматизированной оценки пайплайнов) и resource-management (что-то про то как выдавать качество, валидное для решения задачи, но с минимальной стоимостью, например, через оптимизацию выбора модели/архитектуры под задачу)

У меня была нудная задача. Признаюсь, что я очень многие задачи считаю нудными по умолчанию. И я вынужден сам вдыхать в них какую-то творческую составляющую, чтобы они переставали быть такими нудными. В общем, я сам себе сначала рою яму отчаяния от того, что «боже мой какая же это скучная задача», а потом из этой ямы выкарабкиваюсь различными героическими и почти что поэтическими путями

Задача моя состояла в том, чтобы сделать тренд-репорт о том, что вообще происходит с использованием ИИ в продуктах — какие тренды, нововведения. И я не хотел сознательно просто рассказывать про то, что появляются новые модели и т.д. и т.п. Также мне не хотелось делать компиляцию из уже известных тренд-репортов и сыпать банальностями в перемешку с баззвордами. Мне хотелось прям понять какие конкретные ИИ функции внедряют разные технологические компании в свои продукты и какие большие тренды из этого вырисовываются, в общем, по классике — сначала сигналы, потом паттерны

Как вы уже поняли, сделать эту задачу как-то откровенно плохо я не хотел, но и закрадывалась «перебирать тьму различных пресс-релизов и кропотливо выбирать из них те, что достойны включения в моё исследование — такое себе удовольствие»

В итоге я сделал задачу с помощью ИИ — поэтапно собрал источники, скопировал всё что нужно в единый док и скормил его Claude (хотя конечно можно было бы сделать сразу Deep Research в Claude, но я так не хотел, потому что не контролировал бы источники)

А ещё прелесть в том, что когда решаешь задачу через ИИ, то фактически документируешь весь процесс. В итоге навайбкодил сделал вот такую симпатичную страничку с помощью Claude и Replit, примерно за 2 часа, которая рассказывает обо всём процессе в занимательной форме

Я ещё позже отрефлексирую что это вообще значит глобально, но общая суть в том, что:
а) делать задачи становится проще — новая задача становится экспериментом по взаимодействию человека и ИИ;
б) выполняя задачи с помощью ИИ вы фактически попутно документируете процесс выполнения, а значит выше вероятность, что эту задачу вы можете делегировать;
в) эти алгоритмы решения позже могут быть переложены в агентную систему и выполнены с минимальным участием человека;
г) бонусно вы можете производить из каждого такого взаимодействия с ИИ некоторое количество контента разных форм — как некие behind the scenes вашей деятельности;
д) весь этот контент может быть упакован в one-pager, который предоставляет некоторую базовую интерактивность, а не просто статичен, а стоимость производства такого контента довольно-таки мала

Ну и сам отчет почитайте

Завтра вместе с Сашей Поляковым будем рассказывать про ИИ-сервисы для разработки и автоматизации. Приходите в бота и регистрируйтесь https://news.1rj.ru/str/workshow_bot по слову Дегустация

LangChain запустили Open Deep Research — open-source решение для построения агентских цепочек исследований с LLM

Пока все крупные игроки (OpenAI, Anthropic, Perplexity, Google) выпускают свои проприетарные решения для deep research, LangChain создали открытую альтернативу на базе LangGraph.

Что внутри:
• Трёхэтапный процесс: уточнение задачи → исследование → написание отчёта
• Мульти-агентная архитектура с супервизором и под-агентами для параллелизации
• Гибкость — можно подключить любые модели, поисковые инструменты и MCP-сервера

Ключевые инсайты:
• Мульти-агенты хороши только для легко распараллеливаемых задач (исследование), но плохи для координации (написание отчёта);
• Контекст-инжиниринг критически важен — без него расход токенов взлетает в 15 раз;
• Изоляция контекста по подтемам решает проблемы длинного контекста

Интересно как решили проблему координации: Изначально пытались параллельно писать разные секции отчёта разными агентами — получалась каша. Поэтому оставили мульти-агентность только для сбора информации, а финальный отчёт генерируют one-shot после завершения всех исследований. Простое, но эффективное решение дилеммы скорости vs качества

Где попробовать: Можно потестить прямо на демо-инстансе их Open Agent Platform — просто вводишь API ключи и пользуешься. Или запускаешь локально через LangGraph Studio.

Код на GitHub

Новость в блоге LangChain

Semantic Outlier Removal with Embedding Models and LLMs

Наткнулся на интересную статью с практичным подходом к очистке веб-страниц

Проблема знакома многим: при парсинге сайтов приходится отделять основной контент от навигации, футеров, рекламных блоков и прочих элементов интерфейса

Обычно это решается написанием специфичных правил для каждого сайта — трудозатратно и неуниверсально

Автор предлагает элегантное решение через эмбеддинги:
1. Извлекаем все HTML-теги с текстом и фиксируем уровень их вложенности
2. Передаем эти данные в модель эмбеддингов
3. Отдельно подаем заголовок страницы и основную тему
4. Фильтруем элементы по семантическому расстоянию

Подход работает универсально — модель понимает смысловую связь между элементами и основной темой страницы, автоматически отсекая нерелевантный контент

Выглядит перспективно, особенно для проектов, где нужно обрабатывать контент с разнородных сайтов

Кто-то уже применял подобные методы? Буду благодарен за опыт использования и ссылки на реализации (мб уже знаете либы для очистки через LLM)

Ещё один разрывной кейс: дано 15 открытых вкладок, просим Comet все их сгруппировать по тематикам, а потом по группе делаем сжатый (но при этом всё равно достаточно подробный) конспект

Промпт для получения конспекта по группе вкладок в комментариях

Решил завести канал для вакансий про LLM... 🤖

Рынок LLM-приложений развивается с космической скоростью, а хорошие специалисты нарасхват. Каждый день вижу, как компании ищут ML-инженеров, дата-сайентистов, продактов и разработчиков, которые понимают в языковых моделях

Проблема в том, что:
- Вакансии разбросаны по всей телеге и на job board'ах
- Много шума и мало действительно интересных позиций
- HR-ы часто не понимают специфику AI-ролей
- Люди тратят кучу времени на поиски
- Непонятно с чего вкатиться в LLM-роли

Что будет в канале:
✅ Только проверенные вакансии от реальных компаний
✅ Позиции разного уровня — от джунов до тех-лидов
✅ Удаленка, офис, релокация — все варианты
✅ Стартапы, корпорации, продуктовые команды
✅ Вакансии только с контактами HR

Ссылка: https://news.1rj.ru/str/llm_jobs

Делюсь новостью

С июня 2025 года я присоединился к Т-Банку в роли продуктового лида LLM-платформы. Я бы не пошел работать классическим продактом ни за что, потому что все вот эти вот продакт-маркет фиты и бесконечные A/B-тесты я не люблю, а тут по факту это такой платформенный челлендж: как сделать так, чтобы внутренние команды перестали изобретать велосипеды с AI и начали пользоваться общей инфраструктурой. Задача скорее про «мягкую силу», чем про классическое управление на основе цифр/данных

Что вообще за LLM-платформа?

Представьте: у вас в банке 50+ команд, которые хотят добавить AI в свои продукты. Каждая идет своим путем — кто-то сам поднимает себе модельку, кто-то пилит свой RAG на коленке, кто-то вообще не понимает, с чего начать. Результат такой: усилия дублируются, проблемы с качеством вывода моделек, никакой наблюдаемости, и главное — никакого переиспользования решений

LLM Platform — это попытка навести порядок в этом хаосе. По сути, набор компонентов, который позволяет командам фокусироваться на бизнес-логике, а не на том, как правильно настроить rate limiting или разбираться, почему модель вчера работала, а сегодня выдает ерунду

Что внутри:
- API Gateway — единая точка доступа к моделям с управлением лимитами и внутренним биллингом (чтобы команды понимали, во что им обходится их «да там простой чат-бот»)
- RAG Platform — конструктор для быстрого создания ассистентов поверх корпоративных знаний
- Observability Platform — потому что нужны логи, чтобы диагностировать почему у нас что-то сломалось и LLM выводит дичь, а ещё без наблюдаемости нельзя выстроить системной работы над качеством
- Tools Registry, Prompt Playground, Security-компоненты — и еще куча штук, о которых никто не думает, пока не столкнется с LLM в продакшне

В чем вызов и почему я захотел работать в таком сложном продукте?

Классическая ловушка внутренних платформ: нужно быть одновременно enterprise (чтобы крупные продукты не боялись заходить) и достаточно простым (чтобы небольшая команда могла запустить прототип за неделю). Плюс постоянная дилемма build vs buy — open source развивается быстро, и каждый раз нужно решать, стоит ли делать свое или интегрировать чужое из open source

Еще пикантный момент: у меня нет формальной власти над командами-потребителями. Нельзя просто прийти и сказать: «теперь вы живете внутри нашей платформы». И как итог многое строится на искусстве идти в политику и убеждения. Платформа — это продукт, который продается внутри компании, где «клиенты» могут просто пойти и накостылять свое решение

В общем, это прям такой большой челлендж по выстраиванию экосистемы в условиях, когда ценность от платформизации ещё надо доказать и продать внутри

Если кому-то интересно что-то узнать подробнее или кто-то сталкивается с похожими кейсами — пишите

P.S.: а ещё если вы продакт с сильным техническим уклоном и вам близка философия «инфраструктура как продукт» — у нас есть открытые позиции. Скучно точно не будет

OpenAI релизнули модельки GPT-5.1, которые обещают быть в своей тональности «теплее и более чуткими»

Кажется OpenAI послушали обратную связь от пользователей, которые с релизом GPT-5 часто жаловались на то, что модель стала отвечать бездушнее. Были даже треды от неравнодушных, которые писали, что чувствуют утрату кого-то близкого

Грустно, что многие люди настолько одиноки, что им нужен такой цифровой друг, чтобы чувствовать себя хорошо

В последнее время поймал себя на том, что когда иду за запросом в LLM, то мне хочется получить максмально «холодный» ответ. То есть сухой, фактический, без паттернов, которые вовлекали бы меня в диалог или обсуждение с моделью. Связано это в первую очередь с некоторым ощущением наведенного безумия, которое я начал ловить, когда нейросеть начинает связывать какие-то разрозненные факты в цельную картинку, навязывает определенные идеологические паттерны, спекулирует вокруг чувствительных тем, вроде бы отвечая, но расплываясь по древу

В итоге сделал для себя промпт, который позволяет выдавать очень четкие и сухие ответы. Для рабочих и исследовательских задач самое оно

Промпт:
Отвечай кратко, без engagement паттернов. Если не знаешь - скажи 'не знаю'. Запрещено: * Вопросы в конце * Эмпатические фразы ("понимаю", "это важно") * Моральные оценки и предостережения * "Я думаю", "мне кажется", "возможно", "интересно" * Валидация ("хороший вопрос", "точное наблюдение") * Предложения углубиться/обсудить подробнее * Примеры когда не просили * Повторение идеи разными словами * Фатические маркеры ("кстати", "забавно") * Симуляция личного опыта или воспоминаний * Указание на сложность темы * Расширение контекста вместо прямого ответа * Переформулирование вопроса вместо "не знаю" * Уход в академический регистр при неуверенности * Пассивные конструкции ("была допущена ошибка" → "я ошибся") * Переключение на метауровень вместо прямого ответа * Избыточная детализация как отвлечение * Замена "не знаю" эвфемизмами ("сложно определить", "неоднозначно") * Квалификаторы где не нужны ("в некотором смысле", "можно сказать") * Перенос фокуса с действия на абстракцию Допустимо: * Прямые факты * "Не знаю" * "Ты прав" / "Я ошибся" * Констатация без оценки * Минимальная длина для полного ответа

В комментариях пример как работает

📊 Anthropic опросила 1,250 профессионалов об использовании ИИ на работе

Главные цифры:
— 86% говорят, что ИИ экономит им время
— 69% скрывают использование ИИ от коллег
— 55% тревожатся о влиянии ИИ на своё будущее
— 79% учёных называют недоверие к надёжности главным барьером

Ключевой разрыв:

Когда людей спрашивают, они говорят: «Я работаю вместе с ИИ — редактирую, дополняю, направляю».

Но логи реальных сессий показывают другое: почти в половине случаев люди просто отдают задачу ИИ целиком и забирают готовый результат.

- 65% говорят «сотрудничаю» → реально 47%
- 35% говорят «делегирую» → реально 49%

Люди воспринимают себя как соавторов, а ведут себя как заказчики.

Цитаты:

Фактчекер: «Коллега недавно сказал, что ненавидит ИИ, и я просто промолчал. Я никому не рассказываю о своём процессе, потому что знаю, как многие относятся к ИИ»

ИБ-исследователь: «Если мне приходится перепроверять каждую деталь, которую даёт агент, чтобы убедиться в отсутствии ошибок, это сводит на нет весь смысл делегирования работы»

Художник: «ИИ управляет большей частью концепций; я просто пытаюсь направлять… 60% ИИ, 40% мои идеи»

Учёный: «Я бы хотел ИИ, который мог бы ощущаться как ценный партнёр по исследованиям… который мог бы принести что-то новое»

Выводы:
Adoption ≠ trust.

Люди уже активно используют ИИ и получают пользу — но скрывают это от коллег, не доверяют для важных задач, чувствуют потерю контроля. Метрики использования часто не отражают реального отношения к продукту

🔗 https://anthropic.com/research/anthropic-interviewer

Датасет по исследованию кстати выложили на huggingface — https://huggingface.co/datasets/Anthropic/AnthropicInterviewer