Куда будут развиваться LLM-платформы в дальнейшем

Вижу интересную тенденцию, что большинство LLM-движухи сейчас сконцентрировано вокруг моделей: каналы пестрят новостями о новых релизах Anthropic, Google и остальных. Но на мой взгляд, ключевые инновации, которые будут влиять на то как быстро LLM будут проникать в бизнес и пользовательские приложения сейчас происходят в области LLM-инфраструктуры (LLMOps)

Это как было с data science – с ростом потребности в том, чтобы DS-решения были масштабируемые, управляемые, воспроизводимые появилась целая область MLOps, в которой на текущий момент несколько доминирующих платформ и тысячи узко-специализированных решений

Похожая история будет происходить и с LLM: ключевые задачи тут будут касаться менеджмента LLM-пайплайнов (в том числе промпт-менеджмента, оркестрации в комплексные агентные системы, а также автоматизированной оценки пайплайнов) и resource-management (что-то про то как выдавать качество, валидное для решения задачи, но с минимальной стоимостью, например, через оптимизацию выбора модели/архитектуры под задачу)

У меня была нудная задача. Признаюсь, что я очень многие задачи считаю нудными по умолчанию. И я вынужден сам вдыхать в них какую-то творческую составляющую, чтобы они переставали быть такими нудными. В общем, я сам себе сначала рою яму отчаяния от того, что «боже мой какая же это скучная задача», а потом из этой ямы выкарабкиваюсь различными героическими и почти что поэтическими путями

Задача моя состояла в том, чтобы сделать тренд-репорт о том, что вообще происходит с использованием ИИ в продуктах — какие тренды, нововведения. И я не хотел сознательно просто рассказывать про то, что появляются новые модели и т.д. и т.п. Также мне не хотелось делать компиляцию из уже известных тренд-репортов и сыпать банальностями в перемешку с баззвордами. Мне хотелось прям понять какие конкретные ИИ функции внедряют разные технологические компании в свои продукты и какие большие тренды из этого вырисовываются, в общем, по классике — сначала сигналы, потом паттерны

Как вы уже поняли, сделать эту задачу как-то откровенно плохо я не хотел, но и закрадывалась «перебирать тьму различных пресс-релизов и кропотливо выбирать из них те, что достойны включения в моё исследование — такое себе удовольствие»

В итоге я сделал задачу с помощью ИИ — поэтапно собрал источники, скопировал всё что нужно в единый док и скормил его Claude (хотя конечно можно было бы сделать сразу Deep Research в Claude, но я так не хотел, потому что не контролировал бы источники)

А ещё прелесть в том, что когда решаешь задачу через ИИ, то фактически документируешь весь процесс. В итоге навайбкодил сделал вот такую симпатичную страничку с помощью Claude и Replit, примерно за 2 часа, которая рассказывает обо всём процессе в занимательной форме

Я ещё позже отрефлексирую что это вообще значит глобально, но общая суть в том, что:
а) делать задачи становится проще — новая задача становится экспериментом по взаимодействию человека и ИИ;
б) выполняя задачи с помощью ИИ вы фактически попутно документируете процесс выполнения, а значит выше вероятность, что эту задачу вы можете делегировать;
в) эти алгоритмы решения позже могут быть переложены в агентную систему и выполнены с минимальным участием человека;
г) бонусно вы можете производить из каждого такого взаимодействия с ИИ некоторое количество контента разных форм — как некие behind the scenes вашей деятельности;
д) весь этот контент может быть упакован в one-pager, который предоставляет некоторую базовую интерактивность, а не просто статичен, а стоимость производства такого контента довольно-таки мала

Ну и сам отчет почитайте

Завтра вместе с Сашей Поляковым будем рассказывать про ИИ-сервисы для разработки и автоматизации. Приходите в бота и регистрируйтесь https://news.1rj.ru/str/workshow_bot по слову Дегустация

LangChain запустили Open Deep Research — open-source решение для построения агентских цепочек исследований с LLM

Пока все крупные игроки (OpenAI, Anthropic, Perplexity, Google) выпускают свои проприетарные решения для deep research, LangChain создали открытую альтернативу на базе LangGraph.

Что внутри:
• Трёхэтапный процесс: уточнение задачи → исследование → написание отчёта
• Мульти-агентная архитектура с супервизором и под-агентами для параллелизации
• Гибкость — можно подключить любые модели, поисковые инструменты и MCP-сервера

Ключевые инсайты:
• Мульти-агенты хороши только для легко распараллеливаемых задач (исследование), но плохи для координации (написание отчёта);
• Контекст-инжиниринг критически важен — без него расход токенов взлетает в 15 раз;
• Изоляция контекста по подтемам решает проблемы длинного контекста

Интересно как решили проблему координации: Изначально пытались параллельно писать разные секции отчёта разными агентами — получалась каша. Поэтому оставили мульти-агентность только для сбора информации, а финальный отчёт генерируют one-shot после завершения всех исследований. Простое, но эффективное решение дилеммы скорости vs качества

Где попробовать: Можно потестить прямо на демо-инстансе их Open Agent Platform — просто вводишь API ключи и пользуешься. Или запускаешь локально через LangGraph Studio.

Код на GitHub

Новость в блоге LangChain

Semantic Outlier Removal with Embedding Models and LLMs

Наткнулся на интересную статью с практичным подходом к очистке веб-страниц

Проблема знакома многим: при парсинге сайтов приходится отделять основной контент от навигации, футеров, рекламных блоков и прочих элементов интерфейса

Обычно это решается написанием специфичных правил для каждого сайта — трудозатратно и неуниверсально

Автор предлагает элегантное решение через эмбеддинги:
1. Извлекаем все HTML-теги с текстом и фиксируем уровень их вложенности
2. Передаем эти данные в модель эмбеддингов
3. Отдельно подаем заголовок страницы и основную тему
4. Фильтруем элементы по семантическому расстоянию

Подход работает универсально — модель понимает смысловую связь между элементами и основной темой страницы, автоматически отсекая нерелевантный контент

Выглядит перспективно, особенно для проектов, где нужно обрабатывать контент с разнородных сайтов

Кто-то уже применял подобные методы? Буду благодарен за опыт использования и ссылки на реализации (мб уже знаете либы для очистки через LLM)

Ещё один разрывной кейс: дано 15 открытых вкладок, просим Comet все их сгруппировать по тематикам, а потом по группе делаем сжатый (но при этом всё равно достаточно подробный) конспект

Промпт для получения конспекта по группе вкладок в комментариях