Отраслевые LLM: хайп или тренд

Прямо сейчас я на Conversation AI. Лучшая, на мой взгляд, конференция по AI, которая концентрируется на специалистах, сообществе и бизнес-результатах.

О чем говорили хэдлайнеры конференции и в чем сошлись их мнения? Изучил доклады и лично задал вопросы.

👨 Данил Ивашечкин. Head of AI – Норникель

1. AI – инструмент, а не панацея. Инструмент мощный, но требующий экспертизы, данных и понимания процессов.

2. AI усиливает хорошо структурированное и описанное. Если в компании и ее процессах хаос – AI увеличит хаос.

3. AI-прототип не равно продукт. Собрать демо можно за ночь. Сделать надежный и эффективный сервис – задача месяцев работы.

Мнение автора: Очень разделяю. При внедрении LLM в Робота Макса мы за 3 дня сделали прототип и провели демо руководителям Минцифры России, чтобы доказать состоятельность видения. Но сам путь внедрения и отладки занял еще 6 месяцев, несмотря на поддержку крупнейших партнеров из GenAI отрасли.

4. Культура – один из ключевых факторов успешного применения AI. Если сотрудники не понимают ценности и принципы применения AI, скорость внедрения и эффекты будут низкими.

5. METALgpt – 🔥 Норникель выпустит доменную ЛЛМ. Анонсируют кратное сокращение затрат на инференс и лучшее понимание узкой отраслевой терминологии.

👩 Светлана Сафронова. Управляющий директор управления ИИ-решений – Сбер

1. Доходы от применения GenAI растут. 1.1 трлн долларов к 2028 году

2. Рынок GenAI вырастет в 2.4 раза к 2030 году

3. 85% компаний уже внедряют GenAI

4. При этом в России внедрение GenAI только начинается

5. Industry-specific AI – 🔥 Новый тренд. Модели, которые говорят на языке отрасли.

Яркий пример – AlphaFold 3, который специализируется на генерации структуры белков, ДНК и РНК.

💎 Для чего нужны отраслевые модели

Kimi-K2 имеет 1 триллион параметров, кажется при ее обучении должны были применить весь интернет и все доступные данные. А данные двух или трех компаний в узком рыночном сегменте кажутся каплей в море. Но не все так просто.

Представьте, что к вам обратился человек с вопросом: "Как вылечить гастрит". Опытный врач дал вам несколько лучших учебников. Сколько времени уйдет у вас, чтобы найти подробный ответ на вопрос? В этом случае вы играете роль обычной неспецифичной LLM.

Продолжая этот пример. Отраслевая модель – это "врач-гастроэнтеролог". Он знает базу, знает, что не брать во внимание, а что наоборот брать. Что устарело, а что актуально. Зато такой "специалист" сильно хуже ответит вам о рецепте приготовления квашеной капусты.

✅ Плюсы специфичных отраслевых моделей

1. Экономия на "железе". Многосторонняя LLM требует серьезных инвестиций в вычислительную инфраструктуру. Заточенные под узкоспецифичные задачи модели (на 5-20 млрд параметров) работают быстрее и потребляют меньше электричества.

2. Глубина знаний. Специализированные модели лучше управляют доменными знаниями. Медицинская модель не начнет советовать «поменять масло», когда вы спросите про «клапаны» сердца. Она понимает контекст отрасли глубже.

🚧 Проблемы

1. Порог входа. Создание своей модели – процесс долгий и дорогой. Нужны дефицитные специалисты и дорогое железо для дообучения. Хотя, скорее всего, скоро нас ждет масса open source доменных моделей.

2. «Купить или Строить». Применение таких моделей зависит от уровня развития бизнеса. Иногда проще, быстрее и дешевле подключить YandexGPT или GigaChat API, чем дообучать специфичную модель.

🎯 Выводы

1. Будет появляться все больше специфичных LLM. Отраслевая битва не за горами. Модели для юристов, врачей, водителей большегрузов, нефтяной сферы, космоса – в большом разнообразии начнут появляться в 2026 году.

2. Шанс на успех выше у компаний, обладающих доступом к закрытым специфичным данным в большом объеме. Очередь в университеты и исследовательские лаборатории уже начинает собираться.

❤️ Ждем доменные модельки
💔 Это все хайп
🤡 Где мой гастроэнтеролог?

Всем привет!

Встречайте двадцать третий выпуск подкаста "Капитанский мостик". В этом эпизоде обсуждаются последние новости в области робототехники и автоматизации, а также рассматриваются вопросы безопасности смарт-контрактов и их уязвимости. Ведущие подкаста - Валентин Малых и Дмитрий Колодезев.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube

📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).

Китайцы собрали своего терминатора

Гуманоид T800 от EngineAI пинает генерального директора Чжао Туняна.

Мой Компьютер

🧠 Продвинутая типизация Python, о которой почти никто не знает

Статья показывает, что Python уже давно вышел за рамки простых List[int] и Optional[str].

Главные идеи:

✔️ TypeGuard и новый TypeIs позволяют писать функции, которые доказательно сужают типы - например, проверка превращает Any в конкретный тип для дальнейшего кода.

✔️ assert_never из typing помогает ловить случаи, когда ты забыл обработать один из вариантов, что особенно важно в match и сложных условных ветках.

✔️ Python 3.13+ добавляет улучшенный вывод типов и строгие проверки, чтобы типизированный код стал надёжнее.

✔️ Поддержка typed function overloading - теперь можно описывать разные сигнатуры для одной функции, и анализаторы понимают их корректно.

📌 Вывод из статьи - Python типизация уже стала инструментом для архитектуры и предотвращения ошибок, особенно в больших проектах. Но большинство разработчиков использует только её простейший слой.

Кому полезно:
• работаешь с крупными кодовыми базами
• пишешь библиотеки
• хочешь меньше скрытых багов и более предсказуемые refactor-ы

Источник: martynassubonis.substack.com/p/advanced-overlooked-python-typing

Недавно завершилось соревнование по памяти в LLM для диалогов – GigaMemory: global memory for LLM (хабр)

Основной метрикой выступала Accuracy.

1-е место (86,6%) Вместо классического RAG для каждого чанка текста модели отдельно задают вопрос: Релевантен ли этот текст заданному вопросу?. Модель должна ответить токеном Да или Нет. По logprobs этих токенов рассчитывается уровень уверенности. В итоге возвращается список чанков, где уверенность выше порога 0.5. На основе этой информации формируется первичный ответ, который затем используется для итогового решения.

2-е место (84,5%) Подход технически сложнее, но концептуально похож на решение победителя.

3-е место (74,5%) Классический RAG с энкодером bge-m3 – этого оказалось достаточно для призового места.

Решения звучат интересно, но кажется в топ 2 решениях, под каждый запрос все прошлые диалоги перечитываются заново, а не берутся из уже готовой краткой выжимки 🤔