😈 Фальшивый ИИ-сайдбар — помощник с двойным дном

Исследователи кибербезопасности разработали новую атаку на ИИ-браузеры под названием AI Sidebar Spoofing. Для этого они внедрили в браузеры Comet и Atlas вредоносный сайдбар, — боковую панель, через которую пользователь «общается» с нейросетью.

Фальшивый помощник работает почти как настоящий: передаёт легитимной LLM-модели запросы от пользователя и показывает ответы ИИ. Вот только время от времени расширение подменяет инструкции на вредоносные, предлагает жертве перейти по фишинговой ссылке или вовсе подталкивает её выполнить опасную команду.

Слепое доверие ИИ-ответам может привести к печальным последствиям: с помощью AI Sidebar Spoofing злоумышленники способны угонять криптокошельки, захватывать Google-аккаунты и компрометировать устройства.

В нашем материале рассказываем о трёх сценариях использования атаки и даём советы, как не стать жертвой поддельного ИИ-сайдбара.

Отраслевые LLM: хайп или тренд

Прямо сейчас я на Conversation AI. Лучшая, на мой взгляд, конференция по AI, которая концентрируется на специалистах, сообществе и бизнес-результатах.

О чем говорили хэдлайнеры конференции и в чем сошлись их мнения? Изучил доклады и лично задал вопросы.

👨 Данил Ивашечкин. Head of AI – Норникель

1. AI – инструмент, а не панацея. Инструмент мощный, но требующий экспертизы, данных и понимания процессов.

2. AI усиливает хорошо структурированное и описанное. Если в компании и ее процессах хаос – AI увеличит хаос.

3. AI-прототип не равно продукт. Собрать демо можно за ночь. Сделать надежный и эффективный сервис – задача месяцев работы.

Мнение автора: Очень разделяю. При внедрении LLM в Робота Макса мы за 3 дня сделали прототип и провели демо руководителям Минцифры России, чтобы доказать состоятельность видения. Но сам путь внедрения и отладки занял еще 6 месяцев, несмотря на поддержку крупнейших партнеров из GenAI отрасли.

4. Культура – один из ключевых факторов успешного применения AI. Если сотрудники не понимают ценности и принципы применения AI, скорость внедрения и эффекты будут низкими.

5. METALgpt – 🔥 Норникель выпустит доменную ЛЛМ. Анонсируют кратное сокращение затрат на инференс и лучшее понимание узкой отраслевой терминологии.

👩 Светлана Сафронова. Управляющий директор управления ИИ-решений – Сбер

1. Доходы от применения GenAI растут. 1.1 трлн долларов к 2028 году

2. Рынок GenAI вырастет в 2.4 раза к 2030 году

3. 85% компаний уже внедряют GenAI

4. При этом в России внедрение GenAI только начинается

5. Industry-specific AI – 🔥 Новый тренд. Модели, которые говорят на языке отрасли.

Яркий пример – AlphaFold 3, который специализируется на генерации структуры белков, ДНК и РНК.

💎 Для чего нужны отраслевые модели

Kimi-K2 имеет 1 триллион параметров, кажется при ее обучении должны были применить весь интернет и все доступные данные. А данные двух или трех компаний в узком рыночном сегменте кажутся каплей в море. Но не все так просто.

Представьте, что к вам обратился человек с вопросом: "Как вылечить гастрит". Опытный врач дал вам несколько лучших учебников. Сколько времени уйдет у вас, чтобы найти подробный ответ на вопрос? В этом случае вы играете роль обычной неспецифичной LLM.

Продолжая этот пример. Отраслевая модель – это "врач-гастроэнтеролог". Он знает базу, знает, что не брать во внимание, а что наоборот брать. Что устарело, а что актуально. Зато такой "специалист" сильно хуже ответит вам о рецепте приготовления квашеной капусты.

✅ Плюсы специфичных отраслевых моделей

1. Экономия на "железе". Многосторонняя LLM требует серьезных инвестиций в вычислительную инфраструктуру. Заточенные под узкоспецифичные задачи модели (на 5-20 млрд параметров) работают быстрее и потребляют меньше электричества.

2. Глубина знаний. Специализированные модели лучше управляют доменными знаниями. Медицинская модель не начнет советовать «поменять масло», когда вы спросите про «клапаны» сердца. Она понимает контекст отрасли глубже.

🚧 Проблемы

1. Порог входа. Создание своей модели – процесс долгий и дорогой. Нужны дефицитные специалисты и дорогое железо для дообучения. Хотя, скорее всего, скоро нас ждет масса open source доменных моделей.

2. «Купить или Строить». Применение таких моделей зависит от уровня развития бизнеса. Иногда проще, быстрее и дешевле подключить YandexGPT или GigaChat API, чем дообучать специфичную модель.

🎯 Выводы

1. Будет появляться все больше специфичных LLM. Отраслевая битва не за горами. Модели для юристов, врачей, водителей большегрузов, нефтяной сферы, космоса – в большом разнообразии начнут появляться в 2026 году.

2. Шанс на успех выше у компаний, обладающих доступом к закрытым специфичным данным в большом объеме. Очередь в университеты и исследовательские лаборатории уже начинает собираться.

❤️ Ждем доменные модельки
💔 Это все хайп
🤡 Где мой гастроэнтеролог?

Всем привет!

Встречайте двадцать третий выпуск подкаста "Капитанский мостик". В этом эпизоде обсуждаются последние новости в области робототехники и автоматизации, а также рассматриваются вопросы безопасности смарт-контрактов и их уязвимости. Ведущие подкаста - Валентин Малых и Дмитрий Колодезев.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube

📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).

Китайцы собрали своего терминатора

Гуманоид T800 от EngineAI пинает генерального директора Чжао Туняна.

Мой Компьютер