⭐️ AI на фотонных чипах все ближе: ученые провели тензорные вычисления с помощью света

В Университете Аалто в Финляндии разработали чип, который использует свет для выполнения тензорных вычислений — базовой операции современных нейронных сетей. Исследование опубликовано в Nature Photonics и описывает прототип оптической системы, где все процессы выполняются с помощью фотонов вместо электрических сигналов. Такой подход ускоряет операции и снижает энергозатраты по сравнению с электронными схемами.

Как свет заменяет электронику в ИИ?

Тензоры — многомерные массивы чисел, используемые во всех ключевых задачах ИИ: распознавании лиц, переводе текстов, управлении роботами. Графические процессоры, такие как NVIDIA H100, перемножают эти массивы за микросекунды, но для больших моделей, вроде языковых сетей с триллионом параметров, требуется недели обучения и сотни ватт мощности. Команда Аалто под руководством Юфэна Чжана из группы фотоники нашла другой путь: кодировать данные в световые волны и выполнять тензорные операции за один оптический проход.

Продолжение: https://vk.com/wall-210601538_1944

🔥 Яндекс скоро добавят функции ИИ-агентов в Алису AI, и это круто!
Забронировать ранний доступ и протестировать чуть раньше других можно по ссылке: https://alice.yandex.ru/waitlist#signup

⭐️ Вебинар "Создание AI-агентов для бизнеса: архитектура, реализация и внедрение"

Ранее подписчики просили меня больше выкладывать информации про ИИ-агентов. Предлагаю посмотреть вебинар специалиста Егора Максимова из Академии Softline, который подробно рассказывает про ИИ-агентов, разбирает архитектуру, объясняет их специфику применения для бизнеса и отвечает на вопросы слушателей.

Особенно рекомендую тем, кто только начинает погружаться в эту тему.

Ссылка на вебинар: https://vk.com/video-18875334_456239264

Архитектор MLSecOps
Николай Павлов

Друзья! Я рад анонсировать наши митапы по безопасности ИИ в Ереване и Санкт-Петербурге!

6 декабря (сб): Ереван, Армения
14:00 - 17:00 (UTC+4)
Letters and Numbers, 35G Tumanyan St
https://ods.ai/events/llamator-aisecurity-25
Спикеры расскажут статическом и динамическом тестировании моделей ML и LLM в частности, после чего обсудим, а как же можно защищать ML-модели и защищаться от них

12 декабря (пт): Санкт-Петербург, Россия
19:00 - 22:00 (UTC+3)
офис Selectel, улица Цветочная, д. 21, лит. А
https://ods.ai/events/llamator-aisecurity-selectel-25
Как выстроить MLSecOps-пайплайн в компании и рассказать коллегам и студентам о практиках безопасного использования ИИ – обсудим вместе со спикерами из ведущих университетов и компаний

Приходите, обсудим реальные практики MLSecOps и классно проведём время!

⭐️ AI security на практике: атаки и базовые подходы к защите

Привет, Хабр! Я Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage. В этой статье расскажу о нескольких интересных кейсах атак на ИИ-сервисы и базовых способах защиты о них. В конце попробуем запустить свой сервис и провести на нем несколько простых атак, которые могут обернуться серьезными потерями для компаний. А также разберемся, как от них защититься.

Почему это важно: немного цифр
Интеграция AI-сервисов остается одной из самых хайповых тем в ИТ в последние пару лет. Искусственный интеллект внедряют компании из разных отраслей, в разные процессы и под самые разные задачи.

При этом тема безопасности искусственного интеллекта в прикладном смысле только набирает обороты. Об этом говорит, например, исследование ландшафта угроз ИИ 2024-2025 от компании Hidden Layer.

Вот несколько цифр из этого отчета:

- 88% руководителей обеспокоены уязвимостями в интеграциях с ИИ от третьих лиц.

- 97% компаний используют предварительно обученные модели из репозиториев, таких как Hugging Face, AWS или Azure, но менее половины проверяют их на безопасность.

- 75% компаний сообщили об увеличении числа атак через ИИ-сервисы.

- 45% атак связаны с вредоносным ПО в моделях публичных репозиториев (прежде всего, Hugging Face).

При этом в России, согласно совместному исследованию VK и Prognosis, 70% компаний применяют ИИ.

Следом за массовой интеграцией ИИ-сервисов в бизнес, начало расти и количество кибератак на компании через этот вектор. Важно отметить, что часто для реализации инцидента злоумышленнику даже не нужно обладать специальными навыками – достаточно базово понимать логику работы нейросети и составить текстовый промт. Но об этом – в кейсах.

Ссылка на полную версию статьи на habr: https://habr.com/ru/companies/innostage/articles/970554

⭐️ Технологии безопасности Big Tech. MLSecOps в продакшене

Суперклассное видео с Павлом Литиковым, архитектором информационной безопасности AI-направления VK. Павел рассказывает о построении единой системы защиты для всех этапов жизненного цикла моделей.

В этом видео:
• как в VK обеспечивается безопасность на всех этапах — от данных до эксплуатации моделей
• архитектурные решения платформы и унификация защитных механизмов
• реальные примеры и уязвимости из практики VK

Срочно смотрим! :)
Ссылка: https://vk.com/video-777107_456239712

Архитектор MLSecOps
Николай Павлов

⭐️ В Госдуме РФ выступили с предложением о маркировке видеоконтента, который создается с помощью ИИ

Автор инициативы — представитель партии «Справедливая Россия» Дмитрий Гусев. Согласно законопроекту, каждый такой ролик должен иметь специальную отметку: видимое обозначение, отображаемое при просмотре видео, и машиночитаемую метку в метаданных, содержащую сведения о применении ИИ, дате и владельце ресурса.

За нарушение требований могут последовать штрафы:

- для физических лиц — от 10 до 50 тысяч рублей;
- для должностных лиц — от 100 до 200 тысяч рублей;
- для юридических лиц — от 200 до 500 тысяч рублей.

Авторы идеи считает, что такой подход поможет сделать интернет более безопасным и прозрачным. Пользователи смогут легко отличать обычные видео от тех, что созданы с помощью ИИ, а значит, будет проще бороться с фейками и манипуляциями.

Продолжение: https://vk.com/wall-210601538_1949

⭐️ OWASP Top 10 for Agentic Applications for 2026: Разбор главных угроз завтрашнего дня

Привет, Хабр! С вами снова Сергей Зыбнев, автор теле... а об этом позже. После нашего глубокого погружения в OWASP AI Testing Guide, пришло время заглянуть в будущее, которое наступит менее чем через месяц. Сегодня мы разберем еще один важнейший документ от OWASP, который смотрит на шаг вперед — OWASP Top 10 for Agentic Applications for 2026.

Если LLM — это мозг, то агентные системы — это полноценный организм с руками и ногами. Это ИИ, которые не просто отвечают на вопросы, а могут самостоятельно ставить цели, планировать и выполнять многошаговые задачи, используя различные инструменты (API, shell, браузер). Они могут управлять вашим календарем, писать код, заказывать товары и многое другое. И, конечно, такая автономия порождает совершенно новый класс угроз.

Этот Top 10 — попытка осмыслить и классифицировать риски, которые несут в себе эти мощные системы. Мы пройдемся по каждому из 10 пунктов, разберем их на реальных примерах и поговорим о том, как от них защищаться.

Продолжение: https://habr.com/ru/companies/owasp/articles/975504

⭐️ Вакансия AI Architect в крупную FinTech-компанию

Один из крупнейших FinTech-игроков Казахстана, который строит супер-приложение, объединяющее финансовые и повседневные сервисы в единой платформе в поисках опытного AI Architect для разработки и проектирования масштабируемой архитектуры для корпоративных AI-ассистентов.

Обязанности:

+ Проектирование архитектуры AI-ассистентов: интеграция LLM, данных, API и инструментов;
+ Разработка и оптимизация инфраструктуры для обучения, fine-tuning и эксплуатации моделей;
+ Создание систем контроля качества и автотестирования диалогов;
+ Построение конвейеров сбора, очистки и версиирования данных;
+ Внедрение RAG, memory management, multi-agent orchestration и адаптивных систем ответа;
+ Разработка архитектурных стандартов и практик observability.

Требования:

+ 5+ лет в AI/ML, 2+ года в архитектуре или системном дизайне AI-инфраструктуры;
+ Опыт создания LLM-ассистентов и глубокие знания LLM-архитектур и инструментов: n8n, LangChain, LlamaIndex, Haystack, Semantic Kernel, OpenDevin;
+ Опыт RAG, embeddings, vector search (FAISS, Pinecone, Weaviate, Qdrant, Elasticsearch);
+ Навыки настройки пайплайнов сбора и разметки данных (Label Studio, Prodigy и др.);
+ Опыт CI/CD для AI-моделей, Docker, Kubernetes, Prometheus, Grafana;
+ Уверенное владение Python (FastAPI, Pydantic, asyncio), REST/gRPC, микросервисы, event-driven;
+ Опыт с облачными AI-платформами: Azure OpenAI, AWS Bedrock, GCP Vertex, Hugging Face Hub.
+ Навыки внедрения eval-пайплайнов, reward models и feedback loops.
+ Желательно знание DevOps / MLOps стеков: MLflow, Airflow, DVC, Prefect, BentoML, Ray Serve (работать напрямую не требуется).

Условия:

+ Достойный уровень компенсации;
+ Офисный формат работы, офис в центре города Алматы (есть релокационный пакет);
+ ДМС;
+ График 5/2;
+ Официальное оформление по ТК РК;
+ Передовые и инновационные технологии, лучший технический стэк;
+ Позитивная и мотивированная команда;
+ Обучение, тренинги и курсы, языковые курсы за счет компании.

Контакт для отклика: @aveirochka

Спасибо всем за внимание! Желаю хорошего дня и отличных выходных!

⭐️ Российский рынок защиты ИИ-систем обещает перевалить за 1 млрд руб. в 2026 году

Рынок кибербезопасности для ИИ готовится к взрывному росту, прогнозируя объём в миллиарды рублей уже к 2026 году. Его подстёгивают первые громкие инциденты с утечками данных через AI-модели, которые создают спрос на защиту. При этом интеграция ИИ в бизнес опасно опережает внедрение систем контроля, открывая новое поле для кибератак и формируя стремительно растущий сегмент рынка.

Рынок решений для обеспечения информационной безопасности ИИ перевалит в 2026 году отметку в 1 млрд руб. Рынок еще только формируется, но по оценке IT-компании AppSec Solutions, его рост происходит в геометрической прогрессии. На рост рынка влияет возникновение первых крупных инцидентов, связанных с ИИ.

Примечательно, что оценка AppSec Solutions — еще не самая оптимистичная из представленных на рынке. В 2026 году рынок ИБ в ИИ может достигнуть уже 3-4 млрд руб. При этом российский рынок генеративного ИИ в 2024 году составил 13 млрд руб., а к концу 2025 года достигнет 58 млрд руб.

Как отметил директор по кибербезопасности «СберТеха» Всеслав Соленик, в 2025 году уже были зафиксированы первые публичные инциденты, связанные с утечками персональных данных из ИИ-моделей. Также были утечки и коммерческой тайны. Все это создает новый сегмент рынка.

Продолжение: https://vk.com/wall-210601538_1952

⭐ AI Secure Agentic Framework Essentials (AI-SAFE) от Яндекса доступен по ссылке, обязательно рекомендую ознакомиться, в том числе скачать полный отчет: https://yandex.cloud/ru/security/ai-safe?ysclid=mjaibby5em751161356&utm_referrer=https%3A%2F%2Fyandex.ru%2F

⭐ Очень интересный отчет с массой статистических данных, полезных фреймворков и перечнем современных инструментов MLSecOps. Крайне рекомендую ознакомиться 💫

⭐️ Написанный ИИ программный код менее безопасен и имеет больше ошибок, багов и уязвимостей, чем человеческий

Исследование компании CodeRabbit показало, что код, созданный с использованием инструментов искусственного интеллекта, содержит больше ошибок и уязвимостей, чем код, написанный людьми. В запросах на слияние изменений в коде (Pull Request), созданных с помощью инструментов ИИ, в среднем фиксировалось 10,83 ошибки, по сравнению с 6,45 ошибками в запросах на слияние, созданных человеком. Это приводит в конечном итоге к увеличенному времени проверок и потенциальному увеличению количества ошибок, попадающих в финальную версию продукта.

В целом, ошибок в запросах на слияние, сгенерированных ИИ, было в 1,7 раза больше, критических и серьёзных ошибок — также было в 1,4 раза больше, что нельзя отнести к мелким недочётам, как отмечает TechRadar. Ошибки в логике и корректности (в 1,75 раза), качество и удобство сопровождения кода (в 1,64 раза), безопасность (в 1,57 раза) и производительность (в 1,42 раза) показали в среднем более высокий уровень ошибок. В отчёте ИИ также критикуется за то, что вносит больше серьёзных ошибок, которые затем приходится исправлять людям-рецензентам.

Если говорить о безопасности кода, то среди наиболее вероятных проблем, которые может внести ИИ, указывается неправильная обработка паролей, небезопасные ссылки на объекты, уязвимости XSS и небезопасная десериализация (серьёзная уязвимость приложений, возникающая, когда программа преобразует ненадёжные данные).

Продолжение: https://vk.com/wall-210601538_1954

⭐️ ФСТЭК впервые выделила технологию искусственного интеллекта в качестве рисков для информационной безопасности

Соответствующие изменения в декабре 2025 г. уже внесены в банк данных угроз (БДУ).

В перечне ФСТЭК появились ИИ, ИТ-уязвимости в котором потенциально могут быть задействованы при кибератаках. Среди них — модели машинного обучения (ML), наборы обучающих данных (датаcеты), Retrieval Augmented Generation (RAG) т.е. подход, при котором ответ генерируется из информации от внешних источников и Low-Rank Adaptation (LoRA)-адаптеры т.е. подход, адаптирующий большие модели данных к конкретным задачам. Также в разделе описаны векторы возможных кибератак, например эксплуатация ИТ-уязвимостей в фреймворках (шаблонах) для ИИ, модификация системных промптов (запросов) или конфигураций ИИ-агентов, а также DoS-атаки т.е. кибератака, при которой используется одно устройство, направленные на исчерпание квоты запросов.

В сентябре 2025 г. первый заместитель директора ФСТЭК Виталий Лютиков анонсировал появление стандарта по безопасной разработке ИИ-систем в дополнение к стандарту по безопасной разработке программного обеспечения (ПО). По его словам, этот стандарт должен был быть готов до конца 2025 г. Опубликованный перечень киберугроз — это документ, на котором и будет основываться стандарт, объяснял Лютиков.

Продолжение: https://vk.com/wall-210601538_1955

🔥 MLSec vs MLSecOps: КТО ЗАЩИЩАЕТ МОДЕЛЬ, А КТО — ИНФРАСТРУКТУРУ

В прошлом посте мы разбирали, кто такой AI Security Engineer и зачем он нужен бизнесу, но если вы строите свои модели (ML), одного "универсального солдата" вам не хватит.
В зрелых компаниях (BigTech, FinTech) это минимум три специальности. Сегодня разбираем две главные: MLSec и MLSecOps.

Почему это важно:
Модель может быть математически безопасной, но если её доставили в прод через скомпрометированный CI/CD — она уже оружие против вас. И наоборот: защищённая инфраструктура не спасёт от атаки, когда модель обманывают "шумом" на картинке.

🧠 MLSec (Machine Learning Security) — защита алгоритмов
Это математик-параноик. Он рассматривает модель не как софт, а как функцию, которую можно "хакнуть" через входные данные.
С чем он борется:
🔻 Evasion Attacks (атаки уклонения) — злоумышленник добавляет невидимый шум на фото, и автопилот видит знак "80" вместо "Стоп".
🔻 Model Extraction (кража модели) — через серию запросов хакер восстанавливает архитектуру и параметры вашей модели (привет, конкурентам)
🔻 Data Poisoning (отравление данных) — незаметная порча обучающей выборке. Модель работает отлично, пока не увидит специальный триггер-ключ.

Реальность: MLSec — это уровень PhD (кандидата наук). Это дорого и сложно. Если вы не OpenAI или банк, скорее всего, вы не наймете такого человека в штат.

⚙️ MLSecOps (ML Security Operations) — защищает инфраструктуру
Это инженер по автоматизации на стероидах. Его не волнует математика модели. Его задача — гарантировать, что модель собрана из чистого кода, подписана и доставлена без подмены.

С чем он борется:
🔻 Supply Chain атаки (атаки на цепочку поставок) — популярные библиотеки для машинного обучения могут содержать вредоносный код. Сканирование зависимостей — базовая гигиена
🔻 Model Drift как индикатор атаки — если точность модели внезапно упала, это не всегда "плохие данные". Возможно, кто-то целенаправленно отравил входной поток
🔻 Подмена модели в проде — без криптографической подписи злоумышленник может заменить вашу модель на свою прямо в облачной инфраструктуре

Философия: "Shift Left for ML" — безопасность начинается на этапе сбора данных, а не перед релизом. MLSecOps автоматизирует проверки в CI/CD (Непрерывная доставка/Непрерывное развертывание): если модель не прошла проверку (например, не подписана или содержит уязвимые зависимости) — она не попадёт в прод.

Реальность: MLSecOps нужен всем, кто деплоит модели. Даже если у вас простой ML-сервис.

🤝Как они работают вместе
Этап дизайна:
MLSec советует архитектуру модели, устойчивую к атакам через искажённые данные.

Этап обучения:
MLSecOps настраивает автоматику: проверка данных на отравление, сканирование файлов модели, криптографическая подпись.

Этап эксплуатации:
MLSec проводит adversarial testing — подаёт модели искажённые данные, чтобы проверить её устойчивость к математическим атакам.
MLSecOps мониторит аномалии. Если что-то не так — автоматический откат на безопасную версию.

Главное правило: Эти специалисты не могут работать изолированно. Модель без безопасного конвейера — это бомба с часовым механизмом. Конвейер без защиты самой модели — это сейф с гранатой внутри.

📚 База знаний (Must Know):
📕 MITRE ATLAS — матрица реальных тактик атак на ИИ.
📕 OWASP ML Security Top 10 — главные риски классического ML.
📕 NIST AI RMF — золотой стандарт управления рисками ИИ (стандарт США, де-факто мировой).

В 2025 году защита ИИ — это не "поставить антивирус". Это математика + процессы + инфраструктура. Защита одного без другого — иллюзия.

https://vk.com/ai_hack_lab