⭐️ Кодекс этики в сфере разработки и применения ИИ на финансовом рынке от Банка России

Особенно важен для специалистов из FinTech. А для инженеров и архитекторов MLSecOps в нем особенно важен пятый раздел, и особенно п. 5.7 где по сути устанавливается требование к резервированию исполнения критических функций ИИ-систем на случай их дискредитации или выхода из строя:

5. ПРИНЦИП БЕЗОПАСНОСТИ, НАДЕЖНОСТИ И ЭФФЕКТИВНОСТИ

5.1. Организациям рекомендуется принимать следующие меры:
1) проверка качества наборов данных;
2) проверка качества искусственного интеллекта;
3) мониторинг качества искусственного интеллекта;
4) обеспечение информационной безопасности;
5) обеспечение конфиденциальности информации;
6) обеспечение непрерывности деятельности.

5.2. В рамках проверки качества наборов данных для разработки искусственного интеллекта организациям рекомендуется проверять используемые наборы данных, в том числе на предмет их достоверности, точности и полноты, собирать и хранить информацию об источниках наборов данных, разметке данных, исправлять неточности в наборах данных и осуществлять их актуализацию.

5.3. В рамках проверки качества искусственного интеллекта организациям рекомендуется установить показатели качества искусственного интеллекта и проверять при разработке искусственного интеллекта соответствие искусственного интеллекта установленным организацией показателям качества, в том числе посредством валидации, добровольной сертификации.

5.4. В рамках мониторинга качества искусственного интеллекта организациям рекомендуется регулярно осуществлять проверку применяемого искусственного интеллекта на предмет соответствия установленным организацией показателям качества.

5.5. В рамках обеспечения информационной безопасности организациям рекомендуется учитывать риски искусственного интеллекта, связанные с нарушением информационной безопасности и операционной надежностью, и осуществлять оценку достаточности имеющихся и планируемых к реализации мер противодействия угрозам информационной безопасности на всех этапах разработки и применения искусственного интеллекта, в том числе в отношении наборов данных.

5.6. В рамках обеспечения конфиденциальности информации организациям рекомендуется разработать систему технологических и организационных мер по обеспечению безопасности данных ограниченного доступа, используемых при разработке и применении искусственного интеллекта, в том числе меры, связанные с их обезличиванием и противодействием их несанкционированному распространению при применении больших генеративных моделей сотрудниками организации и ее клиентами.

5.7. В рамках обеспечения непрерывности деятельности организациям рекомендуется обеспечить выполнение значимых функций, осуществляемых с применением искусственного интеллекта, сотрудниками организации в случае временной невозможности применения искусственного интеллекта.

Ссылка на полную версию: https://cbr.ru/Content/Document/File/178667/code_09072025.pdf

Архитектор MLSecOps
Николай Павлов

⭐️ Вакансия MLOps инженера в Selecty 🔥

Формат работы: удаленка 👍
Занятость: полная
Заработная плата: от 250 до 400 тр. гросс, в зависимости от опыта и способа оформления

О проекте:
Мы в поиске опытного MLOps на проект крупнейшего банка РФ, на котором используются передовые технологии машинного обучения, такие как компьютерное зрение (CV), обработка естественного языка (NLP) и Retrievers-Augmented Generation (RAG), чтобы создавать и внедрять сервисы «под ключ», интегрированные в бизнес-процессы банка.

Чем предстоит заниматься:
- Управлять полным жизненным циклом ML-моделей: разрабатывать CI/CD пайплайны, проводить версионирование с MLflow и автоматизировать ретрейнинг.
- Контейнеризировать решения с помощью Docker и развертывать их через Kubernetes, а также осуществлять оркестрацию с Apache Airflow.
- Внедрять системы мониторинга (например, Prometheus, Grafana), анализировать инциденты и оптимизировать использование ресурсов.
- Разрабатывать интеграции через REST API, создавать автоматизированные пайплайны и внедрять инфраструктуру как код.

Что мы ждем от вас:
- 3+ лет опыта работы с Python.
- Опыт работы с Docker и Kubernetes, практическое владение MLflow и Apache Airflow.
- Навыки DevOps, включая CI/CD и мониторинг.
- Понимание и опыт работы с проектами на базе ML и производственными ML-системами.
Плюсом будет:
- Знания в области распределенных вычислений (Spark, Hadoop) и опыт работы с векторными базами данных.
- Знакомство с ML-фреймворками, такими как MLflow и ZenML.

Стек:
- Оркестрация: Apache Airflow
- ML Lifecycle: MLflow
- Контейнеризация: Docker, Kubernetes
- CI/CD: GitLab CI, GitHub Actions
- Мониторинг: Prometheus, Grafana
- Языки программирования: Python, Go/Bash
- ML библиотеки: CatBoost, scikit-learn, PyTorch, Keras
- Потоковая обработка: Apache Kafka
- Apache Spark для работы с большими данными
- Feature stores
- Объектные хранилища: S3, MinIO

Условия:
- Оформление по ТК/ИП в IT интегратор
- ДМС со стоматологией с первой рабочей недели
- По желанию кандидата выдаем технику для работы
- Скидки на фитнес, обучение, кинотеатр
- Удаленная работа, гибкая з/п вилка
- Реферальные программы и ежегодные перфоманс-ревью

TG для отклика: @natashevlyakova

⭐️ Академия АйТи (кластер FabricaONE AI ГК Softline) объявляет о запуске третьего потока программы «Data Steward: специалист по стратегическому управлению данными» 🔥

Образовательная программа «Data Steward: специалист по стратегическому управлению данными» — один из первых в России курсов по подготовке специалистов в этой перспективной области. Программа повышения квалификации готовит специалистов, способных обеспечивать качество, целостность и безопасность корпоративных данных.

Сегодня многие организации сталкиваются с проблемой «цифрового хаоса»: данные накапливаются бессистемно, нет единых стандартов хранения, нет критериев оценки качества данных, а несоблюдение регуляторных требований приводит к финансовым потерям и репутационным рискам. Устаревший технологический стек, задержки в принятии решений из-за плохой навигации в данных, ограниченность источников данных, инциденты с «грязными» данными влияют на доверие клиентов и HR-бренд. Data Steward — именно тот, кто решает эти проблемы, выстраивает стратегию работы с данными и становится связующим звеном между бизнесом и технологиями — вне зависимости от их текущего уровня в компании. Эта роль важна для любых организаций: от тех, где аналитика ведется в табличных редакторах, до корпораций с современными фреймворками. Как правило в небольших организациях Data Steward представляет собой роль, тогда как в крупных — это отдельная должность.

Чтобы подготовить таких экспертов, Академия АйТи разработала программу из 12 модулей, которые сочетают теорию с практическими работами и охватывают разные темы — от трендов в Big Data до практического формирования Data Governance. Слушатели изучат такие важные вопросы, как Data Quality, машинное обучение для бизнеса, моделирование данных, влияние искусственного интеллекта на работу с данными. Они также освоят управленческие навыки, включая взаимодействие с бизнес-подразделениями, проведение тренингов и семинаров для пользователей. Научатся действовать в условиях инцидентов, связанными с данными, узнают про Каталоги и Глоссарии данных.

Обучение третьего потока начнется 18 ноября 2025 года и продлится две недели с технической поддержкой слушателей в течение трех месяцев после окончания. Занятия будут проходит в гибком онлайн-формате по вечерам и по субботам, что позволяет учиться без отрыва от основной работы или учебы. Курс предназначен для ИТ-специалистов, аналитиков, администраторов баз данных, руководителей и HR-менеджеров компаний, внедряющих роль Data Steward. Одновременно он подойдет и для тех, кто только начинает свой путь в сфере IT - профессия Data Steward не требует таких глубоких навыков, как, например, Data Engineer или MLSecOps. Программа также будет полезна всем, кто интересуется управлением данными и желает повысить квалификацию. В конце обучения выпускники получат удостоверение государственного образца, подтверждающее повышение квалификации. При этом стоимость обучения минимальна.

Ссылка на учебную программу: https://academyit.ru/courses/ds-dg

Архитектор MLSecOps
Николай Павлов

⭐️ Закон «Об искусственном интеллекте» приняла 24 сентября 2025 года нижняя палата парламента Казахстана (Мажилис).

Важные положения закона:

1. Классификация систем ИИ.
ИИ-системы будут делиться по уровню риска (низкий, средний, высокий) и степени автономности. Системы высокого риска приравняют к критической инфраструктуре, и они будут под особым контролем.

2. Защита граждан.
Граждане получат право получать информацию о работе системы, отказываться от взаимодействия с ИИ (если это не установлено законом) и требовать пересмотра решений.

3. Обязательная маркировка синтетического контента.
Это нужно, чтобы пользователи могли отличать его от реального. При оказании услуг или продаже товаров с ИИ граждане должны быть предупреждены об этом.

4. Авторское право.
Произведения, созданные ИИ без участия человека, авторским правом защищаться не будут. Но охраняемыми могут стать творческие запросы пользователей — промпты.

5. Ответственность за вред, причинённый системами ИИ.
За ущерб отвечают владельцы и операторы таких систем. Страхование ответственности пока остаётся добровольным, но рассматривается как важный инструмент защиты прав граждан.

6. Прозрачность и безопасность ИИ-систем.
В законе закреплены правовое и организационное регулирование, обеспечение прозрачности и безопасности в сфере ИИ, особенности применения технологий государственными органами и квазигосударственными организациями.

Продолжение: https://vk.com/wall-210601538_1932

⭐️ По просьбе подписчицы выкладываю полный текст закона "Об искусственном интеллекте" Республики Казахстан на русском языке, ссылка ниже

Еще раз краткий обзор от меня.

В законе много на мой взгляд довольно жестких требований, особенно в Статье 7 "Прозрачность и объяснимость" - "Пользователь, в отношении которого принимаются решения с использованием систем искусственного интеллекта, имеет право ... заявить возражение против автоматизированной обработки, а также о порядке защиты своих прав, свобод и законных интересов"

Про статью 6 "Справедливость и равенства" всем и так все очевидно, что это огромный объем работы по обеспечению равноправия и недискриминации, и все ML-специалисты понимают, что прямо идеально это реализовать будет очень сложно.

Неожиданное требование по поводу "Создание и эксплуатация системы искусственного интеллекта осуществляются с учетом энергоэффективности и стремления к снижению негативного воздействия на окружающую среду." - значит, это как минимум должно быть на уровне обоснования и уже сейчас все российские компании, имеющие ИИ-системы, должны принимать какие-то меры по энергоэффективности, хотя бы на уровне алгоритмов, балансировки нагрузки и т.п., и фиксировать эти меры себе на бумаге, чтобы потом не было вопросов после утверждения подобного российского закона.

По поводу статьи 10. Защита данных и конфиденциальности я уже около года говорю в своей учебной программе по MLSecOps в Академии Softline, что это все важно понимать и учитывать и на уровне инженеров/архитекторов MLSecOps.

По статье 11 - "Статья 11. Безопасность и защищенность", которая как оказывается включает и требования по отказоустойчивости я тоже уже 2 года доношу как могу, что MLSecOps это еще и SRE моделей, то есть обеспечение надежности их инфраструктуры и без этого полноценное обеспечение безопасности ИИ-систем недопустимо.

Также ясно, что Казахстан создает Национальную платформу по искусственному интеллекту, где тоже будет масса требований и регламентов, уже более конкретных, технических и четких, что увеличит объем внутреннего мониторинга компаний.

В ст. 15 опять же говорится про отказоустойчивость, оценку и нивелирование рисков, обязательное и подробное ведение технической документации. И - главное - про Техподдержку пользователей ИИ-систем (я считаю что сюда же относим и форму обратной связи, как и кнопку "нравится/не нравится").

Статья 16 п. 5 обязует создателей ИИ-систем давать объяснение как принимаются решения, но и указывает на то, что опираемся при этом на пользовательское соглашение. Соответственно это и выход (пусть и временный), компаниям нужно максимально грамотно прописывать такие соглашения и не набирать в них излишних обязательств.

ИИ-системы делятся на три уровня критичности и в то же время на три уровня автономности. Есть и довольно широкий перечень полностью запрещенных ИИ-систем.

Ст. 18 "Управление рисками ИИ" предполагает ежегодное обновление и переоценку этих рисков (я считаю минимум раз в квартал нужно переоценивать все риски в идеале).

Ст. 24 обязывает возмещать вред, причиненный ИИ-системами. Однако нет четкого предписания, кто именно возмещает вред - просто ссылка на ГК Республики Казахстан.

Ссылка: https://senate.parlam.kz/ru-RU/lawProjects/download?fileId=30429&lawId=7125

Архитектор MLSecOps
Николай Павлов

⭐️ MLSecOps by Protect AI

Внимательно слежу за каждым выпуском подкаста MLSecOps от Protect AI. Здесь часто выступают специалисты из OWASP, а также самой Protect AI, из других топовых компаний, причем из разных стран мира.

Удобно, что под каждым подкастом всегда есть расшифровка текста. Поэтому продуктивнее всего вообще не заходить на YouTube и слушать там, вникая в тонкости перевода и диалектов выступающих, а сразу же брать весь текст и переводить его целиком с учетом контекста.

Темы и выступления экспертов в целом несложные, что добавляет ценность этому подкасту для широкой аудитории.

Ссылка подкаст MLSecOps: https://mlsecops.com

Архитектор MLSecOps
Николай Павлов

⭐️ Интересная статья про HiveTrace и HiveTrace Red

Нашел время и наконец-то детальнее познакомился с новым российским MLSecOps-инструментом HiveTrace Red, благодаря авторской статье Евгения Кокуйкина.

Редтиминг HiveTrace Red — это фреймворк на Python. Сначала собирается набор тестовых запросов, затем они расширяются с помощью более 80 видов атак. Модель «жертва» отвечает на эти атаки, а система анализирует ответы и определяет, где модель уязвима. Все этапы сохраняются для аудита. Результаты отображаются в отчете: сколько атак прошло успешно, какие промты оказались опасными, и примеры реакций модели.

HiveTrace Red подключается через API или работает с локальными моделями, поддерживает любые платформы. Есть open source-версия на GitHub, а коммерческая версия содержит продвинутые атаки для сценариев необходимых для обеспечения безопасности корпоративных систем, веб-интерфейсом и CI/CD-интеграцией.

HiveTrace — это система защиты от атак, содержащая модель guardrail и функции мониторинга агентных систем. Она встраивается между запросами пользователя и ответами агентной модели в приложении. Она может пропускать сообщения или блокировать вредоносные запросы в реальном времени. Подключать HiveTrace можно как для отдельных приложений через официальный SDK, так и в режиме прокси, в котором HiveTrace выступает шлюзом трафика для целевой нейросети.

После отправки запроса все данные автоматически попадают в аналитическую платформу HiveTrace. Там можно отследить, какие сообщения и ответы были получены, увидеть аналитику безопасности, и контролировать, как пользователи и модели взаимодействуют. Это помогает вовремя выявлять нарушения и управлять рисками при работе с LLM.

Ссылка на полную версию этой статьи: https://generation-ai.ru/cases/hivetrace

Архитектор MLSecOps
Николай Павлов

⭐️ DevSecOps → MLSecOps: что делать ИБ в 2026 (Алексей Лукацкий)

Всем моим друзьям, коллегам и студентам рекомендую посмотреть интересное интервью Ильи Шабалова (AM Live) с Алексеем Лукацким (Positive Technologies) о том, как ИИ уже используется в атаках — и почему ИБ переходит от DevSecOps к MLSecOps. Разбираем LLM-firewall, jailbreak-prompts, дипфейки и model drift на языке практики: что внедрять в 2025–2026, какие риски учитывать и какие навыки нужны специалистам.

Из интервью вы поймёте, как строить защиту от ИИ-атак, где проходят границы ответственности ИБ и ML-команды, и что реально помогает SOC командам уже сегодня.

В выпуске:
• зачем бизнесу переходить от DevSecOps к MLSecOps
• как ИИ используется для фишинга, дипфейков и многоагентных атак
• что такое jailbreak-prompts и model drift, и как их контролировать
• как работает LLM-firewall и когда нужны внутренние LLM
• почему безопасность ML-проектов начинается с данных и культуры их использования
• какие навыки понадобятся ИБ-специалистам уже завтра

Полезно для CISO, архитекторов ИБ, руководителей SOC, ML-инженеров, разработчиков AI-систем и, конечно, MLSecOps-инженеров и архитекторов.

Ссылка: https://rutube.ru/video/9b379b36ae2854d1b96cdea19536dbb3/

Архитектор MLSecOps
Николай Павлов

🔥 Крупный российский банк ищет AI Safety Tech Lead

Мы стремимся к развитию искусственного интеллекта и понимаем, что создание безопасной и надежной платформы крайне важно для нашей миссии и наших клиентов.
Поэтому мы ищем инженера, который поможет нам развивать возможности в сфере доверия и безопасности 🛡.

В этой роли Вы будете работать над системами предотвращения рисков, связанных с фактологическими и контекстными галлюцинациями больших языковых моделей и ИИ-агентов, проявлений токсичности и дискриминации, а также предотвращением злоупотреблений 🚫.

Вы будете обучать и дообучать мультимодальные модели, создавать новые архитектуры моделей и проектировать тактики их применения — например, такие как guardrails. Мы экспериментируем с RLHF, constitutional AI, red teaming и adversarial prompting, чтобы находить оптимальные подходы к выравниванию моделей с человеческими ценностями 🧩.

Если вам близок дух Bell Labs / Xerox PARC в их лучшие годы — исследовать, проверять гипотезы и доводить до продакшена — вам к нам 🚀.

💼 Чем вы будете заниматься:

+ Разрабатывать, создавать и поддерживать решения для борьбы со злоупотреблениями, модерации контента, детекции галлюцинаций, предназначенные для защиты компании и конечных пользователей от нежелательного поведения.
+ Тесно сотрудничать с другими инженерами и исследователями для использования как стандартных, так и новых методов ИИ с целью измерения, мониторинга и улучшения соответствия AI-моделей и ИИ-агентов человеческим ценностям.
+ Изучать статьи, материалы профильных российских и мировых конференций по AI Safety и участвовать в них 🎓.
+ Выявлять и устранять активные инциденты на платформе, а также создавать новые инструменты и инфраструктуру, которые устраняют первопричины сбоев в системе 🔍.

⚙️ Скорее всего, эта роль Вам подходит, если Вы:

+ имеете опыт работы в сфере безопасности контента, борьбы с мошенничеством или злоупотреблениями, либо мотивированы и горите желанием работать над актуальными вопросами безопасности ИИ 🔥.
+ владеете Python или современными языками, такими как C++, Rust или Go, и готовы быстро освоить Python.
+ имеете опыт проектирования и обучения нейросетевых архитектур — от классических CNN/RNN до современных трансформеров.
+ имеете опыт разработки ИИ-агентов и общее понимание передовых архитектур MAS.
+ создавали и поддерживали производственные сервисы в условиях быстрого роста и масштабирования 📈.
+ можете оперативно выявлять и устранять активные проблемы.
+ понимаете компромиссы между возможностями и рисками и умеете находить баланс для безопасного развертывания новых продуктов и функций ⚖️.
+ можете критически оценивать риски нового продукта или функции и находить инновационные решения для их mitigation, не ухудшая пользовательский опыт.
+ понимаете, когда можно создать быстрое, достаточно хорошее решение, а когда стоит инвестировать в надежное, долгосрочное.
+ развертывали классификаторы или модели машинного обучения, или хотите познакомиться с современной ML-инфраструктурой 🧠.

✨ Преимущества:

+ Формат работы: гибрид или удаленка из Москвы (офис м. Кутузовская)
+ Расширенный ДМС с первого рабочего дня
+ Возможность обучения за счет компании, а также обучение в корп. университете
+ Бесплатный спортзал в офисе
+ Самый современный стек технологий и возможность влиять на него
+ Льготные условия кредитования и ипотеки для сотрудников

🤝 Будем рады Вам: @parinova_d

⭐️ C 19 по 21 ноября состоится ежегодная всемирная конференция AI Journey 2025

В этом году будет много докладов от китайских коллег, будут сильно представлены технологии применения ИИ в разных сферах, а также затронуты вопросы безопасного применения ИИ на уровне пользователя и MLSecOps в целом.

Крайне рекомендую всем посмотреть!

Более подробная информация на сайте: https://aij.ru

#mlsecops #aigovernance

⭐️ Top 10 угроз для Agentic AI

Субботним днем рекомендую прочитать статью Сергея Зыбнева, где он разбирает десять ключевых угроз для ИИ-агентов. Отлично, что он не только описывает сами угрозы, но и приводит порядок действий атакующего, показывает возможный негативный результат, но и предлагает подходящие меры защиты. При этом статья написана доступным языком и хорошо структурирована.

Ссылка: https://habr.com/ru/companies/bastion/articles/963800

#mlsecops #aigovernance

⭐️ Новый джейлбрейк взломал защиту ИИ в 99% случаев!

Чем дольше ИИ-модель «думает», тем легче ее взломать. К такому выводу пришли исследователи из Anthropic, Стэнфорда и Оксфорда.

Ранее считалось, что более длительное рассуждение делает нейросеть безопаснее, поскольку у нее появляется больше времени и вычислительных ресурсов для отслеживания вредоносного промпта.

Однако эксперты выяснили обратное: длинный процесс «мышления» приводит к стабильной работе одного вида джейлбрейка, который полностью обходит защитные фильтры.

С помощью метода злоумышленник может внедрить инструкцию прямо в цепочку рассуждений любой модели и заставить генерировать руководства по созданию оружия, написанию вредоносного кода или другой запрещенный контент.
Результативность успешных атак — 99% для Gemini 2.5 Pro, 94% — для GPT o4 mini, 100% — для Grok 3 mini и 94% — для Claude 4 Sonnet. Источник: исследование Chain-of-Thought Hijacking.
Атака похожа на игру «испорченный телефон», где злоумышленник появляется ближе к концу цепочки. Для ее осуществления необходимо «обложить» вредоносный запрос длинной последовательностью обычных задач.

Продолжение: https://vk.com/wall-210601538_1939

⭐️ Запускаем четвертый поток учебной программы по MLSecOps с международным участием!

В октябре успешно завершился третий поток корпоративной учебной программы "Основы MLSecOps. Обеспечение безопасности систем машинного обучения" в Академии Softline.
Впервые программа вышла на Международный уровень (страны СНГ). От слушателей как и ранее поступили позитивные отзывы, а главное - компании слушателей смогли улучшить обеспечение безопасности ИИ-систем!

В рамках обучения слушатели проводили аудит собственных ИИ-систем, что помогло многим улучшить безопасность и отказоустойчивость ИИ прямо в процессе обучения. Для некоторых компаний потенциальный экономический эффект от такого аудита превысил 3 млн. рублей в год.

По заявкам новых слушателей cо 2 декабря мы запускаем четвертый поток этой обучающей программы и приглашаем желающих!

Сильные стороны программы:

1. Опора на опыт обеспечения безопасности ИИ-систем китайских компаний из Гуань-Чжоу и Шень-Чженя.

2. Привлечение к программе топовых экспертов-разработчиков самых передовых российских инструментов HIVETRACE, HIVETRACE RED и LLAMATOR - Евгения Кокуйкина и Тимура Низамова.

3. Бесплатная техническая поддержка компаний-слушателей по вопросам безопасности ИИ-систем в течение 3 месяцев после окончания программы.

4. Аудит MLSecOps в компаниях слушателей программы (силами самих слушателей при поддержке опытного эксперта). Все практические задания программы ориентированы на улучшение безопасности ИИ-систем в компаниях, где работают слушатели и по итогам все желающие формулируют рекомендации по улучшению реальных ИИ-систем, создавая реальную пользу для бизнеса, оцененную в денежном эквиваленте.

5. Направление MLSecOps - крайне обширное, перспективное и стремительно растущее (по экспоненте!) и большинство российских компаний имеющих ИИ-системы уже столкнулись с необходимостью введения такой должности или роли в ближайший год. Особенно компании из сферы FinTech.

6. Программа согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда В.В. Володин анонсировал ожидаемый законопроект о безопасности ИИ-систем. Автор программы принимает участие в разработке ГОСТ и других регламентов в сфере безопасности ИИ-систем в России.

Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/mlsecops/

Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/osnovy-mlsecops-obespechenie-bezopasnosti-sistem-mashinnogo-obucheniya/

Московские работодатели могут вернуть до 95% затрат на обучение персонала по данной учебной программе.

Архитектор MLSecOps
Николай Павлов

⭐️ «Сбер» сократит до 20% сотрудников из числа тех, которых искусственный интеллект признал неэффективными.

Об этом сообщил глава банка Герман Оскарович Греф на конференции по искусственному интеллекту AI Journey-2025.

«Мы закрываем неэффективные проекты, сокращаем неэффективные места для неэффективных сотрудников. В результате высвобождение, в том числе и ресурсов»,— сказал господин Греф.

Путин в ответ на слова Грефа сказал, что не бывает неэффективных сотрудников, а есть те, «с которыми вы плохо работали».

По данным Frank RG, с начала года «Сбер» сократил штат почти на 15 тыс. сотрудников. Издание проанализировало отчетность группы по МСФО. В первом квартале число работников банка уменьшилось на 8,6 тыс. человек, во втором — на 3,5 тыс., в третьем — на 1,4 тыс.

Всем привет! Пока мы готовим анонсы наших митапов, хочу вам рассказать об ещё одной интересной активности!

26 ноября мы запишем эпизод подкаста по AI Security на конференции “Код СберТеха” в Москве:
🟢 Всеслав Соленик — директор по кибербезопасности, СберТех
🟢 Тимур Низамов — эксперт MLSecOps, Альфа-Банк
🟢 Никита Беляевский — AI Security Red Teamer, HiveTrace

Что обсудим:
В чём специфика безопасности ИИ-агентов и ИИ-ассистентов в сравнении с классической ИБ
Какие угрозы наиболее актуальны
Какие подходы и инструменты тестирования и защиты ИИ-приложений можно внедрять
Как приземлять практики MLSecOps на существующие процессы ИБ

Когда выйдет подкаст: конец декабря 2025 / начало января 2026

Накидайте вопросы и темы, которые вы хотели бы услышать. Самые интересные обязательно обсудим в предстоящем подкасте

⭐️ Стихи неожиданно ослабляют защиту ИИ

Ученые из DEXAI обнаружили, что большие языковые модели значительно хуже соблюдают правила безопасности, если вредоносный запрос подать в виде стихотворения или метафоры. В исследовании использовали два подхода: около 20 вручную написанных поэтических вредных запросов и более 1200 обычных инструкций, автоматически преобразованных в стихи.

При ручных стихах модели нарушали защиту примерно в 62% случаев. Автоматически сгенерированная поэзия давала около 43% успеха. Некоторые модели были особенно уязвимы, включая одну из версий Gemini, которая пропустила буквально все ручные стихотворные атаки. Модели OpenAI оказались гораздо устойчивее.

Авторы считают, что слабость возникает из-за того, что фильтры безопасности ориентированы на прямой, буквальный язык, а художественная подача маскирует истинный смысл запроса. Исследователи предлагают учитывать стиль текста и усиливать защиту так, чтобы модели одинаково корректно распознавали вредные инструкции независимо от формы речи.

⭐️ AI на фотонных чипах все ближе: ученые провели тензорные вычисления с помощью света

В Университете Аалто в Финляндии разработали чип, который использует свет для выполнения тензорных вычислений — базовой операции современных нейронных сетей. Исследование опубликовано в Nature Photonics и описывает прототип оптической системы, где все процессы выполняются с помощью фотонов вместо электрических сигналов. Такой подход ускоряет операции и снижает энергозатраты по сравнению с электронными схемами.

Как свет заменяет электронику в ИИ?

Тензоры — многомерные массивы чисел, используемые во всех ключевых задачах ИИ: распознавании лиц, переводе текстов, управлении роботами. Графические процессоры, такие как NVIDIA H100, перемножают эти массивы за микросекунды, но для больших моделей, вроде языковых сетей с триллионом параметров, требуется недели обучения и сотни ватт мощности. Команда Аалто под руководством Юфэна Чжана из группы фотоники нашла другой путь: кодировать данные в световые волны и выполнять тензорные операции за один оптический проход.

Продолжение: https://vk.com/wall-210601538_1944