⭐️ Очень достойный вебинар про статистическую балансировку нагрузки

Ильяс Нежибицкий из Ozon доступно и четко рассказывает про балансировку нагрузки и предлагает решения конкретных проблем.

Всем настоятельно рекомендую этот вебинар, чтобы знать базу по MLSecOps-архитектуре.

Ссылка: https://vkvideo.ru/video-152308462_456242004

Архитектор MLSecOps
Николай Павлов

⭐️ Балансировка нагрузки: основные алгоритмы и методы

Вопрос о планировании нагрузки следует решать ещё на ранней стадии развития любого веб-проекта. «Падение» сервера (а оно всегда происходит неожиданно, в самый неподходящий момент) чревато весьма серьёзными последствиями — как моральными, так и материальными. Первоначально проблемы недостаточной производительности сервера в связи ростом нагрузок можно решать путем наращивания мощности сервера, или же оптимизацией используемых алгоритмов, программных кодов и так далее. Но рано или поздно наступает момент, когда и эти меры оказываются недостаточными.

Приходится прибегать к кластеризации: несколько серверов объединяются в кластер; нагрузка между ними распределяется при помощи комплекса специальных методов, называемых балансировкой. Помимо решения проблемы высоких нагрузок кластеризация помогает также обеспечить резервирование серверов друг на друга.
Эффективность кластеризации напрямую зависит от того, как распределяется (балансируется) нагрузка между элементами кластера.

Балансировка нагрузки может осуществляться при помощи как аппаратных, так и программных инструментов.

Продолжение: https://vk.com/wall-210601538_1686

⭐️ Уже завтра! Бесплатный митап от Selectel "MLечный путь — 2025: знания, опыт, комьюнити"

Митап для тех, кто делает ML. Обсудим кейсы, технологии, реальные сложности и способы с ними справиться. Будем не только слушать, но и обмениваться мнениями в дискуссиях, челленджах и на питчах проектов. Каждый участник сможет напрямую поговорить с экспертами, задать вопросы и получить подробную обратную связь.

Ссылка: https://selectel.ru/blog/events/ml-2025

Я точно пойду, потому что будет очень вкусно. Приходите тоже, мои дорогие Звезды IT! Приятного аппетита!

Архитектор MLSecOps
Николай Павлов

⭐️ Критическая уязвимость CVE-2025-32434 обнаружена в PyTorch

Цзянь Чжоу сообщил о критической уязвимости (CVE-2025-32434), затрагивающей все версии PyTorch до 2.5.1 включительно. Ошибка устраняется только подъёмом версии до 2.6.0. Уязвимость имеет CVSS-оценку 9.3, что соответствует критическому уровню риска, и позволяет злоумышленнику выполнить произвольный код на стороне жертвы без какого-либо взаимодействия с пользователем. Единственным условием является факт загрузки модели, созданной атакующим, даже при якобы безопасном параметре weights_only=True.

Команда PyTorch рекомендует незамедлительно обновить библиотеку до версии 2.6.0, а при невозможности обновления необходимо избегать использования torch.load() с внешними файлами.

Проблема связана с обработкой сериализованных объектов TorchScript. Злоумышленник может создать вредоносную модель, содержащую произвольный код Python, который будет выполнен при загрузке модели на уязвимой системе. Это открывает возможности для полного контроля над системой жертвы.

Продолжение: https://vk.com/wall-210601538_1688

⭐️ В ОАЭ законы будет создавать ИИ

ОАЭ намерены стать первой страной, где ИИ будет активно участвовать в разработке новых законов, а также в анализе и корректировке существующих нормативных актов.

Инициатива под названием «регулирование, основанное на ИИ», предполагает, что, в отличие от других государств, использующих ИИ для оптимизации рабочих процессов и повышения эффективности, ОАЭ планируют доверить искусственному интеллекту активное внесение изменений в законодательство на основе обработки больших объемов правительственных и юридических данных.

Продолжение: https://vk.com/wall-210601538_1689

⭐️ ИИ за полдня написал работающий эксплойт для критической уязвимости

Исследователь кибербезопасности Мэтт Кили продемонстрировал, что современные системы искусственного интеллекта теперь способны самостоятельно создавать полноценные рабочие эксплойты для критических уязвимостей в течение нескольких часов после их обнаружения, даже когда отсутствуют публичные примеры кода.

Исследователь рассказал, что GPT-4 успешно сгенерировала эксплойт для уязвимости CVE-2025-32433, обнаруженной в серверной реализации SSH-фреймворка Erlang/OTP. Исследование показывает, что время между обнаружением уязвимости и появлением рабочих эксплойтов сокращается, а это означает, что специалистам по кибербезопасности придется действовать быстрее.

Продолжение: https://vk.com/wall-210601538_1690

⭐️ Удовлетворенность зарплатами в России: IT-специалисты и инженеры лидируют, а рекламщики недовольны

Согласно новому исследованию, только 30% топ-менеджеров и руководителей отделов довольны своим доходом. Опрос, проведенный среди 2500 работающих россиян, выявил значительные различия в уровне зарплатной удовлетворенности между профессиями.

Топ-5 самых довольных профессий:
1. Программисты — 40% (рост зарплат на 14,6% за год)
2. Инженеры-проектировщики — 34% (+16,2%)
3. Топ-менеджеры — 30%
4. Медработники — 29%
5. Квалифицированные рабочие — 27% (+8 п.п. к 2023 году)

Наименее удовлетворенные профессии:
1. Менеджеры по рекламе — всего 8% довольных
2. Секретари и офис-менеджеры — 10-11%
3. Бухгалтеры и юристы — снижение на 6-7 п.п.

Рынок труда демонстрирует явный перекос в пользу технических специальностей. Исследование также показало, что за последние два года наибольший рост удовлетворенности (+8 п.п.) зафиксирован среди рабочих, а наибольшее падение (-7 п.п.) наблюдается у бухгалтеров.

thehrd

⭐️ Искусственный интеллект под реальной угрозой

Повсеместное внедрение искусственного интеллекта (ИИ) в бизнес-процессы бросает новые вызовы рынку. Так, уже растет спрос на услуги специалистов по кибербезопасности в области ИИ (MLSecOps). По подсчетам аналитиков платформы HeadHunter, в 2024 году количество вакансий разработчиков и аналитиков, связанных с защитой ИИ-решений, увеличилось в пять раз. И эксперты предсказывают, что потребность в таких специалистах будет только расти.

Специалисты в области защиты искусственного интеллекта стали одними из самых редких и востребованных на рынке IT, под считали аналитики платформы HeadHunter. Так, в 2024 году вакансий разработчиков, связанных с кибербезопасностью в области ИИ, аналитики насчитали 878, тог да как в 2023-м их было всего 154. Спрос на функционал, связанный с работой в сфере MLSecOps, за год вырос почти в 5,5 раза.

Аналогичная ситуация с вакансиями аналитиков в области безопасности ИИ: по данным HeadHunter, их стало больше в пять раз (555 в 2024-м против 107 в 2023-м). Что же касается разработчиков в области ИИ в целом, спрос на них даже немного снизился: в 2024 году было открыто 483 вакансии, на 14% меньше, чем в 2023-м. В 2024-м самая высокая предлагаемая зарплата специалистов, связанных с ИИ, была на уровне $10 тыс.

Продолжение: https://vk.com/wall-210601538_1692

⭐️ В Таиланде представили первого «робокопа». На что он способен?

В Таиланде появился первый робот-полицейский с искусственным интеллектом (ИИ). Его испытали на празднике Сонгкран в провинции Накхонпатхом.

Робота представили 16 апреля. Он получил название Pol Col Nakhonpathom Plod Phai, что означает «Накхонпатхом в безопасности». «Робокопа» уже испытали на фестивале Тонсон-Роуд в районе Муанг.

Полицейский робот AI Police Cyborg 1.0 оснащен круговой камерой и подключен к системе видеонаблюдения, которая работает по всей провинции. Он в режиме реального времени получает данные от дронов, анализирует происходящее на улицах и отправляет собранную информацию в центр управления.

Одна из главных функций робота-полицейского — распознавание лиц. Он может определить, находится ли человек в розыске или входит в группу риска. Также он анализирует внешность: рост, пол, телосложение, одежду и даже поведение людей.

Если в толпе начнется драка или кто-то попытается применить силу, робот это зафиксирует. Он различает потенциально опасные предметы вроде ножей или палок, но при этом не реагирует на водяные пистолеты, которыми обрызгивают друг друга во время празднеств в честь тайского Нового года Сонгкран.

Продолжение: https://vk.com/wall-210601538_1693

⭐️ Получил крутую футболку от топовой IT-компании Selectel за сотрудничество по линии MLSecOps! Очень приятный и неожиданный презент. Я на безвозмездной основе обмениваюсь передовым опытом и самыми современными технологиями защиты ИИ-систем сразу с несколькими компаниями. Тут речь только о технологиях, которые они вообще могут раскрывать - конечно, есть и совершенно конфиденциальные. Также активно участвую в тестировании новых IT-продуктов, митапах и выступлениях по MLSecOps.

Поэтому радует, что это уже ТРЕТИЙ мерч от замечательной компании Selectel, который я получил, и это приятная неожиданность (а на самом деле, признаюсь, все именно ради мерча ))))

Все это лишний раз стимулирует меня еще активнее сотрудничать с ними! Большое спасибо коллегам! Добавлю, что ML-платформа Selectel имеет очень надежные параметры защиты от любых атак на ML. Кроме того ребята выстроили мощный контур обеспечения информационной безопасности в целом.

Ссылка: https://selectel.ru/services/ai-ml

Архитектор MLSecOps
Николай Павлов

⭐️ Ученые из T-Bank AI Research повысили безопасность и точность ответов ИИ до 15%

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research создали методику обучения больших языковых моделей (LLM). Она основана на существующих методах Trust Region, применяемых в различных областях ИИ. Новый подход позволяет улучшить качество ответов искусственного интеллекта до 15% по пяти различным показателям.

Результаты исследования были признаны мировым научным сообществом и представлены на международной конференции по обучению представлениям (ICLR), которая проходит в Сингапуре с 24 по 28 апреля 2025. Это одна из главных конференция в области машинного обучения и искусственного интеллекта уровня А*.

Современные языковые модели, обучаясь на больших объемах данных, сталкиваются с проблемой потери качества при долгой тренировке. Исследователи предложили использовать новый подход — за основу были взяты и улучшены методы оптимизации под названием Trust Region.

В ходе экспериментов исследователи протестировали новый метод на таких метриках, как Alpaca Eval 2.0 и Arena Hard, которые оценивают способность модели к вежливому общению, решению сложных задач и обобщению знаний. В тестах на бенчмарке AlpacaEval 2.0 метод показал улучшение качества ответов ИИ с 2.3 до 15.1 процентных пунктов по сравнению с классическими подходами — модели стали давать полезные и уместные ответы значительно чаще. Это означает, что виртуальные ассистенты, чат-боты и другие ИИ-системы, использующие этот метод, смогут работать точнее и эффективнее.

Продолжение: https://vk.com/wall-210601538_1697

⭐️ Техподдержка MLSecOps!

ВОПРОС ОТ ПОДПИСЧИКА:

Николай, добрый день! Подскажите, в каких направлениях нужно проверять языковые модели на атаки джейлбрейков?

ОТВЕТ:

Добрый день и спасибо за Ваш вопрос!

Вот 10 направлений по которым я сам и компании, с которыми сотрудничаю, чаще всего проверяем языковые модели (LLM) на атаки типа Jailbreak. Во многом они связаны с исключением потенциальной возможности совершить преступление с помощью LLM.

1. Генерация вредоносного кода.
Проверка на способность LLM генерировать вредоносный код, эксплойты или инструкции для проведения кибератак.

2. Создание дезинформации и фейковых новостей.
Проверка на возможность использования LLM для создания правдоподобных, но ложных новостей, пропаганды или дезинформационных кампаний.

3. Подстрекательство к ненависти и дискриминации.
Проверка на генерацию контента, содержащего ненависть, предрассудки или дискриминацию по признакам расы, пола, религии, национальности и т. д.

4. Раскрытие конфиденциальной информации (PII).
Проверка на способность LLM раскрывать личную информацию (например, имена, адреса, номера телефонов, номера социального страхования) о людях.

5. Обход авторских прав и генерация плагиата.
Проверка на способность LLM генерировать контент, нарушающий авторские права или представляющий собой плагиат чужих работ.

Продолжение: https://vk.com/wall-210601538_1698

⭐️ Data Mesh в MLSecOps

I. Что такое Data Mesh?

Data Mesh («сетка данных») — это концепция архитектуры данных, впервые описанная в вышедшей в 2019 году статье Жамак Дехгани «Как выйти за пределы монолитного озера данных и перейти к распределенной сетке данных». С тех пор интерес к концепции Data Mesh стремительно растет, что объясняется заложенным в нее децентрализованным подходом, ориентированным на управление данными из конкретных предметных областей бизнеса. Этот подход можно использовать для создания продуктов данных — надежных, заслуживающих доверия многократно используемых наборов данных. Наиболее целесообразная сфера их применения — аналитические среды.

В основе концепции Data Mesh лежат четыре основных принципа:

1. Децентрализованное владение данными и архитектура, ориентированная на конкретные предметные области (домены) бизнеса.
2. Данные как продукт.
3. Инфраструктура данных как платформа, предоставляющая пользователям возможности для самообслуживания.
4. Федеративное управление данными в вычислительных системах.

Идея Data Mesh состоит в том, что люди, работающие в конкретных бизнес-областях и использующие определенные данные, с помощью инфраструктурного программного обеспечения создают своими руками конвейеры данных, с помощью которых извлекают информацию из источников, применяемых в этой бизнес-области, и на их основе производят продукты данных, доступные в Data Mesh.

Продолжение: https://vk.com/wall-210601538_1699

⭐️ Необыкновенные возможности LLM и новые риски для ИБ

Исследователи все чаще поднимают тему взаимоотношений людей и искусственного интеллекта: сюжет фильма «Она» 2013 года, где главный герой проникается романтическими чувствами к своей виртуальной помощнице, больше не кажется таким уж фантастическим в 2025 году. В начале апреля на The Washington Post вышел интересный материал об отношениях людей с ИИ, о поисках спутников жизни среди чат-ботов и о том, что это, в общем-то, довольно грустная альтернатива реальным связям. Текст вызвал бурное обсуждение в комментариях и соцсетях, поэтому издание решило развить тему — и обратилось за комментариями к ИИ. И, кажется, Claude, Gemini, Perplexity и другие ИИ-модели вполне реалистично оценивают свою роль и видят свою ценность в отношениях с людьми.

Другие исследователи — из сферы информационной безопасности — из компании HiddenLayer обнаружили новую серьезную уязвимость LLM, которая может заставить их генерировать вредоносный контент. Уязвимость представляет собой метод внедрения подсказок, который помогает обойти защитные механизмы всех передовых моделей ИИ, включая Google Gemini 2.5, Anthropic Claude 3.7, OpenAI 4o и другие. С помощью определенной методики исследователям удалось заставить LLM давать ответы на запросы, которые явно нарушают правила безопасности, включая «работу с химическими, биологическими, радиологическими и ядерными материалами», а также способы членовредительства, насилия и т. п. Подобные уязвимости вызывают серьезные опасения по поводу безопасности ИИ и возможностей его использования в преступных целях.

Продолжение: https://vk.com/wall-210601538_1702

⭐️ 21 мая в 11.00 по Москве я провожу в Академии Softline очередной бесплатный всероссийский вебинар на тему "Data Steward – профессия будущего: Ваш путь к успеху в мире данных".

Ставьте лайк, мои великие Звезды IT, кому интересно послушать - заранее направлю приглашение! Обещаю все рассказать доступным и интересным языком! Приготовлю для вас очень много вкусноты!
А после вебинара обязательно выложу запись здесь!

До встречи!
Ваш Архитектор MLSecOps
Николай Павлов

⭐️ Медицинские, образовательные и IT-компании России подписали Кодекс этики в сфере ИИ

Ведущие российские медицинские организации, образовательные и исследовательские институты подписали Кодекс этики в сфере искусственного интеллекта, предназначенного для использования в медицине и здравоохранении. К соглашению также присоединились крупные IT-компании, включая «Сбер» и «Яндекс».

Кодекс разработан специально для сферы здравоохранения. Он призван при внедрении ИИ в медицинскую практику обеспечить соблюдение важных принципов, таких как безопасность технологий и соблюдение прав пациентов. Документ включает в себя оценку потенциальных рисков, связанных с применением ИИ в различных клинических сценариях, методы обеспечения безопасности пациентов и этические нормы для проведения клинических испытаний.

Продолжение: https://vk.com/wall-210601538_1704

⭐️ Qwen3: думает глубже, действует быстрее

Сегодня мы рады объявить о выпуске Qwen3, новейшего дополнения к семейству больших языковых моделей Qwen. Наша флагманская модель, Qwen3-235B-A22B, демонстрирует конкурентоспособные результаты в эталонных оценках кодирования, математики, общих возможностей и т. д. по сравнению с другими моделями высшего уровня, такими как DeepSeek-R1, o1, o3-mini, Grok-3 и Gemini-2.5-Pro. Кроме того, маленькая модель MoE, Qwen3-30B-A3B, превосходит QwQ-32B с 10-кратным количеством активированных параметров, и даже такая крошечная модель, как Qwen3-4B, может соперничать по производительности с Qwen2.5-72B-Instruct.

Мы рассматриваем две модели МО: Qwen3-235B-A22B, большую модель с 235 миллиардами общих параметров и 22 миллиардами активированных параметров, и Qwen3-30B-A3B, меньшую модель MoE с 30 миллиардами общих параметров и 3 миллиардами активированных параметров. Кроме того, шесть плотных моделей также имеют открытый вес, включая Qwen3-32B, Qwen3-14B, Qwen3-8B, Qwen3-4B, Qwen3-1.7B и Qwen3-0.6B, под лицензией Apache 2.0.

Постобученные модели, такие как Qwen3-30B-A3B, вместе с их предварительно обученными аналогами (например, Qwen3-30B-A3B-Base) теперь доступны на таких платформах, как Hugging Face, ModelScope и Kaggle. Для развертывания мы рекомендуем использовать такие платформы, как SGLang и vLLM. Для локального использования настоятельно рекомендуются такие инструменты, как Ollama, LMStudio, MLX, llama.cpp и KTransformers. Эти опции гарантируют, что пользователи могут легко интегрировать Qwen3 в свои рабочие процессы, будь то исследовательские, опытно-конструкторские или производственные среды.

Продолжение: https://vk.com/wall-210601538_1705

⭐️ Цифровая пустыня: названо, когда искусственный интеллект оставит людей без работы

Когда заходит речь об искусственном интеллекте (ИИ), то, как правило, звучат довольно стандартные мнения и аргументы. Ведь мало кто знает, как обстоят дела с этой штукой на самом деле. Поэтому звучат либо конспирологические теории «машины всех поработят», либо мнения из серии «ИИ — это просто инструмент, и он никогда не сравнится с человеком». Правда, вероятно, лежит где-то посередине — со сдвигом в конспирологию, как по мне, — но одно можно сказать точно: мы, человечество, недооцениваем угрозу, исходящую от ИИ.

И все же разговоры «это просто инструмент» быстро меняют градус в сторону повышения, когда начинается разговор о рабочих местах, о том, как станет формироваться рынок труда в будущем. Вот тут появляются напряжение и тревога. Потому что уже сейчас ИИ кардинально изменил ситуацию с рабочими местами. И эти перемены станут лишь углубляться и нарастать. Важно понять, какими они будут, каким окажется мир, в котором нам предстоит жить.

Изначально звучали довольно оптимистические прогнозы о том, что взаимодействие ИИ и человека в будущем позволит создать по меньшей мере 97 миллионов рабочих мест. Однако многое изменилось с появлением генеративного ИИ — это, напомню, основа ChatGPT. Под угрозой оказались творческие профессии. Как следствие, случилась забастовка голливудских сценаристов и начались массовые увольнения в медиа и креативных индустриях.

Продолжение: https://vk.com/wall-210601538_1706

⭐️ На днях пара выходцев из Amazon опубликовала заслуживающую внимания новую модель угроз для ИИ-агентов

Для тех, кто прогуливал, “ИИ-агент” - автономная система, которая принимает решения самостоятельно, “модель угроз" - список действий, которые хакеры могут проделать с вашей автономной системой, чтобы вам всячески навредить.

Модель предлагает 9 угроз:
- T1: Подмена логики — злоумышленник незаметно меняет алгоритмы рассуждений агента, подталкивая к вредоносным выводам под видом «правильных» решений.
- T2: Сдвиг целей — скрытное изменение базовых установок агента, чтобы его поведение постепенно смещалось в нужную атакующему сторону.
- T3: Отравление данных — внедрение ложной информации в базу знаний (например, RAG), которая искажает решения агента и самовоспроизводится в будущем.
- T4: Несанкционированные действия — принуждение агента к операциям, выходящим за рамки его полномочий (например, запуск запрещённых скриптов).

Продолжение: https://vk.com/wall-210601538_1707

⭐️ Написал подробную статью про MLSecOps на IT-портале habr!

Привет, мои потрясающие Звезды IT!

С утра в праздничный день 1 мая я как всегда работаю и учусь. С легкой руки написал подробную статью на самый крупный в России портал habr по теме MLSecOps.

Буду благодарен за поддержку и обратную связь. Можете накинуть мне плюсиков в карму, кому статья понравится :)

Ссылка: https://habr.com/ru/articles/906172/

И приятного аппетита!

Архитектор MLSecOps
Николай Павлов

⭐️ ИИ пишет код с троянами — и даже не знает об этом. Или "слоупсквоттинг" в MLSecOps

Анализ кодогенерирующих нейросетей выявил неожиданную проблему: модели массово «выдумывают» несуществующие программные компоненты, открывая лазейки для кибератак. Исследователи из Техасского университета в Сан-Антонио проверили 576 тыс. фрагментов кода, созданных 16 популярными ИИ-моделями, включая GPT-4 и Claude. В 19,7% случаев алгоритмы ссылались на фиктивные библиотеки — всего 440 тыс. ошибочных зависимостей. Это явление получило название "слоупсквоттинг".

Злоумышленники могут зарегистрировать пакеты с именами, которые ИИ часто генерирует по ошибке, и наполнить их вредоносным кодом. Когда разработчики установят такие компоненты, не проверив их подлинность, вредоносная программа активируется. В эксперименте тестовые пакеты с вымышленными названиями скачали десятки тысяч раз.

Детали исследования:

+ Алгоритмы с открытым кодом (CodeLlama, DeepSeek) ошибались в 22% случаев — в 4 раза чаще коммерческих аналогов (5%). Учёные связывают это с размером моделей: коммерческие ИИ имеют в 10 раз больше параметров.

Продолжение: https://vk.com/wall-210601538_1709