MLSecOps | AI Governance | IT Trends – Telegram
MLSecOps | AI Governance | IT Trends
923 subscribers
97 photos
2 videos
3 files
404 links
Канал для друзей и коллег с целью ежедневного развития в направлениях MLSecOps и AI Governance.
Свежие новости, перспективные вакансии, IT-тренды и лучшие учебные программы в сфере ИИ.
Download Telegram
⭐️ Пять стратегий защиты и масштабирования потоковых данных в эпоху ИИ

Защита потоковых данных — это стратегический императив. Анил Инамдар, руководитель глобального отдела сервисов данных NetApp Instaclustr, рассказывает на портале The New Stack о пяти стратегиях для создания безопасных и масштабируемых потоков данных, готовых к эре искусственного интеллекта.

Потоковые данные лежат в основе кампаний по персонализации в реальном времени, выявлению мошенничества, предиктивному обслуживанию и еще целого ряда критически важных для бизнеса инициатив. С учетом того, что ИИ теперь многократно увеличивает ценность этих сценариев использования, целостность этих данных важна как никогда.

Однако ИИ — это обоюдоострый меч. Те же системы, которые обеспечивают новые преимущества для бизнеса, также создают новые поверхности для атак. Согласно недавнему отчету NetApp «2024 Data Complexity Report», 69% предприятий отмечают рост угроз безопасности, связанных с ИИ. Большинство руководителей высшего звена назвали глобальные риски безопасности главным источником стресса, и это давление будет только усиливаться по мере того, как потоковые данные будут все глубже внедряться в основные системы.

Защита потоковых данных — это уже не просто передовая ИТ-практика. Это стратегический императив. Ниже представлены пять стратегий, проверенных на практике, которые служат образцом для создания безопасных и масштабируемых потоков данных, готовых к эпохе ИИ.

Продолжение: https://vk.com/wall-210601538_1725
⭐️ 7 основных трендов в IT и 7 главных направлений развития в 2026 году

I. Основные тренды в IT, которые ожидаются к 2026 году:

1. Использование генеративного искусственного интеллекта.
По прогнозам, к 2026 году более 80% предприятий будут применять генеративный ИИ через API в корпоративных системах.

2. Упрощение организационной структуры компаний.
Ожидается, что к концу 2026 года 20% компаний будут использовать ИИ для упрощения своей структуры, сократив больше половины должностных позиций менеджеров среднего звена.

3. Использование ПО с открытым кодом.
Эксперты предполагают, что к 2026 году 90% российских компаний перейдут на открытое ПО.

4. Применение автономных ИИ-агентов.
Ожидается, что они научатся работать вместе без участия человека и изменят восприятие IT-технологий со стороны бизнеса и потребителей.

5. Внедрение инструментов прозрачности для работы с ИИ.
Некоторые бренды решат полностью отказаться от сгенерированного контента, другие — использовать инструменты его маркировки.

Продолжение: https://vk.com/wall-210601538_1726
👍1👎1
⭐️🇷🇺 Поздравляю с Днем Победы в Великой Отечественной войне!

Вот и наступил очередной День Победы! Поздравляю каждого из Вас с праздником, желаю мирного неба над головой и безоговорочной победы в Специальной военной операции!

В нашем блоге состоят лучшие в России защитники ИИ-систем, а также дорогие китайские друзья и коллеги, которые ранним утром поздравили меня - они всем сердцем разделяют эту победу и тоже празднуют 9 мая!

Этот праздник особенный. В год активного внедрения ИИ-агентов, повсеместной автоматизации и роботизации, первых массовых сокращений из-за нейронных сетей, мы понимаем, что гонка ИИ только набирает обороты. И мир неизбежно, стремительно будет ускоряться.

Коллективный запад со своими экспансионистскими амбициями продолжает упорно пренебрегать интересами России и ее ближайших союзников. Триллионы долларов прямо сейчас они инвестируют в создание закрытого и подконтрольного им AGI, с помощью которого рассчитывают навсегда превратить нас в колонию. Даже на пороге тотального кризиса они бросают неимоверные усилия на проект StarGate, который является вызовом для всего остального мира.

Но нам есть, чем ответить! Сегодня несколько передовых компаний из России и Китая формируют свои мощнейшие ИИ-системы. А мы с вами, здесь, своими силами поднимаем новейшее направление IT - обеспечение безопасности ИИ-систем или, кратко, MLSecOps.

Вместе мы построим мощнейшую защиту для наших передовых ИИ-систем, обязательно гарантируем их 100% надежность и отказоустойчивость, сделаем все возможное и невозможное, чтобы победить в гонке ИИ! Каждый день мы будем учиться, трудиться, работать для светлого будущего, передавая знания друг другу и нашим детям.

Верю в каждого из вас, благодарю за поддержку! Мы уже побеждаем и в СВО, и в гонке ИИ, и по направлению MLSecOps! И мы обязательно победим. Родина будет жить!

Архитектор MLSecOps
Николай Павлов
💊32
⭐️ В США звучат призывы к отмене всех ограничений ради победы в гонке ИИ

Изменение отношения к ИИ наглядно подтверждают показания в Конгрессе США гендиректора OpenAI Сэма Альтмана. Если в 2023 году, выступая здесь же, он рекомендовал создать агентство по лицензированию технологии ИИ для обеспечения безопасности, то в этот раз он заявил, что требование одобрения правительством выпуска мощного программного обеспечения для ИИ будет «катастрофическим» для лидерства Соединённых Штатов в сфере разработки ИИ-технологии.

Ранее звучавшие предупреждения о том, что ИИ представляет «экзистенциальный риск» для человечества, и призывы к быстрому, упреждающему регулированию новой технологии ушли в прошлое. Вместо этого среди глав ведущих компаний и чиновников новой администрации Трампа существует почти единое мнение о том, что США должны предоставить компаниям полную свободу действий, чтобы те быстрее вели разработки, позволяя извлекать из этого выгоду и сохранять преимущество страны над Китаем.

«Чтобы лидировать в области ИИ, Соединённые Штаты не могут позволить регулированию, даже предположительно благоприятному, душить инновации и внедрение», — заявил в четверг в начале слушаний в Конгрессе США сенатор Тед Круз, председатель сенатского комитета по торговле, науке и транспорту.

https://vk.com/wall-210601538_1728
⭐️ Подборка статей Евгения Кокуйкина о безопасности ИИ

Привет, мои замечательные и самые талантливые друзья!

Сегодня хочу обратить ваше пристальное внимание на три статьи Евгения Кокуйкина, руководителя AI-продуктов в компании Raft, посвященные безопасности ИИ:

1. Разбираемся в AI проектах OWASP: обзор для разработчиков и ИБ-специалистов
Ссылка: https://habr.com/ru/companies/owasp/articles/896328

2. Обзор уязвимостей для LLM. Часть 1. Атака
Ссылка: https://habr.com/ru/companies/oleg-bunin/articles/870100

3. Обзор уязвимостей для LLM. Часть 2. Защита
Ссылка: https://habr.com/ru/companies/oleg-bunin/articles/870102

Здесь очень подробно написаны все текущие тренды MLSecOps и гайдлайны OWASP, основные уязвимости LLM и возможные меры защиты.

Все это сопровождается массой интересных практических примеров. Лично я для себя узнал новые моменты по безопасности ML, добавил статьи в закладки на хабре и вам рекомендую!

Блог Евгения в TG: https://news.1rj.ru/str/kokuykin

Архитектор MLSecOps
Николай Павлов
🔥2
⭐️🤖 В Китае человекоподобный робот начал выполнять обязанности в полиции

Робот PM01 пока работает как постовой, оказывая помощь туристам, обеспечивая порядок и осуществляя распознавание лиц.

Робот с экзоскелетом PM01 от Engine AI из алюминиевого сплава заступил на службу в полицию высокотехнологичного китайского города Шэньчжэнь.

По заявлению пресс-службы полиции, PM01 не является автономным сотрудником, а выполняет роль вспомогательной системы.

💡 Робот-полицейский носит светоотражающий жилет, имеет обзор в 320 градусов, умеет распознавать лица и взаимодействовать с людьми с помощью встроенных микрофонов.

💡 Его основная задача – сообщать о любых потенциально опасных ситуациях.

💰 Разработчики PM01 из Engine AI утверждают, что при стоимости в $14 000 (около 1,1 млн рублей) эта модель является выгодным решением для использования в городской среде.

Робот ростом 1,4 метра и весом 40 кг может не только помогать полицейским в патрулировании улиц, но и использоваться в образовании и розничной торговле.

Хлебни ИИ. Видео: https://vk.com/video-48265019_456244030
👍2
⭐️ Россия вводит семейные кодовые слова для защиты от искусственного интеллекта и мошенников

Заместитель председателя комитета Государственной Думы по физической культуре и спорту Сергей Бурлаков дал совет отечественным семьям по предотвращению телефонных мошенничеств. Он предложил им придумать кодовое слово. В каждом российском доме это стало необходимостью для противодействия злоумышленникам. Эксперты по искусственному интеллекту предупреждают, что каждый второй гражданин столкнется с дипфейк-атакой до конца 2025 года. Речь идет о голосовых сообщениях и видеозаписях от якобы родственников.

По его оценкам, технологии приведут к тому, что к завершению 2025 года злоумышленники смогут звонить от имени родных, представляясь ими, а имитация голоса станет очень убедительной.
Депутат подчеркнул, что так называемый семейный пароль поможет обезопасить себя в любой ситуации. «И все будут в безопасности. Мои близкие уже придумали защитный паролик», — резюмировал Бурлаков.

finfax
2
⭐️ Теперь можно застраховать ответы ИИ, если они начнут вредить бизнесу

Компании, опасающиеся последствий ошибок искусственного интеллекта, теперь могут получить страховую защиту от его капризов — на рынке Lloyd’s of London запущен новый продукт, покрывающий убытки от сбоев и галлюцинаций ИИ-систем. Полис разработан стартапом Armilla, прошедшим акселерацию в Y Combinator, и уже одобрен рядом страховщиков Lloyd’s.

Новый вид страхования предназначен для организаций, которые используют ИИ в клиентском сервисе, маркетинге или операционной деятельности и рискуют попасть под суд, если их алгоритм допустит ошибку. Полис покрывает расходы на юридическую защиту и возможные компенсации в случае иска от клиентов или третьих лиц, пострадавших из-за неправильной работы ИИ.

Решение стало ответом на череду инцидентов, ставших достоянием общественности. Так, в январе Virgin Money пришлось извиняться после того, как их чат-бот отругал клиента за слово «virgin». Ранее курьерская служба DPD была вынуждена отключить часть своего бота, когда тот начал материться и назвал компанию «худшей службой доставки в мире». В другом случае трибунал обязал Air Canada выполнить фиктивную скидку, придуманную её ИИ-ассистентом.

По словам представителей Armilla, в случае с Air Canada потери от продажи билетов по заниженной цене могли бы быть покрыты новым страховым продуктом, если бы выяснилось, что бот действительно работал хуже заявленного уровня. В Armilla считают, что страховая защита поможет бизнесу смелее внедрять ИИ, снижая опасения по поводу юридических рисков. Сейчас многие компании отказываются от ИИ-решений именно из-за отсутствия механизмов компенсации потенциального вреда.

Продолжение: https://vk.com/wall-210601538_1732
⭐️ Рынок труда в информационной безопасности в России в 2024-2027 годах

Positive Technologies и ЦСР «Северо-Запад» представили доклад, в котором отразили возможный ландшафт рынка труда в сфере информационной безопасности в 2027 году. Также аналитики предложили некоторую систему рекомендаций для участников рынка ИБ.

Особенностью рынка труда в сфере информационной безопасности является сервисный характер ИБ по отношению к отраслям экономики. Это означает, что специалисты ИБ трудоустроены в основном не в специализированных организациях, а в компаниях-клиентах, действующих в различных отраслях экономики, а также в ИТ-компаниях, часто совмещающих разработку продуктов и оказание услуг в ИБ с другими направлениями в сфере ИТ.

Некоторые показатели:

+ в 2027 году число специалистов, занятых в сфере ИБ, может увеличиться с текущих 110 тыс. до 181–196 тыс. Ожидается, что дефицит в кадрах сократится до 29–33% от количества занятых с текущих 45%, но вырастет в абсолютном значении — с текущих 50 тыс. до 52–65 тыс. человек в 2027 году;

+ до 2030 года рынок труда в сфере ИБ может выйти на плато, что может быть связано как с исчерпанием трудовых ресурсов, так и с достижением потолка расходов на безопасность потребителей ИБ-продуктов и услуг;

+ основная причина роста — углубление разделения труда в секторе: усилится разделение труда и произойдет переход к четкой ролевой структуре, где большинство специалистов будет обладать достаточно узкими функциональными ролями. Рост количества и сложности киберугроз, переход на отечественное ПО, построение цифрового суверенитета, а также появление новых цифровых технологий, требующих защиты, будут способствовать росту востребованности ИБ-специалистов;

Продолжение: https://vk.com/wall-210601538_1733
⭐️ Security Week 2520: ИИ-отчеты о выдуманных уязвимостях

На прошлой неделе создатель и ведущий разработчик популярной утилиты cURL Дэниел Стенберг поделился примером бессмысленного отчета о несуществующей уязвимости, очевидно сгенерированного при помощи искусственного интеллекта. Стенберг раскритиковал подобную тактику; отметил, что он и его команда буквально завалены такими фейковыми отчетами, на которые приходится тратить время; и пообещал банить ИИ-исследователей в будущем, добавив: «Мы еще не видели ни одного реально полезного отчета, созданного с помощью ИИ».

Хотя примеры эффективного использования ИИ для поиска уязвимостей существуют (вот относительно свежий пример от Microsoft), в данном случае речь идет о феномене, известном как AI Slop: когда ИИ используется бездумно. Ответ на запрос типа «вот код, найди в нем уязвимость» с наибольшими шансами приведет к тому, что нейросеть просто придумает несуществующую проблему. Пример от разработчиков cURL представляет интерес тем, что один из таких отчетов выложили в общий доступ.

Мейнтейнеры cURL используют для работы с независимыми исследователями платформу HackerOne, через которую и был подан отчет о фейковой уязвимости; его можно найти здесь. Отчет якобы содержит информацию об уязвимости при работе с протоколом HTTP/3. В качестве примера эксплуатации предлагается создать вредоносный сервер, использующий модифицированную библиотеку aioquic. При обращении к серверу с помощью утилиты cURL уязвимость, по идее, должна вызывать повреждение памяти.

Выглядит эта уязвимость достаточно правдоподобно. В интервью изданию Ars Technica Стенберг отмечает, что подобные отчеты всегда оформлены по высшему разряду и добавляет, что настоящие сообщения о реально существующих уязвимостях никогда такой аккуратностью не отличаются.

Продолжение: https://vk.com/wall-210601538_1734
⭐️ ИИ для кибербезопасности: тренды и востребованность

Институт статистических исследований и экономики знаний НИУ ВШЭ представил обзор трендов применения решений на основе искусственного интеллекта (ИИ) для цифровой безопасности, а также изучил их использование среди российских организаций. Отдельно были рассмотрены компании, которые применяют ИИ-решения более трех лет, и те, которые начали их внедрять менее трех лет назад.

Оценки основаны на результатах проведенного в конце 2023 года обследования 2,5 тыс. организаций из 20 отраслей экономики (обрабатывающая промышленность, торговля, финансы и страхование, транспорт и логистика, ИТ-отрасль, телекоммуникации и др.). В обзоре также приводятся информация из сторонних исследований (InfoWatch, Proofpoint, Imperva).

Ключевые выводы:

+ наиболее популярными ИИ-инструментами обеспечения цифровой безопасности эксперты назвали системы прогнозирования новых угроз; поведенческую аналитику сотрудников; ИИ-решения для блокировки ботов на основе анализа их активности; генеративные модели для анализа уязвимостей кода, сбора расширенного контекста событий ИБ, генерации пояснений по обнаруженным угрозам, выявления неявных связей в системе; обнаружение фишинговых сообщений через анализ текста;

+ отечественные инструменты ИИ в целом более востребованы у организаций, использующих такие технологии менее трех лет — 63,5% против 42,9% для компаний с более продолжительным опытом применения ИИ;

Продолжение: https://vk.com/wall-210601538_1735
⭐️ Примеры MLSecOps. Компания Cognitive Pilot усовершенствовала архитектуру нейронной сети в целях повышения безопасности

Ведущий российский разработчик систем автопилотирования на основе ИИ компания Cognitive Pilot выпустила обновление систем автопилотирования для сельхозтехники и рельсового транспорта, в котором усовершенствована структура нейронной сети.

В отличие от традиционного формата совершенствования архитектуры нейронных сетей, основанного в том числе на сборе огромных массивов информации, специалисты Cognitive Pilot применили свой, инновационный подход, сделав акцент на умном и рациональном отборе данных. В своем решении компания использовала актуальные аналитические методы анализа, такие как TSNE (t-distributed Stochastic Neighbor Embedding) и OOD (Out-of-Distribution Detection). Данный подход позволяет строить сбалансированные обучающие выборки, исключая избыточность и добиваясь максимальной эффективности при минимальном количестве данных.

Использование современной многозадачной трансформерной архитектуры позволило компании достичь качественно иного результата в задачах автопилотирования сельхозтехники и рельсового транспорта. Новая архитектура сети включает в себя несколько выходов (голов), каждый из которых отвечает за решение различных задач: например, определение кромки поля, детектирование препятствий, обнаружение зон, где вождение возможно или невозможно, и т. д. Ключевым преимуществом предложенного подхода стало достижение согласованности в процедуре обучения сети, что в совокупности с правильной стратегией насыщения обучающей выборки обеспечило заметный рост качества распознавания по сравнению с обучением каждой задачи отдельно. Совместное обучение также позволило адаптировать задачи сети к новым функциональным сценариям, которые не были изначально заложены в целевую постановку (эмерджентность). Взаимодействие между выходами способствовало более глубокому, качественному извлечению признаков и устойчивому обобщению, что указывает на формирование новых системных свойств нейросети, таких как эмерджентность и синергия в процессе совместного обучения. Новая архитектура получила название CognitiveNet.

Продолжение: https://vk.com/wall-210601538_1736
⭐️ Как нейросети помогают преступникам

Раньше на создание сложной схемы у среднего пошиба мошенников уходили дни, а то и недели, но сейчас при помощи нейросетей то же самое они могут реализовать за минуты. Это показал девятый выпуск отчета Cyber Signals под названием «Обман с помощью ИИ: новые угрозы мошенничества и методы противодействия». Теперь даже не слишком умные скамеры могут разрабатывать уловки, на которые раньше были способны единицы.

Инструменты на основе искусственного интеллекта могут собирать информацию о компаниях в интернете, помогая киберпреступникам создавать подробные профили потенциальных жертв для проведения эффективных атак методом социальной инженерии.

Злоумышленники заманивают пользователей в сложные схемы мошенничества, используя фальшивые обзоры товаров и созданные ИИ интернет-магазины.

По словам Келли Бисселл, корпоративного вице-президента подразделения Microsoft Security по борьбе с мошенничеством и злоупотреблениями продуктами, угроза продолжает расти: «Киберпреступность — это проблема на триллионы долларов, и ее масштабы увеличиваются с каждым годом на протяжении последних 30 лет».

По данным команды Microsoft по борьбе с мошенничеством, атаки с применением ИИ происходят по всему миру, особенно активны регионы Китая и Европы — в частности, Германии, как одного из крупнейших рынков электронной коммерции в ЕС.

Чем крупнее цифровая торговая площадка, тем выше вероятность мошенничества пропорционально ее размерам.

Особое беспокойство вызывают два направления мошенничества, усиленного ИИ: электронная коммерция и поиск работы.

Продолжение: https://vk.com/wall-210601538_1737
⭐️ Техническая поддержка MLSecOps и Data Governance

Привет, мои дорогие и самые талантливые друзья!

Запросов на помощь по обеспечению безопасности ИИ-систем от компаний-партнеров и моих подписчиков с каждым месяцем становится все больше. Также начинают поступать запросы и на Data Governance.

Поэтому я открываю в блоге VK два канала, где буду публиковать реальные запросы на техподдержку по этим двум направлениям. Конечно, все кейсы будут максимально анонимизированы, ситуации - обобщены. Но я уверен - реальные технологии и прикладные решения, используемые в реальных IT-компаниях будут очень интересны всем.

Техническая поддержка бесплатна и оказывается оперативно - просто пишите мне в личку в VK или в TG. В случае, если подобный кейс уже был, я перенаправлю на уже готовое решение и при необходимости дополнительно проконсультирую. При этом каждый новый практический случай буду дополнительно публиковать в своих блогах.

Архитектор MLSecOps
Николай Павлов
🔥4
⭐️ Что такое MLSecOps?

I. Понимание MLSecOps

Машинное обучение (ML) - это мощный инструмент для обнаружения закономерностей в данных и определения новых способов решения проблем. Однако, как и в случае со многими новыми технологиями, злоумышленники могут использовать системы ML или внедрять новые уязвимости, которые традиционные средства безопасности могут не заметить.

Операции по обеспечению безопасности машинного обучения (MLSecOps) - это развивающаяся дисциплина, которая решает эти задачи, уделяя особое внимание безопасности систем машинного обучения на протяжении всего их жизненного цикла. В нем решаются такие вопросы, как защита данных, используемых для обучения, защита моделей от враждебных угроз, обеспечение надежности моделей и мониторинг уязвимостей в развернутых системах. Поскольку организации все больше полагаются на искусственный интеллект и ML в критически важных операциях, важность MLSecOps значительно возросла.

В этой статье мы рассмотрим, как MLSecOps сочетает элементы кибербезопасности, DevOps и ML для улучшения обнаружения и устранения уязвимостей в системах, управляемых ML, обеспечивая их надежность, безопасность и соответствие нормативным стандартам.

II. Основные компоненты MLSecOps

Продолжение: https://vk.com/wall-210601538_1739
👍3🔥1
⭐️ После обвинений в плагиате и судебных исков OpenAI запустила центр оценки безопасности своих моделей ИИ

OpenAI запустила новый веб-ресурс — Центр оценок безопасности — для публикации информации о безопасности своих моделей искусственного интеллекта. Запуск состоялся 14 мая 2025 года, центр призван повысить прозрачность деятельности компании, которая в последнее время столкнулась с рядом судебных исков, обвиняющих её в незаконном использовании авторских материалов для обучения своих моделей ИИ. В частности, The New York Times утверждает, что OpenAI случайно удалила доказательства в деле о плагиате.

Центр оценок безопасности будет регулярно обновляться и предоставлять данные о таких аспектах, как частота галлюцинаций моделей, наличие вредоносного контента в их ответах, а также эффективность работы моделей по заданным инструкциям и попытки обхода ограничений. Так OpenAI планирует расширить информацию, предоставляемую ранее в рамках «системных карт», которые содержали лишь начальные данные о мерах безопасности каждой модели.

«По мере развития знаний об оценке ИИ мы стремимся делиться своим прогрессом в разработке более масштабируемых способов измерения возможностей и безопасности моделей», — говорится в заявлении OpenAI. Компания подчеркивает, что публикация части результатов оценок безопасности призвана не только улучшить понимание работы систем OpenAI, но и способствовать общим усилиям по повышению прозрачности в данной области. OpenAI также заявляет о намерении более активно взаимодействовать с сообществом по вопросам безопасности.

Продолжение: https://vk.com/wall-210601538_1740
🔥1
⭐️ ИИ в Data Governance: как мы ускорили маркировку персональных данных

Меня зовут Антон, я аналитик в команде разработки продукта RT.DataGovernance (далее — DG) компании TData.

В этой статье я расскажу, как мы c командой определяли, где и как будем использовать искусственный интеллект, как тестировали обученные модели и как интегрировали их в DG.

I. Пару слов о нашем продукте

Каждая компания, использующая data-driven подход, нуждается в качественном и эффективном управлении данными. Практики управления данными основаны на теоретических и практических рекомендациях, разработанных профессиональной ассоциацией DAMA (Data Management Association). Зафиксированы и описаны они в известной DAMA DMBOK. Одной из ключевых областей в управлении данными является Data Governance (в честь него и назван наш продукт). Она включает:

+ Определение политики и процедур управления данными
+ Назначение ролей и ответственности за управление данными
+ Разработка планов управления данными
+ Мониторинг и контроль качества данных
+ Обеспечение безопасности и конфиденциальности данных

Эти аспекты мы реализовали в нашем продукте через модули Каталога данных и Бизнес-Глоссария. Обращаясь к хранилищам данных, мы сканируем метаинформацию о существующих в нем объектах. Как правило, это схемы, таблицы и представления. DG отображает их метаинформацию: размер объекта, количество строк, колонки, сэмпл данных. После запуска профилирования для данных можно отразить минимальные и максимальные значения, процент пропусков, процент уникальных значений и моду.

В DG реализованы механизмы дополнительного бизнес-описания отсканированных объектов: пользователи могут закрепить за объектом конкретную роль, задать произвольный атрибутивный состав, связать его с другими объектами в DG (например, с терминами) и проставить теги. Это позволяет агрегировать объекты не только по атрибутам, но и по тегам.

Продолжение: https://habr.com/ru/companies/rostelecom/articles/909976/
🔥1
⭐️ Комната Наверху и другие истории обхода LLM

Вышла замечательная статья на habr одного из лидеров ИИ-Security в России, Артема Семенова.
Написана простым языком и с наглядными скриншотами. Очень рекомендую прочитать!

Ссылка: https://habr.com/ru/articles/910334

Архитектор MLSecOps
Николай Павлов
🔥3🥰1
⭐️ Cybernews: анализ ИИ-инструментов выявил 84% нарушений безопасности данных

Издание Cybernews представило отчёт на тему рисков, связанных с использованием искусственного интеллекта в корпоративной среде. Исследование Business Digital Index показало: 84% популярных ИИ-сервисов уязвимы или уже были скомпрометированы, что ставит под угрозу данные предприятий, использующих эти решения без контроля.

По данным отчёта, большинство сотрудников внедряют ИИ в повседневную работу без согласования с ИТ-отделами. При этом лишь 14% компаний утвердили внутренние регламенты или политику безопасности по применению подобных инструментов. Такой разрыв между активным использованием технологий и отсутствием системной защиты создаёт широкое окно возможностей для киберпреступников.

Анализ показал тревожные результаты: только 33% ИИ-инструментов получили высокий рейтинг безопасности (A), в то время как 41% были оценены на уровне D или F. Эти данные говорят о нестабильном и зачастую крайне слабом уровне защиты. Пользователи неосознанно допускают риски, передавая конфиденциальную информацию в уязвимые приложения.

По словам руководителя отдела исследований безопасности в Cybernews Винсентаса Баубониса, особую опасность представляет ложное чувство защищённости. Один незамеченный сбой в цифровом процессе может привести к масштабной утечке, получению доступа к корпоративным данным, компрометации клиентской информации или запуску программ-вымогателей.

Продолжение: https://vk.com/wall-210601538_1743
👍1🔥1
⭐️ Первая в мире клиника без врачей заработала в Саудовской Аравии

Китайская компания Synyi AI из Шанхая запустила в Саудовской Аравии первую в мире клинику, где искусственный интеллект (ИИ) самостоятельно диагностирует пациентов и выписывает рецепты, рассказывает Tengri Life.

Пациентов принимает ИИ-доктор Dr. Hua, собирает жалобы через планшет, анализирует медицинские показатели и выдает план лечения. Его затем проверяет живой врач, а также он вмешивается в экстренных случаях.

Это последний шаг на пути к тому, чтобы позволить ИИ диагностировать и лечить пациентов напрямую. На предыдущем этапе тестирования уровень ошибок ИИ составлял менее 0,3 процента.

Пока Dr. Hua работает с 30 респираторными заболеваниями, но в планах - расширение до 50 диагнозов и открытие новых клиник.

Несколько десятков пациентов уже воспользовались услугой бесплатно. После завершения испытаний диагностические данные будут направлены властям страны для одобрения. Разрешение может быть выдано в течение 18 месяцев.

tengrinews
🔥2