MLSecOps | AI Governance | IT Trends – Telegram
MLSecOps | AI Governance | IT Trends
924 subscribers
98 photos
2 videos
3 files
406 links
Канал для друзей и коллег с целью ежедневного развития в направлениях MLSecOps и AI Governance.
Свежие новости, перспективные вакансии, IT-тренды и лучшие учебные программы в сфере ИИ.
Download Telegram
⭐️ В России 9% IT-юристов зарабатывают более 500 тыс. рублей в месяц

В России заработные платы IT-юристов значительно превышают среднерыночные показатели. Об этом информируют данные исследования кадрового агентства Magic Staff, пишет «Газета.Ru».

Сообщается, что медианный уровень доходов специалистов в этой сфере составляет 200 тысяч рублей. При этом разброс зарплат весьма велик: от 40 тысяч до 1,8 млн рублей в месяц. Согнано исследованию, 28% IT-юристов зарабатывают в диапазоне 100-150 тысяч рублей, 45% — от 150 до 300 тысяч, 18% — в пределах 300-500 тысяч, а 9% получают более 500 тысяч рублей.

Продолжение: https://vk.com/wall-210601538_1650
⭐️ 10 признаков изображения, сгенерированного ИИ в MLSecOps

Распознавание изображений, сгенерированных ИИ (особенно генеративными моделями, такими как GANs, Diffusion Models и др.), является важной и сложной задачей в MLSecOps, поскольку качество таких изображений постоянно улучшается. Однако, есть ряд признаков, которые могут указывать на то, что изображение было сгенерировано ИИ (особенно, если наблюдаются сразу 2-3 таких признака):

I. Общие артефакты и несоответствия

1. Артефакты генерации (Generator Artifacts).

Это повторяющиеся паттерны или текстуры, которые появляются из-за особенностей архитектуры генератора ИИ. Они могут быть едва заметными, но при увеличении становятся очевидными.

Примеры: шахматный узор, сетка, радиальные артефакты, повторяющиеся пятна, подобные элементы в разных частях изображения и другие.

Продолжение: https://vk.com/wall-210601538_1651
⭐️ Скандал в IT - вместо мощной ИИ-системы компания Nate использовала труд сотен филиппинцев (!)

Основанный в 2018 году и позиционировавшийся как разработчик универсального решения для онлайн-шопинга «в один клик» стартап Nate вместо заявленного искусственного интеллекта на самом деле использовал труд сотен филиппинцев. Об этом сообщает портал VC.

Разработчики Nate заявляли, что пользователи могут выбрать товар в любом интернет-магазине, передать ссылку в приложение, после чего система якобы автоматически обрабатывала покупку, включая оплату и доставку.

Однако, как выяснилось, заявленная технология автоматизации на базе «собственных ИИ-моделей» оказалась фикцией. Министерство юстиции США выдвинуло против основателя компании Альберта Санигера обвинения в мошенничестве — он, по версии ведомства, вводил в заблуждение как текущих, так и потенциальных инвесторов, представляя несуществующие ИИ-решения как действующие.

Продолжение: https://vk.com/wall-210601538_1652
⭐️ 10 признаков текста, сгенерированного ИИ в MLSecOps

Распознавание текста, сгенерированного ИИ (особенно большими языковыми моделями, LLM), как и распознавание сгенерированного ИИ изображения, становится все более сложной задачей в MLSecOps. Поскольку языковые модели становятся все более совершенными в создании убедительного и связного текста. Тем не менее, есть несколько признаков, которые могут помочь определить, был ли текст сгенерирован ИИ.

Как и с распознаванием изображений, целесообразнее всего делать вывод о том, что текст сгенерирован ИИ на основе нескольких признаков. Кроме того, важно учитывать контекст, в котором представлен текст. Например, формальный стиль может быть уместным для научного отчета, но подозрительным для личного письма.

Продолжение: https://vk.com/wall-210601538_1653
⭐️ СПЧ раскритиковал концепцию регулирования искусственного интеллекта

Совет при президенте РФ по правам человека (СПЧ) выступил с резкой критикой в адрес концепции регулирования ИИ, разработанной при поддержке Альянса в сфере искусственного интеллекта. Документ, по мнению членов Совета, ориентирован преимущественно на интересы бизнеса и не содержит должных гарантий для защиты прав граждан.

Речь идёт об официальной концепции, которая закладывает рамки использования ИИ в государственных и коммерческих структурах. В СПЧ считают, что проект предполагает слабый контроль за алгоритмами, отсутствие механизмов прозрачности, а также — игнорирует потенциальные риски дискриминации, манипуляций и вторжения в личную жизнь.

Продолжение: https://vk.com/wall-210601538_1654
⭐️ Отличная нейронка для удаления водяных знаков с изображений: https://dewatermark.ai/ru

Работает прямо в браузере без ограничений, регистрации не требует. Пробуем, тестируем, сохраняем себе новый инструмент!

Архитектор MLSecOps
Николай Павлов
⭐️ Будущее уже здесь: в Мексике родился первый ребенок, зачатый ИИ

Технологии искусственного интеллекта впервые полностью заменили человека при проведении процедуры экстракорпорального оплодотворения (ЭКО). В результате родился абсолютно здоровый ребенок. Это событие уже называют настоящей революцией в области репродуктивной медицины и большим шагом вперед для пар, столкнувшихся с бесплодием.

Ученые из США и Мексики разработали уникальную роботизированную систему на основе искусственного интеллекта, способную полностью автоматизировать метод ИКСИ (интрацитоплазматическая инъекция сперматозоида). ИКСИ — один из самых распространенных методов в ЭКО, применяемый с начала 1990-х годов, особенно эффективный при мужском бесплодии.

Продолжение: https://vk.com/wall-210601538_1656
⭐️ Спрос на разработку ИИ-ассистентов для бизнеса вырос почти в 7 раз за год

Аналитики электронной торговой площадки «ТендерПро» проанализировали изменения в спросе на разработку ИИ-ассистентов со стороны бизнеса. По данным специалистов, за последний год количество торгов по таким проектам увеличилось почти в семь раз.

Наиболее активно заказывают разработку ИИ-ассистентов: Банковский сектор — 27,8% от общего числа торгов; ритейлеры — 18,2% от общего числа торгов; компании в сфере общественного питания — 12,5% от общего числа торгов; представители рынка недвижимости — 12,5% от общего числа торгов; телекоммуникационные компании — 8,3% от общего числа торгов.

Кроме того, значительно выросло число тендеров на создание ИИ-ассистентов у предприятий в сферах медицины, транспорта и энергетики.

Продолжение: https://vk.com/wall-210601538_1657
⭐️ Посол КНР: бесконтрольное развитие ИИ в США может привести к катастрофе

Бесконтрольное развитие искусственного интеллекта (ИИ) в США приводит к трагическим последствиям и может обернуться катастрофой для всего человечества. Об этом заявил посол Китая в России Чжан Ханьхуэй.

"А что происходит в США? Там развитие искусственного интеллекта во многом определяется интересами капитала. Чтобы сохранить свое доминирование, США оставили ИИ без контроля, что приводит к трагическим последствиям, - отметил посол. - С 2024 года учащаются случаи, когда чат-боты, разработанные американскими компаниями, склоняют подростков к суициду. В начале 2025 года мир был потрясен известием о первом в истории взрыве электрического пикапа в Лас-Вегасе, спланированном с использованием ChatGPT. Этот инцидент наглядно демонстрирует, что бесконтрольное развитие технологий может обернуться катастрофой для человеческой цивилизации".

Продолжение: https://vk.com/wall-210601538_1658
⭐️ Появилась новая информация о том, что собираются включить в законопроект «О регулировании систем искусственного интеллекта (ИИ) в России»

Что предлагает законопроект?

1. Ввести понятие искусственного интеллекта (комплекс технологических и программных решений, имитирующий когнитивные функции человека, в том числе самообучение, поиск решений без заранее заданного алгоритма, и обеспечивающий получение результатов, сопоставимых с результатами интеллектуальной деятельности человека).

2. Понятие технологий ИИ (к ним относят технологии компьютерного зрения, обработки естественного языка, распознавания и синтеза речи, интеллектуального анализа данных, машинного обучения и др.).

3. Понятие систем ИИ (информационные системы, которые имитируют когнитивные функции человека, применяя перечисленные выше технологии), разработчика, оператора и пользователя подобных систем и др.

Продолжение: https://vk.com/wall-210601538_1664
⭐️ NIST Cybersecurity Framework в MLSecOps

NIST Cybersecurity Framework (NIST CSF) — это набор рекомендаций, разработанный Национальным институтом стандартов и технологий США (NIST) для помощи организациям в управлении и снижении киберрисков. Это не нормативный документ, а скорее гибкий и адаптивный фреймворк, который может быть использован организациями любого размера и в любой отрасли.

NIST CSF состоит из трех основных компонентов:

1. Функции (Functions): Представляют собой верхний уровень организации, отражают основные действия по управлению киберрисками и организованы в пять параллельных и непрерывных функций:

+ Identify (Идентификация): Разработка организационного понимания для управления киберрисками для систем, активов, данных и возможностей. Что у вас есть?

Продолжение: https://vk.com/wall-210601538_1665
⭐️ Бесплатный вебинар "Что не так с безопасностью LLM?"

23 апреля на Reading Club #14 обсудим сразу два свежих исследования о том, насколько уязвимы языковые модели и как именно их защиту удаётся обойти — даже если это GPT-4.

1. Universal and Transferable Adversarial Attacks on Aligned Language Models — автоматическая генерация суффиксов, которые заставляют LLM нарушать встроенные ограничения.
Эксперт: Никита Беляевский — инженер Raft Security, магистрант AI Talent Hub

2. AutoDAN-Turbo: A Lifelong Agent for Strategy Self-Exploration to Jailbreak LLMs — автономный агент, который сам обучается джейлбрейкам и улучшает стратегии обхода.
Эксперт: Тимур Низамов — инженер Raft Security, магистрант AI Talent Hub

Дата и время: 23 апреля (среда) в 18:30 (мск)
Формат: онлайн
Ссылка: https://ai-talent-hub.timepad.ru/event/3320466/#register

Приятного аппетита, мои дорогие звезды IT!

Архитектор MLSecOps
Николай Павлов
Бесплатный, лаконичный и доступный для понимания курс на русском языке про разработку ИИ-агентов!

Срочно изучаем, вникаем, что непонятно - задаем вопросы!

Это неизбежное будущее, которое в течение 2-3 лет радикально изменит мир.

Ссылка: https://teletype.in/@prompt_design/agents-course

Приятного аппетита!

Архитектор MLSecOps
Николай Павлов
👍2
10 признаков фейкового аудио в MLSecOps

1. Несоответствия с контекстом.
Голос противоречит известным фактам о говорящем или ситуации, в которой он предположительно был записан. Например, человеку позвонила, судя по голосу его супруга. Но при этом некоторые слова она говорит с английским или украинским акцентом, чего ранее не было.

2. Неестественные переходы и паузы.
Странные, неестественные переходы между фразами, неестественно длинные или короткие паузы, которые не соответствуют нормальной речи. Особенно перед ответами на речь собеседника, что указывает на возможную задержку в связи с синтезом речи.

Продолжение: https://vk.com/wall-210601538_1673
⭐️ Цифровые профессии будущего: кто выживет в эпоху искусственного интеллекта

Искусственный интеллект меняет рынок труда: одни профессии исчезают, другие трансформируются, а третьи — только зарождаются. По данным ВЭФ, к 2030 году благодаря ИИ появится 11 млн новых рабочих мест, но в результате автоматизации могут исчезнуть 9 млн. В статье разбираемся, какие цифровые профессии останутся востребованными, как изменится работа программистов и какие навыки будут критически важны в ближайшие 5 лет.

I. Тренды рынка труда и технологий

Согласно отчету ВЭФ, стимулировать трансформацию рынка труда будут три ключевых фактора: робототехника и автоматизация, технологии генерации и хранения энергии, ИИ и обработка данных. При этом 31% опрошенных Стэнфордским университетом респондентов верят, что ИИ окажет положительное влияние на сферу занятости.

Продолжение: https://vk.com/wall-210601538_1674
⭐️ Компании обяжут информировать клиентов о том, что им звонит или пишет бот

Российские компании и госструктуры при использовании искусственного интеллекта (ИИ) в общении с гражданами по телефону или через интернет должны будут указывать, что клиент общается не с реальным человеком. Такое положение содержит законопроект «О регулировании систем искусственного интеллекта», подготовленный в Госдуме рабочей группой, состоящей из депутатов, представителей бизнеса и деловых ассоциаций.

Клиенту должна быть предоставлена возможность выбрать общение с оператором. Если взаимодействие осуществляется через чат-бота в интернете, должно быть указание на автоматизированный характер формирования ответов и сообщений, говорится в документе. Должен быть также указан порядок направления претензий и обращений в организацию, применяющую ИИ.

Продолжение: https://vk.com/wall-210601538_1675
⭐️ Модель угроз кибербезопасности ИИ от Сбера

У Сбера вышла модель угроз кибербезопасности AI на всех этапах жизненного цикла - от сбора данных до эксплуатации. По сути, первый фреймворк, аналогичный DASF, NIST AI RMF, и прочим, но российский. Это круто. И в конце приведено, что модель учитывает все актуальные материалах OWASP, MITRE, NIST и др.
Главное, чем мне нравится документ - своей структурой и полнотой.

I. Что в ней есть?

Перечень из 70 различных угроз, разбитых на 5 групп:
— Угрозы, связанные с данными
— Угрозы, связанные с инфраструктурой
— Угрозы, связанные с моделью
— Угрозы, связанные с приложениями
— Угрозы, связанные с AI-агентами

У каждой угрозы прописаны пояснение, последствие реализации, объект, на который нарушитель воздействует для реализации угрозы, виды моделей, подверженных угрозе (PredAI, то есть узкие ml-модели, и GenAI), а также лица, ответственные за митигацию угрозы. Последний пункт, думаю, является наиболее интересным с прикладной точки зрения. И еще нарушаемое свойство информации, но оно больше для базового понимания угрозы. Правда, примечательно, что для угроз галлюцинаций (M03) и вредоносных генераций (App12) используется четвертое свойство безопасности - достоверность.
Нет конкретных мер безопасности моделей, но, возможно, это не так страшно.

Продолжение: https://vk.com/wall-210601538_1676
⭐️ Data Steward в MLSecOps

I. Кто такой Data Steward?

Data Steward («распорядитель данных», «дата-стюард») — это специалист по надзору или по управлению данными в организации, который отвечает за обеспечение качества и соответствия объектов данных их назначению.

Целью работы распорядителя данных является управление качеством данных. Это включает в себя документирование метаинформации о данных, включая метаданные физических активов данных, подготовка описаний наборов данных, определение обязанностей владельцев и хранителей данных, управление взаимосвязями объектов, формирование описаний объектов в бизнес-глоссарии, документирование правил обработки и хранения данных.

Распорядители данных начинают процесс управления с каталогизации источников данных и их компонентов, каталогизации витрин данных и процессов преобразования данных. Для достижения этой цели применяется каталог данных.

Затем распорядители данных определяют и согласуют роли по управлению данными. Эти роли жизненно необходимы организациям, деятельность которых зависит от качества и своевременности обработки данных.

Продолжение: https://vk.com/wall-210601538_1677
⭐️ Кто такие Data Owner и Data Steward: как организовать обеспечение Big Data Quality?

Управление качеством данных не сводится только к обнаружению пропусков, дублей или аномальных значений. Технической стороной этого вопроса обычно занимается инженер по качеству данных (Data Quality Engineer) или тестировщик, однако исходная точка процессов Data Governance лежит в бизнес-плоскости. Управления качеством данных – это сквозной процесс в рамках операционной деятельности всего предприятия. Поэтому, по аналогии с владельцами бизнес-процессов, необходимо выделение владельцев данных. Data Owner (владелец данных) отвечает за ввод данных в информационные системы, регулируя процессы управления качеством и безопасности данных в зоне своей ответственности. При этом зона ответственности определяется лишь природой данных и не зависит от программных приложений их использования.

Однако владелец данных – это роль без регулярного выполнения определенных функциональных обязанностей. Она предполагает полномочия вносить изменения, а также иметь доступ к бюджету или ресурсам для проведения мероприятий по очистке данных, однако не включает выполнение самих этих операций.

Поэтому возникла профессия дата стюарда – специалиста, который определяет требования и решает инциденты с качеством данных в рамках своего бизнес-подразделения. На практике дата-стюарды тесно взаимодействуют с владельцами данных, экспертами предметной области и аналитиками, которые готовят бизнес-требования к отчетам, приложениям, бизнес-терминам, справочникам и расчетам.

Продолжение: https://vk.com/wall-210601538_1678
⭐️ Искусственный интеллект готов заменить до 60% чиновников Севастополя

Использовав доступные инструменты, правительство Севастополя и госсектор в целом можно сократить на 40%-60%, в зависимости от конкретной структуры и ведомства. К такому выводу пришли нейросети, оценив известные данные о госсекторе региона и актуальные примеры из других мест.

Ранее глава Минцифры РФ Максут Шадаев заявил, что искусственный интеллект может заменить половину чиновников. Такое мнение он высказал, выступая на форуме Data Fusion.

«Считаю, что половину чиновников точно может заменить. Может, чуть больше», – цитирует министра РИА Новости. При этом Шадаев уточнил, что человека, особенно врачей и учителей, нейросети все же не заменят.

Стоит отметить, что проблема оказалась редким случаем, когда от комментариев отказались даже собственные источники ForPost в правительстве региона. Что может говорить об остроте социальных вызовов, когда роботы всерьёз начнут заменять чиновников.

Поэтому было принято решение спросить у самого ИИ, в лице популярных систем ChatGPT, Grok и DeepSeek, какую долю чиновников Севастополя они готовы заменить – и как это будет выглядеть. Результаты оказались примечательными.

Здесь следует уточнить, что за достоверность анализа данных системами ИИ ручаться сложно, поэтому будем воспринимать его не как «факт», а как «сконструированное мнение».

Продолжение: https://vk.com/wall-210601538_1679
⭐️ Модельный закон «О технологиях искусственного интеллекта»

В мире пока нет золотого законодательного стандарта работы с искусственным интеллектом. Отдельные национальные документы стали принимать в США, ЕС и Китае. 18 апреля в Таврическом дворце в Петербурге на 58 заседании Межпарламентской ассамблеи СНГ приняли модельный закон, призванный стать эталоном в этой сфере на всем постсоветском пространстве.

Модельный закон «О технологиях искусственного интеллекта» описывает основные понятия и принципы действия в этой сфере, которые страны СНГ смогут использовать для создания национальных законов. Ведь мировое законодательство для нейронок пока не сформировано.

В документе говорится, что функционирование технологий ИИ на любой стадии их жизненного цикла должно быть надежным и соответствовать протоколам безопасности. При возникновении технического сбоя их работа должна быть защищена от попыток изменить назначение, протокол использования и результаты работы.

Продолжение: https://vk.com/wall-210601538_1680