MLSecOps | AI Governance | IT Trends – Telegram
MLSecOps | AI Governance | IT Trends
926 subscribers
100 photos
2 videos
3 files
409 links
Канал для друзей и коллег с целью ежедневного развития в направлениях MLSecOps и AI Governance.
Свежие новости, перспективные вакансии, IT-тренды и лучшие учебные программы в сфере ИИ.
Download Telegram
⭐️ Explainable AI в MLSecOps

Explainable AI (XAI) — это направление исследований и практики, направленное на создание моделей машинного обучения, чьи решения и выводы можно объяснить человеку, делая их понятными и интерпретируемыми. В контексте MLSecOps, Explainable AI играет важную роль, поскольку она помогает специалистам лучше понимать, как работают модели, что критически важно для обнаружения уязвимостей и предотвращения ошибок.

I. Зачем нужен Explainable AI?

При работе с моделями машинного обучения важно понимать, какие факторы влияют на принятие решений моделью. Однако многие современные модели, такие как глубокие нейронные сети, часто представляют собой "черные ящики": они выдают результат, но сам процесс принятия решения остается скрытым и непрозрачным. Это создает ряд проблем:

1. Проблема доверия: Если модель делает ошибки или принимает странные решения, пользователи теряют доверие к системе. Особенно это актуально в критичных областях, таких как медицина, финансы или автономные транспортные средства.

2. Обнаружение уязвимостей: Чтобы предотвратить возможные атаки на модели (например, adversarial attacks), нужно понимать, почему модель ведет себя определенным образом. Прозрачные объяснения помогают обнаружить аномалии и отклонения в поведении модели.

Продолжение: https://vk.com/wall-210601538_1509
1
⭐️ Темная фабрика Xiaomi

Приветик, мои славные Звезды IT! Сегодня угощаю вас небольшим видео о первой в истории полностью роботизированной и безлюдной фабрике по производству смартфонов, которую в Китае уже назвали "темная фабрика Xiaomi". Темной назвали потому, что можно выключить свет - а фабрика продолжит работу.

Здесь есть над чем задуматься всем нам. Это просто невероятный уровень технологий, и такие фабрики стремительно появляются во всем Китае.

Ссылка: https://vk.com/video270303137_456243550

Архитектор MLSecOps
Николай Павлов
1
⭐️ Потрясающий вебинар про MLSecOps: Регулирование ИИ и аспекты безопасности искусственного интеллекта

Дорогие мои Звезды IT!

Призываю всех настоятельно посмотреть этот вебинар, тут очень много нового, интересного про развитие ИИ в крупнейших компаниях и про обеспечение безопасности ИИ-систем!
Всем приятного аппетита!

Ссылка: http://vk.com/video-195760431_456239436

Архитектор MLSecOps
Николай Павлов
1
⭐️ 24 февраля в НТГСПИ провел замечательную встречу со студентами и преподавателями! Обсудили современные тренды в IT, применение современных нейронных сетей в педагогике и образовании, а также безопасную работу с ИИ.
Спасибо всем ребятам за классные вопросы, искренний интерес и совместные фото! Также лично благодарю Губанову Ирину Алексеевну за возможность выступить на такой большой площадке!

С теплом,
Архитектор MLSecOps
Николай Павлов
1👍1😁1
⭐️ Более 50% опрошенных работодателей в России сообщили о дефиците IT-специалистов

Большинство российских работодателей (64%) видят нехватку IT-специалистов на рынке труда, при этом 16% из них ощущают это очень остро. Об этом говорится в результатах опроса платформы для работы с внештатными исполнителями «Консоль.Про», с которыми ознакомились «Известия» 20 февраля.

Основной дефицит кадров респонденты наблюдают среди Senior (40%) и Middle (39%). На недостаток сотрудников на уровне управляющих и директоров (C-Level) указали 15%. При этом компании не испытывают голода на младших специалистов, лишь 6% видят проблему нехватки Junior.

Сильнее всего компании ощущают нехватку тестировщиков — на это указали 31% респондентов. На втором месте оказались Backend-разработчики (27%), а тройку лидеров замкнули продакт-менеджеры (24%). Также в список вошли руководители группы разработки (21%) и специалисты по информационной безопасности (19%).

Продолжение: https://vk.com/wall-210601538_1515
1
⭐️ ИТ-тренды 2025 по версии РУССОФТ

2025 год станет для российской ИТ-отрасли временем адаптации к новым условиям. Каким трендам нужно следовать, чтобы обеспечить успех своей компании выяснил РУССОФТ, объединение 375 компаний-разработчиков программного обеспечения России.

1. Импортозамещение и безопасность

В 2025 году акцент сместится с всеобъемлющего импортозамещения на целевые решения, особенно в сфере критически важной инфраструктуры. Безопасность и суверенность отечественных решений станут ключевыми требованиями, а компании будут активно внедрять российское ПО, соответствующее стандартам ФСТЭК и другим регуляторным нормам.

2. Государственная поддержка и диалог

Государство продолжит поддерживать ИТ-отрасль, но фокус сместится на крупные корпорации и тиражируемые решения. Малый и средний бизнес может столкнуться с уменьшением прямых мер поддержки, что потребует объединения усилий через отраслевые ассоциации для защиты своих интересов.

Продолжение: https://vk.com/wall-210601538_1518
⭐️ Вузы оторваны от реалий IT. Спрос на защиту LLM-систем (LLMSecOPs) стремительно растет

В Индустриальном центре компетенций (ИЦК) «Финансы» (в него входит большинство системно значимых банков и финансовых организаций РФ) обратились в Минобрнауки РФ с просьбой скорректировать программы подготовки IT‑специалистов под нужды финансовых организаций из‑за оторванности текущего уровня образования от реальных потребностей рынка.

В ИЦК «Финансы» пояснили, что «сделали запрос в Минобрнауки, для того чтобы была проведена корректировка программ профессионального обучения для дальнейшего обсуждения с министерством и понимания тех потребностей, которые могут быть закрыты учебными заведениями».

Продолжение: https://vk.com/wall-210601538_1519
⭐️ Зарубежные банки начали отказываться от сотрудников в пользу ИИ-инструментов

Сингапурский банк DBS Group объявил о планах сократить около 4 тысяч внештатных и временных сотрудников в течение следующих трех лет, заменив их на решения на основе искусственного интеллекта.

О грядущих изменениях сообщил генеральный директор банка Пиюш Гупта. В настоящее время штат крупнейшего банка Юго-Восточной Азии составляет около 41 тысячи человек, включая 8–9 тысяч внештатных и временных работников. В банке уточнили, что сокращения не затронут постоянных сотрудников.

При этом, по словам представителей кадровой службы DBS, сокращение численности сотрудников произойдет, в том числе, за счет «естественной текучести кадров», поскольку временные и контрактные роли будут завершены в течение следующих нескольких лет.

Продолжение: https://vk.com/wall-210601538_1521
⭐️ Контрофферы стали популярным инструментом для удержания сотрудников

На треть чаще работодатели стали использовать контрофферы для удержания сотрудников – сейчас кандидаты выбирают предложение от своего работодателя почти на треть чаще по сравнению с прошлым годом.

Доля отказов от нового трудоустройства из-за получения встречного предложения от текущего работодателя составила 1,9%, что на 0,5 процентного пункта ниже, чем в 2023 году. Однако в абсолютных цифрах количество случаев, когда кандидаты выбирали предложение от своего работодателя, увеличилось на 28% по сравнению с прошлым годом. Этот тренд был выявлен аналитиками облачной CRM-системы для рекрутинга Talantix, входящей в HR-экосистему hh.

Продолжение: https://vk.com/wall-210601538_1522
⭐️ MLSecOps - Безопасность ИИ

Привет, мои дорогие и непревзойденные Звезды IT!
Нашел интересную презентацию ФинТех-ассоциации от сентября прошлого года по MLSecOps. Делюсь с вами наиболее ценными и вкусными слайдами.

Продолжение: https://vk.com/wall-210601538_1523
⭐️ Спрос на специалистов по LLM Security (LLMSecOps) в 2025 году вырастет на четверть

Повсеместное внедрение искусственного интеллекта в бизнес-процессы существенно изменит картинку на рынке труда, уверены эксперты ГК Swordfish Security.

Уже сейчас спрос на услуги кибербезопасности в области искусственного интеллекта растет. По подсчетам экспертов компании, в первый месяц 2025 более трети запросов от клиентов включали запросы на LLM Security.

Специалисты в области LLM Security – одни из самых редких и высокооплачиваемых на рынке ИТ, подсчитали аналитики платформы hh. Так в 2024 вакансий разработчиков, связанных с кибербезопасностью в области искусственного интеллекта, аналитики насчитали 878, тогда как в 2023 их было всего 154. Спрос на функционал, связанный с работой в сфере LLM Security за год вырос почти в 5,5 раз. Примерно та же картина с вакансиями аналитиков в области безопасности ИИ: по данным hh, их стало больше в 5 раз (555 в 2024 против 107 в 2023). При этом, что касается разработчиков в области ИИ в целом, их востребованность даже немного снизилась, в 2024 году было открыто 483 вакансии, на 14% меньше, чем в 2023. А вот тестировщики с функционалом в области ИИ на рынке по-прежнему очень нужны, по данным hh, количество вакансий для них выросло почти в три раза, со 116 в 2023 до 346 в 2024. В 2024 году самая высокая предлагаемая зарплата в вакансиях, связанных с ИИ, была на уровне 10 тыс. долларов.

Продолжение: https://vk.com/wall-210601538_1526
⭐️ С нашим праздником, Звезды IT!

28 февраля в день изобретения сетевого кабеля во всем мире отмечают замечательный праздник - День ИТ-специалиста, объединяющий всех, кто трудится в сфере высоких технологий!

Благодаря нашим с вами усилиям мир становится всё более цифровым, эффективным, автоматизированным и высокотехнологичным! Создаются новые возможности, появляются роботы, упрощается наша жизнь.

От всего сердца поздравляю каждого из вас с профессиональным праздником, мои легендарные Звезды бескрайнего неба IT! Желаю всегда учиться, минимум 2-3 часа в день! Никогда не терять вдохновения, веры в себя, продолжать непрерывно развиваться и покорять новые вершины! Будьте примерами для окружающих! И пусть ваш светлый путь принесет успех и благополучие вам и вашим Здоровым Семьям!

С теплом,
Архитектор MLSecOps
Николай Павлов
⭐️ Родители рассказали, в каких профессиях мечтают видеть своих детей

Россияне чаще всего мечтают видеть своих детей айтишниками, врачами и инженерами. Каждый второй родитель хотел бы, чтобы его ребенок открыл собственный бизнес.

Согласно исследованию, проведенному Группой Ренессанс Страхование и платформой hh, большинство родителей, как мужчин, так и женщин, предпочли бы, чтобы их дети выбрали ИТ-специальности (31%), медицинские профессии (21%) и инженерные специальности (15%). Четвертое место заняли профессии в области дизайна (12%), а пятую позицию разделили юридические и архитектурные специальности (по 11%). Десятку желаемых профессий замыкает специалист по гейм-девелопменту (9%).

Интересно, что среди наименее перспективных профессий родители выделили блогера (28%), автомеханика (17%), воспитателя/няню (16%), актера (15%), агента по недвижимости (13%), мастера ногтевого сервиса (12%), бухгалтера (11%), продавца-консультанта (10%) и учителя (8%).

Продолжение: https://vk.com/wall-210601538_1531
⭐️ Пять ключевых направлений развития ИИ

На начало 2025 года уже более половины финансовых организаций используют ИИ для целого спектра задач, от кредитных конвейеров до удаленной идентификации и антифрод-систем. Развитие технологий ИИ сегодня идет по пяти ключевым направлениям.

Первое направление — оптимизация существующих и формирование новых архитектур ИИ-решений. Технологии ИИ развиваются учеными всего мира. Недавно генеративно-состязательные сети (GAN) использовались для генерации картинок. Но это давало страшные дефекты — торчащие из ниоткуда клочки волос, белые зрачки и другие недочеты, которые не улавливала сеть-дискриминатор. После этого была применена архитектура stable diffusion, которая решила эти проблемы, но имела другие недостатки: например неправильное количество пальцев на руках из-за недостаточной выборки обучающих данных.

Продолжение: https://vk.com/wall-210601538_1532
⭐️ Вебинар "Основы информационной безопасности" со мной. Часть 1

Привет, мои дорогие и самые безопасные Звезды IT!

Наступила суббота! И сегодня я провел первую часть благотворительного вебинара "Основы информационной безопасности" для организации "Вера, Надежда, Любовь" в Нижнем Тагиле.

В этой части вы узнаете:
- Основные тренды сферы ИБ
- Статистику ИБ
- Базовые термины и классификацию ИБ
- Практические методы и советы по защите от киберугроз
- Многое другое

Видео уже доступно, переходите по ссылке. Всем приятного аппетита!

Ссылка на вебинар:
https://rutube.ru/video/private/72c184edf7cfddc8ffa6c8eda8fd7136/?p=zz3mDYHl-17aK_TEQxvOPw

Архитектор MLSecOps
Николай Павлов
⭐️ Криптоджекинг (Cryptojacking) в MLSecOps

I. Что такое криптоджекинг?

Криптоджекинг — это схема использования чужих устройств без ведома их владельцев для скрытого майнинга криптовалют. При этом используется вредоносный код, который запускает вычислительный процесс в фоновом режиме.

Существует три основных вида криптоджекинга:

1. С помощью вредоносных программ (вирусов, троянов), загруженных на устройство пользователя. Они объединяют компьютеры в ботнет, через который могут поступать команды на добычу криптовалют, или автономно запускают сценарий майнинга при включении устройства.

2. Через веб-браузер с помощью вредоносного скрипта JavaScript, встроенного в веб-страницы. Мощности пользователя буквально «захватываются» при захождении на сайт и порой продолжают использоваться, даже когда тот закрывает страницу.

Продолжение: https://vk.com/wall-210601538_1533
⭐️ Вебинар "Безопасный ИИ: защитите свои данные, модели и репутацию"

В условиях быстрорастущей зависимости бизнеса от искусственного интеллекта (ИИ), защитить информацию и гарантировать надежность моделей становится критически важным. Приглашаем вас на вебинар, посвященный одной из самых актуальных тем безопасности в работе с ИИ — MLSecOps!

Почему эта тема актуальна сейчас?

С каждым днем все больше организаций сталкиваются с необходимостью обеспечить безопасность своих ИИ-решений в связи с ростом использования нейросетей. Так, согласно отчетам экспертов, проблемы кибербезопасности возрастают с ростом использования ИИ. Важно не только разрабатывать ИИ, но и защищать его от атак. Компании обязаны следить за безопасностью своих данных, что подчеркивает важность материально-технической базы для работы с ИИ.

MLSecOps – новое направление, которое сформировалось для защиты больших данных, моделей и репутации. Оно находится на стыке машинного обучения и информационной безопасности, требует комбинированных навыков. В связи с чем, наблюдается стремительный рост на специалистов MLSecOps.

Дата, время: 13 марта, 11:00 - 12:30 МСК.

Спикер: Николай Валерьевич Павлов, архитектор MLSecOps, тренер и разработчик электронных курсов Академии Softline.

Условия участия: бесплатно, необходима предварительная регистрация.

Присоединяйтесь к вебинару, чтобы узнать:
1. Основные тренды в ИТ-сфере, включая пересечение нейронных сетей и информационной безопасности.
2. Актуальность MLSecOps: почему это важно сейчас?
3. Что такое MLSecOps и как этот подход может помочь вашей организации защитить данные и репутацию.
4. Обзор новой учебной программы «Обеспечение безопасности систем машинного обучения. Основы MLSecOps».
5. Каковы карьерные перспективы и возможности, которые открываются для специалистов в области MLSecOps.

Ссылка для регистрации: https://edu.softline.com/news/bezopasnyy-ii-zashchitite-svoi-dannye-modeli-i-reputatsiyu_/?ysclid=m7qku27gac119007897

Архитектор MLSecOps
Николай Павлов
🔥1
MLSecOps | AI Governance | IT Trends pinned «⭐️ Вебинар "Безопасный ИИ: защитите свои данные, модели и репутацию" В условиях быстрорастущей зависимости бизнеса от искусственного интеллекта (ИИ), защитить информацию и гарантировать надежность моделей становится критически важным. Приглашаем вас на вебинар…»
⭐️ Вторая и заключительная часть моего вебинара "Основы информационной безопасности"

Привет, мои самые предусмотрительные и невероятно умные Звезды IT! По вашим просьбам мы оперативно ускорились и записали вторую часть вебинара "Основы информационной безопасности". Приятного аппетита!

Ссылка: https://rutube.ru/video/6394dd126ee4da92401794653865061c

Архитектор MLSecOps
Николай Павлов
⭐️ Четыре современных профессии в сфере обеспечения безопасности ИИ (MLSecOps)

1. Архитектор безопасности

Архитектор безопасности — специалист, который фокусируется на общей картине того, как организация защищает себя. Поскольку автоматизация и ИИ приводят к появлению все более сложных угроз, эти опытные работники необходимы для совершенствования существующих систем и практик.

Для этой роли необходима отточенная техническая экспертиза, но она также требует отличных «мягких» навыков. «Архитекторы безопасности работают в тесном контакте с бизнес-руководителями и заинтересованными сторонами, чтобы согласовать стратегические цели и учесть потребности каждого. Кроме того, ожидается, что они всегда будут в курсе последних угроз.

Продолжение: https://vk.com/wall-210601538_1538
🔥1
⭐️ Нейронка в угоне: как атакуют и защищают модели искусственного интеллекта

Необходимость в обеспечении безопасности компаний при интеграции моделей искусственного интеллекта в бизнес-процессы и применение ИИ киберпреступниками уже не новинка для рынка IT. В то же время не так много внимания уделяется защите самих моделей ИИ от различных атак, хотя всего месяц назад Microsoft и OpenAI публично заявили, что подозревают китайскую DeepSeek в несанкционированном доступе к своим массивам данных. О типологии атак на ИИ-модели, потенциальных рисках для бизнеса и месте науки на рынке ИБ рассказывает кандидат физико-математических наук, руководитель научной группы «Доверенные и безопасные интеллектуальные системы» Института AIRI, старший научный сотрудник МТУСИ Олег Рогов

Арсенал мечей

Атака на модели ИИ — это выведение нейросети из штатного режима работы, для которого она предназначалась в процессе создания. Злоумышленники используют недостаточную подготовку данных или определенные способы обучения нейронных сетей в качестве уязвимостей. Существует два основных режима атак. Whitebox-атака используется, когда злоумышленник знает модель, параметры и архитектуру (пример — физический доступ к серверу с продуктом и/или исходному коду и самой готовой модели). Такие атаки чаще находятся в плоскости экспертизы классической информационной безопасности организаций и заключаются в обеспечении защиты контура предприятия, потому что требуют либо прямого доступа к инфраструктуре компании, либо к конфиденциальной информации.

Продолжение: https://vk.com/wall-210601538_1539