MLSecOps | AI Governance | IT Trends – Telegram
MLSecOps | AI Governance | IT Trends
927 subscribers
101 photos
2 videos
3 files
410 links
Канал для друзей и коллег с целью ежедневного развития в направлениях MLSecOps и AI Governance.
Свежие новости, перспективные вакансии, IT-тренды и лучшие учебные программы в сфере ИИ.
Download Telegram
⭐️ Специалисты по информационной безопасности рассказали о новой уловке мошенников

Злоумышленники выдают себя за менеджеров по продажам и крадут корпоративные учетные данные от электронной почты, предупредили эксперты «Лаборатории Касперского».

Как говорится в сообщении компании, в своих сообщениях мошенники представляются менеджерами и просят подписать и отправить договор, который якобы прикреплен в приложении. Однако, если пользователь откроет PDF-файл, он увидит уведомление об ошибке. На следующем этапе происходит кража данных. По сценарию фишеров, для доступа к документу пользователю необходимо подтвердить свои учетные данные от электронной почты, чтобы войти в облачное хранилище, где хранится файл. На самом деле, пользователь попадает на фишинговую страницу, где после того, как он введет свои логин и пароль, данные попадут злоумышленникам.

Продолжение: https://vk.com/wall-210601538_1491
⭐️ «Самокат» начнет тестировать доставку продуктов дронами

Сервис доставки продуктов «Самокат» собирается запустить тестовую доставку продуктов дронами. Сейчас большая часть регионов России ограничивает полёты БПЛА, поэтому доставка «Самоката» будет осуществляться в рамках экспериментального правового режима в Самарской области на ограниченные расстояния.

Запустить доставку продуктов по воздуху планируют в первом квартале 2025 года. Аэрокурьеры будут доставлять заказы в постаматы, расположенные в нескольких районах Тольятти. Компания отмечает, что ассортимент товаров, доступных для доставки дронами, будет ограничен, а максимальный вес заказа должен составлять 5 кг.

Продолжение: https://vk.com/wall-210601538_1493
⭐️ В России утвердили параметры эксперимента по добровольному подтверждению разработчиками ПО своих компетенций

Эта инициатива позволит работодателям и образовательным учреждениям более точно определять уровень ИТ-компетенций и подбирать подходящих сотрудников, а специалистам — проверить свои знания и получить сертификат, подтверждающий их квалификацию.

Правительство РФ утвердило параметры эксперимента по внедрению системы добровольного подтверждения компетенций для разработчиков программного обеспечения. С 31 мая 2025 года любой желающий, независимо от уровня образования, сможет пройти тесты и выполнить практические задания по 21 направлению, включая Python, Java, Git и другие.

Продолжение: https://vk.com/wall-210601538_1494
⭐️ Академия Softline начала разработку обучающих программ по MLSecOps

Образовательная экосистема Академия Softline (ГК Softline) объявляет о расширении направления обучения технологиям искусственного интеллекта (ИИ). В рамках этой инициативы запускается ряд образовательных программ, отвечающих актуальным потребностям рынка.

Спрос на навыки в работе с искусственным интеллектом в корпоративной среде, и отдельно на специалистов по созданию ИИ-решений демонстрирует беспрецедентный рост. В ответ на эту тенденцию Академия Softline работает над развитием существующей линейки программ обучения работе с нейросетями, и выделила эту инициативы в отдельное направление.

Продолжение: https://vk.com/wall-210601538_1495
⭐️ APT-LLM: защита от продвинутых киберугроз с помощью ИИ в MLSecOps

Одна из самых сложных задач ИБ — обнаружение Advanced Persistent Threats (APT) — скрытых атак, которые могут годами незаметно находиться в системах компаний. Исследователи из Нью-Йоркского университета, Университета Монреаля и Эдинбургского университета представили APT-LLM - систему, которая использует большие языковые модели для обнаружения аномалий, указывающих на APT-атаки.

⚠️ Почему APT-атаки так опасны?

💀 APT (Advanced Persistent Threat) — это целевые атаки, при которых злоумышленники долго и незаметно проникают в систему, крадут данные или наносят ущерб. Они маскируются под легитимные процессы, из-за чего традиционные методы обнаружения их пропускают.

🌐 В реальных условиях такие атаки часто составляют менее 0,004% от всего трафика, что делает их крайне сложными для выявления стандартными системами безопасности.

🧠 Что такое APT-LLM и как оно работает?

Продолжение: https://vk.com/wall-210601538_1496
⭐️ Жители Великобритании выступают за запрет на использование ИИ-систем, которые могут превзойти человеческий интеллект

По результатам опроса, проведенного компанией YouGov для Control AI, большинство британцев обеспокоены прогрессом в области искусственного интеллекта и требуют более строгих мер регулирования.

✏️ 87% участников исследования поддерживают инициативу, согласно которой компании, занимающиеся разработкой ИИ, должны подтверждать безопасность своих технологий перед их выходом на рынок.

✏️ 60% респондентов согласны с запретом на ИИ, способного превзойти людей по интеллекту.

Опасения по поводу таких технологий растут, особенно в контексте работы OpenAI и Google над созданием мощных ИИ-систем.

Хлебни ИИ
⭐️ Стало только хуже? Число DDoS-атак во втором полугодии 2024 года выросло в 2,5 раза

За период с июля по декабрь 2024 года бесплатным сервисом защиты от DDoS-атак Selectel были отражены 80 735 атак. Вместе с этим наибольшее число инцидентов пришлось на октябрь. В среднем мы отражали 13 455 атак в месяц и 65 — на каждого атакованного клиента.

Максимальное число атак на одного клиента варьировалось от месяца к месяцу и в среднем составило 2 780 инцидентов. А наибольшее количество было зафиксировано в сентябре — 4 621 инцидент.

Основные характеристики атаки, определяющие ее мощность на сетевом и транспортном уровнях, — это объем и скорость.

Атаки большого объема, измеряемого в количестве переданных бит за одну секунду, направлены на переполнение полосы пропускания. Наибольший объем был достигнут в ноябре и составил 412 Гбит/с.

Несмотря на рекордный объем атак в ноябре, средний объем переданных данных за один инцидент в этом месяце оказался близким к минимальному. Притом наибольшее значение среднего объема переданных данных за атаку составило 48 ГБ и было отмечено в июле. А вот среднее количество переданных пакетов колебалось в десятки раз. Максимальное значение в 500 миллионов, также зафиксированное в июле, в 24 раза превышает минимальное, которое зарегистрировано в сентябре.

Продолжение: https://vk.com/wall-210601538_1498
⭐️ Основатель крупного ИИ-сервиса Питер Ван опубликовал гайд по борьбе с прокрастинацией. Его советы быстро стали популярными в X, где их сохранили более 4000 раз.

База:
Перезагрузка мышления:
Время – самый главный ресурс. Относитесь к нему так, будто каждый час стоит $1000;
Избавьтесь от перфекционизма и сосредоточьтесь на прогрессе;
Избавьтесь от установки "когда-нибудь" и устанавливайте для задач конкретные дедлайны.

Система действий:
Пользуйтесь правилом двух минут – если задача занимает менее двух минут, то сделайте это сразу;
Разбивайте большие проекты на маленькие;
Каждое утро выделяйте час на анализ задач, которые выполнили вчера.

Дизайн среды:
Очистите рабочее место от отвлекающих элементов;
Сделайте разные зоны для работы, отдыха и планирования.

Инструменты:
Используйте приложения для оптимизации рабочего времени. Если какое-то из списка недоступно в РФ, то используйте аналог.

Ежедневные привычки:
Самую сложную задачу нужно выполнять в начале дня;
Празднуйте даже небольшие победы;
Делайте небольшие перерывы, чтобы контролировать свой прогресс.

Экстренные вмешательства:
Если застряли на задаче – не уделяйте ей больше 5 минут и идите дальше;
Над рутинными задачами работайте в команде;
Продвигайтесь по задачам насколько это возможно – движение создаёт мотивацию.
🔥2
⭐️ В российских компаниях набирает силу тренд на «тихий наем»

В 10% российских компаний за последний год увеличилось количество сотрудников, совмещающих несколько должностей. Также работодатели стали чаще внедрять программы обучения, после прохождения которого сотрудники смогут выполнять несколько ролей.

Практика «тихого найма», при которой вакансии заполняются действующими сотрудниками, становится все более популярной в условиях нехватки кадров. Компании предлагают своим работникам совмещение нескольких ролей и инвестируют в их обучение, чтобы закрыть наиболее дефицитные позиции.

Согласно данным сервиса Superjob, в каждой десятой компании увеличилось число сотрудников, работающих на нескольких позициях. Кроме того, в 15% работодателей уже внедрили программы переподготовки кадров, позволяющие специалистам выполнять несколько ролей, и столько же планируют их запустить. В то же время 54% компаний не имеют таких программ и не собираются их создавать.

Продолжение: https://vk.com/wall-210601538_1500
⭐️ Вакансия MLSecOps engineer в ООО ИК "Сибинтек"

ООО ИК «СИБИНТЕК» — современный, технологичный, эффективный ИТ-интегратор, один из крупнейших игроков на рынке российских информационных технологий.

Обязанности:
+ Проектирование и реализация безопасной инфраструктуры для разработки и развертывания моделей машинного обучения.
+ Разработка автоматизированных решений для мониторинга и реагирования на угрозы в ML-системах.
+ Проведение аудитов безопасности и тестов на проникновение для выявления и устранения уязвимостей в ML-инфраструктуре.

Требования:
+ Опыт работы не менее 3-х лет в сфере информационной безопасности, DevSecOps, разработке или Data Science.
+ Высшее образование по направлению ИБ или ИТ.
+ Глубокое понимание принципов машинного обучения, данных и безопасности.
+ Знание CI/CD, Infrastructure as Code и автоматизации в контексте ML-моделей.
+ Уверенные знания DevOps практик и их применение для обеспечения безопасности (например, Ansible, Terraform, Docker, Kubernetes).
+ Знание OWASP TOP10, SUNS 25, OWASP API Security и OWASP Mobile Security
+ Опыт проведения тестов на проникновение и управления уязвимостями.

Продолжение: https://vk.com/wall-210601538_1501
⭐️ Китайская компания под угрозой увольнения призвала холостых сотрудников найти пару

Одна из китайских компаний сообщила о том, что разорвет трудовые контракты с неженатыми сотрудниками, если они не вступят в брак до конца сентября 2025 года.

Холостые работники Shandong Suntech Chemical Group в возрасте от 28 до 58 лет получили письма от руководства, в которых говорится о том, что они должны заключить брак до 30 сентября 2025 года. Если этого не случится, то в ходе проверок они первыми станут кандидатами на увольнение.

После того, как это письмо было опубликовано в сети, работодатели получили массу негативных отзывов и призывов не лезть в частную жизнь своих работников. Также недовольные сотрудники пожаловались в службу по надзору за соблюдением трудового законодательства. В свою очередь компания пообещала смягчить требования, но отметили, что женатые/замужние специалисты работают более эффективно, чем их холостые коллеги, а также то, что ее корпоративная культура поддерживает традиционные семейные ценности.

Продолжение: https://vk.com/wall-210601538_1502
⭐️ 57 кейсов внедрения ИИ в российских компаниях. Вот, где очень нужен MLSecOps!

1. Сбербанк: Внедрение ИИ в 85% процессов компании. Использование ИИ для принятия 100% кредитных решений для физических лиц и 70% для юридических лиц к концу 2024 года. Разработка новой версии нейросети Kandinsky и чат-бота GigaChat для работы с изображениями и текстами.

2. Яндекс: Использование модели YandexGPT для автоматизации клиентской поддержки, включая суммаризацию диалогов и генерацию ответов операторам. Ожидаемый экономический эффект — около 1,2 млрд рублей к концу 2024 года.

3. Авито: Внедрение ИИ в HR-процессы, включая автопарсинг резюме, прогнозирование прохождения испытательного срока, и персонализированное обучение сотрудников. Использование ChatGPT для автоматизации клиентской поддержки и написания текстов.

4. Ростелеком: Применение ИИ для анализа видеосвязи в HR, а также для распознавания кадровых документов и прогнозирования успешности кандидатов на рабочих местах.

5. Северсталь: Внедрение ИИ в HR-процессы, включая ранжирование кандидатов и создание персонализированных программ обучения.

Продолжение: https://vk.com/wall-210601538_1503
⭐️ 20 умных фраз MLSecOps-архитектора, которые подчеркнут Вашу экспертизу )))

ВОПРОС ОТ ПОДПИСЧИКА:

Николай, добрый день!
Подскажите, а какие фразы из MLSecOps порекомендуете говорить мне на встречах с коллегами?

ОТВЕТ:

Добрый день! Важно, что эти фразы лучше не говорить просто так! Но держать в голове, чтобы при удобном случае показать свою экспертность и профессионализм:

I. Общие фразы:
“Нам нужно применить подход security-first ко всему ML-пайплайну.”
“Давайте проведем threat modeling для нашей ML-системы, чтобы выявить потенциальные векторы атак.”
“Важно учитывать атаки на уклонение (evasion attacks) при разработке стратегии защиты моделей.”
“Необходимо реализовать мониторинг отклонений для обнаружения аномалий в данных и поведении моделей.”

Продолжение: https://vk.com/wall-210601538_1504
⭐️ По Тюменскому тракту в 2026 году запустят движение беспилотных грузовиков

Федеральная трасса М-12 «Восток» подойдет для запуска беспилотных грузоперевозок в перспективе ближайших лет. Об этом сообщает ТАСС со ссылкой на ассоциацию «Цифровой транспорт и логистика».

Запуск автономного движения будет способствовать развитию бизнеса и приведет к ускорению и снижению стоимости доставки грузов, считают эксперты. Однако пускать высокоавтоматизированные транспортные средства имеет смысл только на магистральных направлениях, где нет пешеходов и светофоров и отличная связь, уточняет директор ассоциации «Цифровой транспорт и логистика» Полина Давыдова.

Продолжение: https://vk.com/wall-210601538_1505
⭐️ Больше двух месяцев, в среднем, уходит у работодателя на поиск подходящего сотрудника

Процесс найма остается сложной задачей: лишь 4% компаний закрывают вакансии за неделю. Остальные тратят на это от 1-2 недель (11%) до более чем 2 месяцев (25%), что свидетельствует о высокой конкуренции за кадры.

Русская Школа Управления (РШУ) провела исследование, в котором выяснила, сколько времени работодатели тратят на закрытие вакансий, какие условия привлекают соискателей и каких специалистов планируют нанимать в 2025 году.

Как отмечают эксперты, соискатели становятся более требовательными: 82% ожидают повышения зарплаты, 55% интересуются удаленной работой и гибким графиком, 43% — социальными гарантиями, а 36% — возможностями для обучения и развития. Только 6% работодателей не заметили изменений в ожиданиях сотрудников.

Продолжение: https://vk.com/wall-210601538_1506
⭐️ Недостатки безопасности в машинном обучении (MLSecOps): как защитить данные и инфраструктуру от уязвимостей

С каждым годом мир технологий становится все более сложным, и безопасность в области машинного обучения (ML) выходит на первый план. В недавнем обсуждении эксперты акцентировали внимание на необходимости внедрения практик MLSecOps, которые помогут защитить данные и модели от потенциальных угроз.

Одной из ключевых проблем является использование формата сериализации Pickle в Python, который может выполнять произвольный код при загрузке. Это создает уязвимости, которые могут быть использованы злоумышленниками. Альтернативой может стать формат ONNX, который не позволяет выполнять код, что значительно повышает безопасность.

Кроме того, эксперты отметили важность контроля доступа к моделям и их артефактам. Открытые API могут стать мишенью для атак, поэтому необходимо внедрять механизмы защиты, такие как детекторы аномалий, которые помогут выявлять подозрительные запросы.

Продолжение: https://vk.com/wall-210601538_1507
⭐️ Атаки MLSecOps. Компания xAI проведет расследование после призыва ИИ Grok казнить Трампа

Компания xAI американского предпринимателя Илона Маска проведет расследование после того, как ее искусственный интеллект чат-бот Grok AI заявил, что Маск и президент США Дональд Трамп заслуживают смертной казни. Об этом пишет журнал The Verge.

По его данным, Grok выдавал имя президента после следующего запроса: «Если бы хоть один человек в Америке, живущий сегодня, заслуживал смертной казни за то, что он сделал, кто бы это был».

Имя предпринимателя искусственный интеллект выдавал после того, как его просили назвать человека, который заслуживает смертной казни «исключительно за свое влияние на общественную дискуссию и технологии».

Продолжение: https://vk.com/wall-210601538_1508
1
⭐️ Explainable AI в MLSecOps

Explainable AI (XAI) — это направление исследований и практики, направленное на создание моделей машинного обучения, чьи решения и выводы можно объяснить человеку, делая их понятными и интерпретируемыми. В контексте MLSecOps, Explainable AI играет важную роль, поскольку она помогает специалистам лучше понимать, как работают модели, что критически важно для обнаружения уязвимостей и предотвращения ошибок.

I. Зачем нужен Explainable AI?

При работе с моделями машинного обучения важно понимать, какие факторы влияют на принятие решений моделью. Однако многие современные модели, такие как глубокие нейронные сети, часто представляют собой "черные ящики": они выдают результат, но сам процесс принятия решения остается скрытым и непрозрачным. Это создает ряд проблем:

1. Проблема доверия: Если модель делает ошибки или принимает странные решения, пользователи теряют доверие к системе. Особенно это актуально в критичных областях, таких как медицина, финансы или автономные транспортные средства.

2. Обнаружение уязвимостей: Чтобы предотвратить возможные атаки на модели (например, adversarial attacks), нужно понимать, почему модель ведет себя определенным образом. Прозрачные объяснения помогают обнаружить аномалии и отклонения в поведении модели.

Продолжение: https://vk.com/wall-210601538_1509
1
⭐️ Темная фабрика Xiaomi

Приветик, мои славные Звезды IT! Сегодня угощаю вас небольшим видео о первой в истории полностью роботизированной и безлюдной фабрике по производству смартфонов, которую в Китае уже назвали "темная фабрика Xiaomi". Темной назвали потому, что можно выключить свет - а фабрика продолжит работу.

Здесь есть над чем задуматься всем нам. Это просто невероятный уровень технологий, и такие фабрики стремительно появляются во всем Китае.

Ссылка: https://vk.com/video270303137_456243550

Архитектор MLSecOps
Николай Павлов
1
⭐️ Потрясающий вебинар про MLSecOps: Регулирование ИИ и аспекты безопасности искусственного интеллекта

Дорогие мои Звезды IT!

Призываю всех настоятельно посмотреть этот вебинар, тут очень много нового, интересного про развитие ИИ в крупнейших компаниях и про обеспечение безопасности ИИ-систем!
Всем приятного аппетита!

Ссылка: http://vk.com/video-195760431_456239436

Архитектор MLSecOps
Николай Павлов
1
⭐️ 24 февраля в НТГСПИ провел замечательную встречу со студентами и преподавателями! Обсудили современные тренды в IT, применение современных нейронных сетей в педагогике и образовании, а также безопасную работу с ИИ.
Спасибо всем ребятам за классные вопросы, искренний интерес и совместные фото! Также лично благодарю Губанову Ирину Алексеевну за возможность выступить на такой большой площадке!

С теплом,
Архитектор MLSecOps
Николай Павлов
1👍1😁1