Forwarded from Innovation & Research
AI-агенты летят в космос
Космические аппараты становятся слишком сложными, слишком автономными и слишком удаленными от Земли, чтобы полагаться на статические правила и наземные исследования. Мультиагентный подход к AI-разработке дает практичный, поэтапный, оперативно совместимый метод обнаружения, понимания и реагирования на аномалии — особенно на те, которые ранее не наблюдались.
Этот подход повышает надежность миссии, улучшает безопасность и готовит космические системы к реалиям работы в условиях отсутствия связи с Землей.
Такой подход, основанный на совместном мышлении, обеспечивает ряд оперативных преимуществ:
- Чувствительность к тонким закономерностям: Благодаря специализации агентов, они могут обнаруживать отклонения на ранних стадиях, которые упускаются из виду в рамках широких монолитных моделей.
- Снижение количества ложных срабатываний: Согласованность действий агентов повышает уверенность и снижает уровень шума в ходе выполнения миссии.
- Охват неизвестных неизвестных: Агенты могут отслеживать отклонения без необходимости использования предопределенных меток или исторических примеров.
- Бортовое, независимое от Земли распознавание: При развертывании на орбите агенты могут диагностировать проблемы даже при длительных перебоях в связи.
По мере расширения лунных, марсианских и космических миссий это становится структурным требованием. Миссии должны обеспечивать безопасную работу, не полагаясь исключительно на наземный контроль.
Небольшая заметка об этом от основателя стартапа, работающего над мультиагентной архитектурой для космических миссий.
https://spacenews.com/how-multi-agent-ai-can-strengthen-space-missions-against-the-unknown/
Космические аппараты становятся слишком сложными, слишком автономными и слишком удаленными от Земли, чтобы полагаться на статические правила и наземные исследования. Мультиагентный подход к AI-разработке дает практичный, поэтапный, оперативно совместимый метод обнаружения, понимания и реагирования на аномалии — особенно на те, которые ранее не наблюдались.
Этот подход повышает надежность миссии, улучшает безопасность и готовит космические системы к реалиям работы в условиях отсутствия связи с Землей.
Такой подход, основанный на совместном мышлении, обеспечивает ряд оперативных преимуществ:
- Чувствительность к тонким закономерностям: Благодаря специализации агентов, они могут обнаруживать отклонения на ранних стадиях, которые упускаются из виду в рамках широких монолитных моделей.
- Снижение количества ложных срабатываний: Согласованность действий агентов повышает уверенность и снижает уровень шума в ходе выполнения миссии.
- Охват неизвестных неизвестных: Агенты могут отслеживать отклонения без необходимости использования предопределенных меток или исторических примеров.
- Бортовое, независимое от Земли распознавание: При развертывании на орбите агенты могут диагностировать проблемы даже при длительных перебоях в связи.
По мере расширения лунных, марсианских и космических миссий это становится структурным требованием. Миссии должны обеспечивать безопасную работу, не полагаясь исключительно на наземный контроль.
Небольшая заметка об этом от основателя стартапа, работающего над мультиагентной архитектурой для космических миссий.
https://spacenews.com/how-multi-agent-ai-can-strengthen-space-missions-against-the-unknown/
SpaceNews
How multi-agent AI can strengthen space missions against the unknown
Forwarded from GitHub Community
QueryWeaver — инструмент Text2SQL с открытым исходным кодом, который преобразует естественный язык в SQL с помощью анализа схемы на основе графов.
Задавайте вопросы базе данных на простом английском языке, а QueryWeaver сделает всё остальное.
🐱 GitHub
Задавайте вопросы базе данных на простом английском языке, а QueryWeaver сделает всё остальное.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from Похек AI (Сергей Зыбнев)
1_Влад_Попов_От_ChatGPT_к_Своей_LLM.pdf
1.3 MB
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Тест Тьюринга
Прямо сейчас ваш корпоративный LLM-бот может "галлюцинировать", сливая базу клиентов, или выполнять скрытые команды хакеров через prompt injection. Поэтому AI Safety — это новая необходимость. Но есть проблема: учиться этому практически негде. Мы собрали для вас курсы, чтобы разобраться во всех нюансах безопасности нейросетей.
Курс для ML-инженеров и ресерчеров, его фишка — хардкорный трек. Учат методам интерпретируемости нейросетей и тому, как не создать “Скайнет” случайно.
Что внутри: 30-часовой курс, охватывающий текущие техники безопасности ИИ, выявление пробелов в защите.
Продолжительность: интенсивный режим (6 дней по 5ч/день) или долгий режим (6 недель по 5ч/неделю).
Стоимость: бесплатно.
Геймифицированная практика. Вы будете "пробивать" реальные LLM, красть промпты и обходить защиту. Это offensive security — учимся защищать, нападая. Разработан совместно с Google по их Secure AI Framework.
Что внутри: 10 модулей, среди которых Fundamentals of AI & ML, Prompt Injection Attacks, LLM Output Attacks, AI Data Attacks, Model Evasion и другие.
Продолжительность: 700+ уроков.
Стоимость: платно.
Открытый курс, который охватывает фундаментальные темы для предотвращения экзистенциальных рисков от ИИ. Это, по сути, интерактивный учебник от Дэна Хендрикса — одного из топ-исследователей мира.
Что внутри: безопасность систем ИИ, управление рисками от ML моделей, интерпретируемость, обучение значениям, контроль целей системы, кооперативный ИИ, уклонение от экспоненциального роста способностей.
Продолжительность: семестр.
Стоимость: бесплатно.
Курс "белых воротничков". Учит защищать генеративный ИИ в бизнесе, соблюдать комплаенс, выявлять уязвимости и строить защищенные пайплайны. Три вложенных курса по безопасности генеративного ИИ с практическими проектами анализа уязвимостей и реальными сценариями развертывания.
Что внутри: Generative AI и LLM Security (выявление уязвимостей, атаки на тренировочные данные, защита supply chain), Securing AI Pipelines (реальная деплойментная практика), Threat modeling, red teaming (симуляции взломов).
Продолжительность: ~3 месяца.
Стоимость: платно.
Короткий и супер-прикладной курс от команды Эндрю Ына. Учат использовать библиотеку Guardrails AI для валидации ответов LLM (чтобы бот не матерился и не галлюцинировал).
Что внутри: 10 видео-уроков с 7 примерами кода. Вы научитесь обнаруживать глюки в LLM, предотвращать prompt injection, создавать guardrails с нуля на практическом примере RAG-chatbot для пиццерии, использовать готовые guardrails из GuardrailsAI Hub.
Продолжительность: 1,5 ч.
Стоимость: бесплатно.
Видеокурс от команды Microsoft AI Red Team. Рассказывают, как они сами ломают свои продукты (Copilot, OpenAI модели и все production ИИ-системы Microsoft) перед выпуском.
Что внутри: 10 эпизодов: как работают генеративные модели и где появляются уязвимости, Direct и Indirect Prompt Injection с реальными кейсами, Multi-turn атаки, Skeleton Key и Crescendo, Автоматизация red teaming.
Продолжительность: 1,5 ч.
Стоимость: бесплатно.
Виртуальный курс на базе университетского учебника от The AI Safety Institute. Охватывает всё: от технических рисков до социальных угроз. По итогам прохождения курса слушатели получают сертификат.
Что внутри: лекции, чтения, обсуждения в малых группах, личный проект, AI Fundamentals — неделя для новичков.
Продолжительность: 12 недель.
Стоимость: платно.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1
Матрица техник промпт-атак https://www.crowdstrike.com/en-us/platform/falcon-aidr-ai-detection-and-response/
CrowdStrike.com
CrowdStrike Falcon AIDR: AI Detection & Response
Protect AI adoption and development with CrowdStrike Falcon AIDR. Gain unified visibility, threat detection, and automated response across endpoints, apps, and cloud.
Forwarded from CyberSecurityTechnologies
AI_Agent_Security_Architecture.pdf
9.5 MB
#AIOps
#Whitepaper
"AI Agent Security: Architecture, Attack Surface, and Defense. A Practical 90-Day Roadmap for Securing Agentic AI", 2025.
// This guide provides the architectural controls and operational practices required to secure agentic systems. It covers the MCP hardening framework, defensive controls that reduce agent risk, and a 90-day implementation checklist organized by priority and effort
#Whitepaper
"AI Agent Security: Architecture, Attack Surface, and Defense. A Practical 90-Day Roadmap for Securing Agentic AI", 2025.
// This guide provides the architectural controls and operational practices required to secure agentic systems. It covers the MCP hardening framework, defensive controls that reduce agent risk, and a 90-day implementation checklist organized by priority and effort
Forwarded from DevSecOps Talks
Web LLM attacks
Всем привет!
На сайте Web Security Academy от PortSwigger можно найти небольшой урок, посвященный атакам на LLM.
Он состоит из разделов:
🍭 Overview
🍭 Exploiting LLM APIs, functions and plugins
🍭 Indirect prompt injection
🍭 Leaking sensitive training data
🍭 Defending against LLM attacks
Как и любой материал на в Web Security Academy урок состоит из нескольких частей: теоретическая и практическая.
На текущий момент доступно 4 лабораторные работы: Exploiting LLM APIs with excessive agency, Exploiting vulnerabilities in LLM APIs, Indirect prompt injection и Exploiting insecure output handling in LLMs.
Всем привет!
На сайте Web Security Academy от PortSwigger можно найти небольшой урок, посвященный атакам на LLM.
Он состоит из разделов:
🍭 Overview
🍭 Exploiting LLM APIs, functions and plugins
🍭 Indirect prompt injection
🍭 Leaking sensitive training data
🍭 Defending against LLM attacks
Как и любой материал на в Web Security Academy урок состоит из нескольких частей: теоретическая и практическая.
На текущий момент доступно 4 лабораторные работы: Exploiting LLM APIs with excessive agency, Exploiting vulnerabilities in LLM APIs, Indirect prompt injection и Exploiting insecure output handling in LLMs.
portswigger.net
Web LLM attacks | Web Security Academy
Organizations are rushing to integrate Large Language Models (LLMs) in order to improve their online customer experience. This exposes them to web LLM ...
👍2
Forwarded from Ассоциация ФинТех
74% финтех-компаний концентрируют защитные меры на этапе подготовки данных и тестирования моделей, а 60% – уже внедряют комплексные меры по защите своих ИИ-систем.
В число наиболее распространенных практик входят регулярный мониторинг и аудит работы моделей, активное тестирование на уязвимости, обязательное обучение сотрудников основам AI Security, разработка внутренних стандартов и политик безопасности. Такие данные приводятся в совместном исследовании Ассоциации ФинТех и ГК Swordfish Security.
81% компаний российского финтеха определяют машинное обучение (ML) и большие языковые модели (LLM) как ядро своих ИИ-стратегий. При этом, более 25% респондентов уже несколько раз столкнулись с инцидентами безопасности, связанными с атаками на ИИ-системы. 75% финтех-организаций выделяют утечку конфиденциальных данных в качестве ключевой угрозы безопасности при использовании ИИ, 62% — применяют гибридный подход к оценке результатов и выводов в работе с ИИ-решениями и только 12% респондентов внедряют системную оценку этических рисков ИИ.
Исследование показывает, что участники финтех-рынка планируют уделять больше внедрению практик AI Security. Так, 88% респондентов сообщили, что в 2026 году намерены работать над повышение осведомленности и обучением сотрудников в этой области, 75% займутся разработкой внутренней политики по AI Security, 63% займутся интеграцией инструментов защиты, а 62% — проведением аудита или тестирования ИИ-систем.
🗣 Руководитель управления стратегии, исследований и аналитики Ассоциации ФинТех Марианна Данилина: Современная стратегия AI Security строится на постоянном развитии компетенций сотрудников и формировании культуры осведомленности на всех уровнях организации. И хотя ИИ автоматизирует многие процессы, в том числе в кибербезопасности, все-таки роль специалистов ИБ станет в будущем еще значительнее, трансформируясь с фокусом на ИИ. Взаимное проникновение между ИИ и безопасностью изменит роль руководителя ИБ «у штурвала»: именно он задаст курс, примет ключевые решения для безопасной и корректной работы решений на базе ИИ.
🗣 Директор по стратегии и генеральный партнер Swordfish Security Юрий Сергеев: Разработка безопасного ПО трансформируется в связи с развитием искусственного интеллекта. AI открывает как новые возможности для ускорения всех процессов, так и форсировано формирует новые угрозы для людей и организаций. Высокая ценность ИИ очевидна, но вместе с тем растет запрос на его защиту и кибербезопасность. AI Security – новый виток развития проектирования ИИ, при котором меры безопасности интегрированы в его архитектуру и программный код.
В число наиболее распространенных практик входят регулярный мониторинг и аудит работы моделей, активное тестирование на уязвимости, обязательное обучение сотрудников основам AI Security, разработка внутренних стандартов и политик безопасности. Такие данные приводятся в совместном исследовании Ассоциации ФинТех и ГК Swordfish Security.
81% компаний российского финтеха определяют машинное обучение (ML) и большие языковые модели (LLM) как ядро своих ИИ-стратегий. При этом, более 25% респондентов уже несколько раз столкнулись с инцидентами безопасности, связанными с атаками на ИИ-системы. 75% финтех-организаций выделяют утечку конфиденциальных данных в качестве ключевой угрозы безопасности при использовании ИИ, 62% — применяют гибридный подход к оценке результатов и выводов в работе с ИИ-решениями и только 12% респондентов внедряют системную оценку этических рисков ИИ.
Исследование показывает, что участники финтех-рынка планируют уделять больше внедрению практик AI Security. Так, 88% респондентов сообщили, что в 2026 году намерены работать над повышение осведомленности и обучением сотрудников в этой области, 75% займутся разработкой внутренней политики по AI Security, 63% займутся интеграцией инструментов защиты, а 62% — проведением аудита или тестирования ИИ-систем.
🗣 Руководитель управления стратегии, исследований и аналитики Ассоциации ФинТех Марианна Данилина: Современная стратегия AI Security строится на постоянном развитии компетенций сотрудников и формировании культуры осведомленности на всех уровнях организации. И хотя ИИ автоматизирует многие процессы, в том числе в кибербезопасности, все-таки роль специалистов ИБ станет в будущем еще значительнее, трансформируясь с фокусом на ИИ. Взаимное проникновение между ИИ и безопасностью изменит роль руководителя ИБ «у штурвала»: именно он задаст курс, примет ключевые решения для безопасной и корректной работы решений на базе ИИ.
🗣 Директор по стратегии и генеральный партнер Swordfish Security Юрий Сергеев: Разработка безопасного ПО трансформируется в связи с развитием искусственного интеллекта. AI открывает как новые возможности для ускорения всех процессов, так и форсировано формирует новые угрозы для людей и организаций. Высокая ценность ИИ очевидна, но вместе с тем растет запрос на его защиту и кибербезопасность. AI Security – новый виток развития проектирования ИИ, при котором меры безопасности интегрированы в его архитектуру и программный код.
😁1
Forwarded from Ассоциация ФинТех
АФТ_AI Security в финтехе.pdf
2.2 MB
Forwarded from CyberSecurityTechnologies
Cisco_AI_Security_Framework_Report.pdf
267.5 KB
#MLSecOps
#Threat_Modelling
"Cisco Integrated AI Security and Safety Framework Report", Dec. 2025.
]-> Cisco AI security and safety taxonomy
// This paper presents Cisco’s Integrated AI Security and Safety Framework, a unified, lifecycleaware taxonomy and operationalization framework that can be used to classify, integrate, and operationalize the full range of AI risks. It integrates AI security and AI safety across modalities, agents, pipelines, and the broader ecosystem
#Threat_Modelling
"Cisco Integrated AI Security and Safety Framework Report", Dec. 2025.
]-> Cisco AI security and safety taxonomy
// This paper presents Cisco’s Integrated AI Security and Safety Framework, a unified, lifecycleaware taxonomy and operationalization framework that can be used to classify, integrate, and operationalize the full range of AI risks. It integrates AI security and AI safety across modalities, agents, pipelines, and the broader ecosystem
Forwarded from AISecure
Будущее за SLM (small language model), конечно не с чистом виде, но в комбинации с LLM через интеллектуальный роутинг
Так например для задач ИБ это уже давно (в новой реальность ИИ, где день за месяц) стало быть очевидно
Ловите наглядный найд по SLM 🙂
Так например для задач ИБ это уже давно (в новой реальность ИИ, где день за месяц) стало быть очевидно
Ловите наглядный найд по SLM 🙂
❤1