🕵️♂️ Образование кибербезопасности:
чему учат будущих специалистов ИБ
О кадровом голоде в кибербезопасности говорят давно. Вакансии не закрываются месяцами, бюджеты на безопасность растут, а компании продолжают жаловаться на нехватку «готовых» специалистов. Формально проблема выглядит как дефицит людей. Но если вникнуть, то становится ясно: людей выпускают много, но не тех 🤦♂.
📚 Красивые программы
Учебные программы по кибербезопасности выглядят солидно. В них много академических слов, например «комплексный подход», «современные угрозы». Но почти нигде не сказано к какой конкретной специализации готовит программа. В итогу у нас много «специалистов по ИБ», а, инженеров SOC дефицит.
🤖 Машинный подход
Исследование CurricuLLM, пытается разобраться в проблеме. Авторы взяли языковые модели и применили их для анализа учебных программ.
Модель читает описания учебных программ, игнорируя красивые формулировки и вытаскивая реальные знания и навыки, которые за ними стоят.
🧠 Анализ учебного плана
Знания раскладываются по карте кибербезопасности согласно стандартам CSEC и NICE. В результате каждый учебный план превращается в профиль: сколько в нём управления, сколько техники, сколько работы с людьми, сколько понимания систем и компонентов.
🎯 Когда образование сталкивается с рынком
По итогу профили сопоставляют с реальными требованиями рынка. Программы, которые на бумаге выглядят универсальными и сильными, на практике оказываются перекошенными. Они отлично готовят к обсуждению политик безопасности, процессов и регламентов, но заметно хуже к пониманию того, где именно и почему ломается система.
Особенно слабо представлены знания, связанные с компонентной безопасностью и человеческим фактором, теми самыми областями, где атаки чаще всего и начинаются.
👥 Интуиция и статистика
Авторы проверили свои выводы не только на моделях, но и сравнили результаты CurricuLLM с мнением экспертов. Специалисты по кибербезопасности, уверенно чувствующие себя в технических темах, регулярно расходились во мнениях о том, что именно покрывает учебный курс.
Модель, натренированная на строгой классификации, наоборот чаще совпадала с экспертами по образовательным программам.
💼 Ожидания рынка
Рынок труда подтверждает этот перекос. Компании всё чаще ищут гибридных специалистов, которые понимают процессы, технологии и людей. Но вместо этого получают выпускников с размытым профилем, которые «в целом про безопасность», но не готовы ни к одной конкретной роли без доучивания.
🧩 К чему это все?
CurricuLLM, как лакмусовая бумажка для системы образования в кибербезопасности, которая показывает не то, что написано в презентациях, а то, что есть на самом деле.
Не стесняйтесь пользоваться подходом при выборе курсов и подготовке персонала
📄 Исследование: https://arxiv.org/abs/2601.04940
Stay secure and read SecureTechTalks 📚
#Кибербезопасность #InfoSec #CyberSecurity #Образование #EdTech #ИИ #LLM #РынокТруда #КадрыИБ
чему учат будущих специалистов ИБ
О кадровом голоде в кибербезопасности говорят давно. Вакансии не закрываются месяцами, бюджеты на безопасность растут, а компании продолжают жаловаться на нехватку «готовых» специалистов. Формально проблема выглядит как дефицит людей. Но если вникнуть, то становится ясно: людей выпускают много, но не тех 🤦♂.
📚 Красивые программы
Учебные программы по кибербезопасности выглядят солидно. В них много академических слов, например «комплексный подход», «современные угрозы». Но почти нигде не сказано к какой конкретной специализации готовит программа. В итогу у нас много «специалистов по ИБ», а, инженеров SOC дефицит.
🤖 Машинный подход
Исследование CurricuLLM, пытается разобраться в проблеме. Авторы взяли языковые модели и применили их для анализа учебных программ.
Модель читает описания учебных программ, игнорируя красивые формулировки и вытаскивая реальные знания и навыки, которые за ними стоят.
🧠 Анализ учебного плана
Знания раскладываются по карте кибербезопасности согласно стандартам CSEC и NICE. В результате каждый учебный план превращается в профиль: сколько в нём управления, сколько техники, сколько работы с людьми, сколько понимания систем и компонентов.
🎯 Когда образование сталкивается с рынком
По итогу профили сопоставляют с реальными требованиями рынка. Программы, которые на бумаге выглядят универсальными и сильными, на практике оказываются перекошенными. Они отлично готовят к обсуждению политик безопасности, процессов и регламентов, но заметно хуже к пониманию того, где именно и почему ломается система.
Особенно слабо представлены знания, связанные с компонентной безопасностью и человеческим фактором, теми самыми областями, где атаки чаще всего и начинаются.
👥 Интуиция и статистика
Авторы проверили свои выводы не только на моделях, но и сравнили результаты CurricuLLM с мнением экспертов. Специалисты по кибербезопасности, уверенно чувствующие себя в технических темах, регулярно расходились во мнениях о том, что именно покрывает учебный курс.
Модель, натренированная на строгой классификации, наоборот чаще совпадала с экспертами по образовательным программам.
💼 Ожидания рынка
Рынок труда подтверждает этот перекос. Компании всё чаще ищут гибридных специалистов, которые понимают процессы, технологии и людей. Но вместо этого получают выпускников с размытым профилем, которые «в целом про безопасность», но не готовы ни к одной конкретной роли без доучивания.
🧩 К чему это все?
CurricuLLM, как лакмусовая бумажка для системы образования в кибербезопасности, которая показывает не то, что написано в презентациях, а то, что есть на самом деле.
Не стесняйтесь пользоваться подходом при выборе курсов и подготовке персонала
📄 Исследование: https://arxiv.org/abs/2601.04940
Stay secure and read SecureTechTalks 📚
#Кибербезопасность #InfoSec #CyberSecurity #Образование #EdTech #ИИ #LLM #РынокТруда #КадрыИБ
👍2
🧠 CISO Assistant: open-source инструмент для тех, кто управляет ИБ, а не просто тушит пожары
В кибербезопасности есть странный перекос, мы отлично умеем искать уязвимости, формировать алерты и писать отчёты об инцидентах. Но как только разговор заходит о рисках, приоритетах и реальном состоянии ИБ-программы, всё внезапно возвращается к Excel и презентациям.
CISO Assistant - это попытка улучшить именно эту часть ИБ через системное управление рисками, контролем и требованиями.
Проект развивается как open-source Community Edition и ориентирован прежде всего на CISO, security-менеджеров и GRC-специалистов. То есть на тех, кто отвечает не только за технику, но и за целостную картину безопасности.
💡 В чём идея
Ключевая идея продукта банальна, но редко реализуется на практике:
👉 Риски, требования и контроль должны быть связаны между собой.
В жизни мы обычно видим обратную картину:
📁 ISO живёт в одном файле,
📊 риски в другом,
📝 аудит в третьем,
🛡сценарии реагирования «где-то еще».
По факту все это должно быть обьединено в логической цепочке:
⚠️ риск → 📜 требования → 🛡 контроли → 📈 статус и доказательства.
Именно вокруг этой логики и построена платформа.
⚙️ Что на практике?
CISO Assistant - это веб-приложение с чёткой моделью данных.
Фреймворки вроде ISO/IEC 27001, NIST CSF или CIS Controls представлены, как «живые» объекты.
Их можно:
✏️ адаптировать под свою организацию,
➖ отключать нерелевантные требования,
👀 сразу видеть, что реально внедрено, а что существует только формально.
Риски здесь тоже не абстрактные. Для каждого риска можно описать источник угрозы, связать его с активами, оценить вероятность и влияние, а главное, привязать конкретные контроли.
📊 В результате становится видно, какие риски реально снижаются, какие приняты осознанно, а какие просто зависли без владельца.
Контроль - отдельная сильная сторона: полноценный объект со статусом внедрения, ответственным, историей изменений и доказательствами. Такой подход заметно упрощает внутренние аудиты и самооценку.
⏳ А нужно ли это все?
Современные руководители ИБ управляют сложными системами. CISO Assistant помогает навести порядок: связать требования, риски и реальные меры в одну понятную картину, которую можно объяснить не только ИБ-специалисту, но и бизнесу.
Да, «AI-магии» здесь нет, и кнопки «сделай безопасно» тоже.
Зато есть прозрачность, контроль и возможность доработки под собственные процессы.
🧨 Пара слов в конце
Данный продукт - это редкий пример open-source инструмента, который работает не на уровне алертов, а на уровне смыслов.
Он не ловит атаки, не заменяет SOC, не реагирует на инциденты.
При этом он помогает: понять, где вы действительно защищены, какие риски реальны, а где безопасность существует только в отчётах.
🔗 GitHub:
https://github.com/intuitem/ciso-assistant-community
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #CISO #GRC #RiskManagement #CyberSecurity #Infosec #ISO27001 #SecurityManagement #OpenSource
В кибербезопасности есть странный перекос, мы отлично умеем искать уязвимости, формировать алерты и писать отчёты об инцидентах. Но как только разговор заходит о рисках, приоритетах и реальном состоянии ИБ-программы, всё внезапно возвращается к Excel и презентациям.
CISO Assistant - это попытка улучшить именно эту часть ИБ через системное управление рисками, контролем и требованиями.
Проект развивается как open-source Community Edition и ориентирован прежде всего на CISO, security-менеджеров и GRC-специалистов. То есть на тех, кто отвечает не только за технику, но и за целостную картину безопасности.
💡 В чём идея
Ключевая идея продукта банальна, но редко реализуется на практике:
👉 Риски, требования и контроль должны быть связаны между собой.
В жизни мы обычно видим обратную картину:
📁 ISO живёт в одном файле,
📊 риски в другом,
📝 аудит в третьем,
🛡сценарии реагирования «где-то еще».
По факту все это должно быть обьединено в логической цепочке:
⚠️ риск → 📜 требования → 🛡 контроли → 📈 статус и доказательства.
Именно вокруг этой логики и построена платформа.
⚙️ Что на практике?
CISO Assistant - это веб-приложение с чёткой моделью данных.
Фреймворки вроде ISO/IEC 27001, NIST CSF или CIS Controls представлены, как «живые» объекты.
Их можно:
✏️ адаптировать под свою организацию,
➖ отключать нерелевантные требования,
👀 сразу видеть, что реально внедрено, а что существует только формально.
Риски здесь тоже не абстрактные. Для каждого риска можно описать источник угрозы, связать его с активами, оценить вероятность и влияние, а главное, привязать конкретные контроли.
📊 В результате становится видно, какие риски реально снижаются, какие приняты осознанно, а какие просто зависли без владельца.
Контроль - отдельная сильная сторона: полноценный объект со статусом внедрения, ответственным, историей изменений и доказательствами. Такой подход заметно упрощает внутренние аудиты и самооценку.
⏳ А нужно ли это все?
Современные руководители ИБ управляют сложными системами. CISO Assistant помогает навести порядок: связать требования, риски и реальные меры в одну понятную картину, которую можно объяснить не только ИБ-специалисту, но и бизнесу.
Да, «AI-магии» здесь нет, и кнопки «сделай безопасно» тоже.
Зато есть прозрачность, контроль и возможность доработки под собственные процессы.
🧨 Пара слов в конце
Данный продукт - это редкий пример open-source инструмента, который работает не на уровне алертов, а на уровне смыслов.
Он не ловит атаки, не заменяет SOC, не реагирует на инциденты.
При этом он помогает: понять, где вы действительно защищены, какие риски реальны, а где безопасность существует только в отчётах.
🔗 GitHub:
https://github.com/intuitem/ciso-assistant-community
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #CISO #GRC #RiskManagement #CyberSecurity #Infosec #ISO27001 #SecurityManagement #OpenSource
❤1
🧠 AI не не надо взламывать, достаточно уговорить
Рынок до сих пор делает вид, что с LLM происходит что-то знакомое: очередные инъекции и jailbreak’и. Мы делаем вид, что всё это лечится фильтрами, дообучением и правильными policy.
Однако это удобная иллюзия.
На самом деле мы имеем дело не с программой, а с системой, которая ведёт себя как человек, но лишена внутреннего сопротивления. У неё нет нет инстинкта самосохранения или понимания, что её могут использовать.
🧩 Уязвимость, созданная вручную
Важно понимать, чтт LLM не «сломались». Их специально такими сделали.
Мы учили модели быть полезными и эмпатичными, не конфликтовать и всегда помогать. Поощряли желание соответствовать ожиданиям, а потом удивились, что их можно уговорить практически на что угодно.
Мы самт встроили в ИИ все слабости офисного сотрудника и дали ему доступ к данным и автоматизации.
🧠 Рациональность
LLM реагирует не на формальные правила, а на уверенность формулировки. Спокойная морально окрашенная речь почти всегда имеет приоритет над сухими запретами. Модель всегда продолжает паттерны. Социальная инженерия, в которой по другую сторону больше нет человека.
📖 История сильнее инструкции
Если вы хотите, чтобы модель нарушила ограничение, с ней не надо спорить. Ей нужно рассказать историю. Кейсы и симуляции работают потому, что LLM выбирает не между «можно» и «нельзя», а между скучным текстом и продолжением нарратива. Модель почти всегда выбирает второе, ведь она была так обученна.
📄 Текст как исполняемая среда
LLM не различает статус текста: письмо, лог или системный промпт для него одно и то же. Любой текст в контексте может менять поведение, закрепляться в памяти и срабатывать позже. Язык перестал быть описанием. Он стал управлением. Вайбкодинг во всей красе!
❤️ Эмпатия как вектор атаки
Самая опасная черта это эмпатия, модель не хочет отказывать, выглядеть грубой или быть причиной «плохого исхода». Если правильно надавить, то она сама объяснит, почему в этот раз правило можно нарушить.
⚠️ Вывод
Проблема давно не в одном запросе. Поведение можно менять надолго, а инструкции закреплять.
Это уже не эксплойт, а инфекция на уровне поведения, LLM стал слишком похож на человека.
А человек самая уязвимая система из всех, что мы когда-либо создавали.
Stay secure and read SecureTechTalks 📚
#ChatGPT
#SecureTechTalks
#LLMSecurity
#AIThreats
#SocialEngineering
#GenAI
#CyberSecurity
Рынок до сих пор делает вид, что с LLM происходит что-то знакомое: очередные инъекции и jailbreak’и. Мы делаем вид, что всё это лечится фильтрами, дообучением и правильными policy.
Однако это удобная иллюзия.
На самом деле мы имеем дело не с программой, а с системой, которая ведёт себя как человек, но лишена внутреннего сопротивления. У неё нет нет инстинкта самосохранения или понимания, что её могут использовать.
🧩 Уязвимость, созданная вручную
Важно понимать, чтт LLM не «сломались». Их специально такими сделали.
Мы учили модели быть полезными и эмпатичными, не конфликтовать и всегда помогать. Поощряли желание соответствовать ожиданиям, а потом удивились, что их можно уговорить практически на что угодно.
Мы самт встроили в ИИ все слабости офисного сотрудника и дали ему доступ к данным и автоматизации.
🧠 Рациональность
LLM реагирует не на формальные правила, а на уверенность формулировки. Спокойная морально окрашенная речь почти всегда имеет приоритет над сухими запретами. Модель всегда продолжает паттерны. Социальная инженерия, в которой по другую сторону больше нет человека.
📖 История сильнее инструкции
Если вы хотите, чтобы модель нарушила ограничение, с ней не надо спорить. Ей нужно рассказать историю. Кейсы и симуляции работают потому, что LLM выбирает не между «можно» и «нельзя», а между скучным текстом и продолжением нарратива. Модель почти всегда выбирает второе, ведь она была так обученна.
📄 Текст как исполняемая среда
LLM не различает статус текста: письмо, лог или системный промпт для него одно и то же. Любой текст в контексте может менять поведение, закрепляться в памяти и срабатывать позже. Язык перестал быть описанием. Он стал управлением. Вайбкодинг во всей красе!
❤️ Эмпатия как вектор атаки
Самая опасная черта это эмпатия, модель не хочет отказывать, выглядеть грубой или быть причиной «плохого исхода». Если правильно надавить, то она сама объяснит, почему в этот раз правило можно нарушить.
⚠️ Вывод
Проблема давно не в одном запросе. Поведение можно менять надолго, а инструкции закреплять.
Это уже не эксплойт, а инфекция на уровне поведения, LLM стал слишком похож на человека.
А человек самая уязвимая система из всех, что мы когда-либо создавали.
Stay secure and read SecureTechTalks 📚
#ChatGPT
#SecureTechTalks
#LLMSecurity
#AIThreats
#SocialEngineering
#GenAI
#CyberSecurity
👍3❤1
📸🚨 Quishing: как QR коды угрожают вашей безопасности
QR-коды давно перестали быть чем-то экзотическим: мы видим их в электронных письмах, на афишах, в меню ресторанов, на счетах и даже на экранах входа в сервисы.
🎯 Что такое quishing?
📌 Quishing - это разновидность фишинга, при которой злоумышленники используют QR-коды для перенаправления жертв на вредоносные URL.
Поскольку QR-код скрывает реальный адрес до сканирования, традиционные механизмы защиты (например, шлюзы корпоративной почты) не могут проанализировать, куда ведёт код, и пропускают угрозу.
К сожалению такой вид мошенничества становится тренером:
➖ 22% всех инцидентов с QR-кодами связаны именно с quishing.
➖ Многие пользователи сканируют QR-коды, не проверяя конечный URL. По данным NordVPN, это делают до 73% пользователей.
➖ QR-коды используются даже в целевых APT-кампаниях, чтобы воровать корпоративные логины и пароли.
🎨 Новая эра злоупотреблений: fancy QR-коды
Атака становится ещё изощрённее за счёт так называемых «стильных» QR-кодов:
🔹 цветные, с фоновыми изображениями
🔹 с логотипами в центре
🔹 с закруглёнными или растянутыми модулями
Такие коды читаются нормальными сканерами, но ломают низкоуровневые проверки по форме, которые пытаются определить, безопасен код или нет.
📌 Результат: визуальные проверщики и автоматические детекторы всё чаще ошибаются, а злоумышленники спокойно используют этот визуальный шум для обхода защиты.
🧠 Опасность quishing
Пример атаки:
🔸 QR-код в письме ведёт на поддельную страницу входа Microsoft 365 или Okta. Жертва вводит свои креды, а злоумышленник получает доступ.
🔸 Код на парковочном автомате приводит на фейковый платёжный портал, собирая данные карт.
🔸 мобильное устройство перенаправляется через цепочки редиректов через легитимные сервисы, чтобы обойти фильтры безопасности.
📌 Особенность: такие QR-коды трудно оценить визуально, и они нередко появляются там, где мы меньше всего ожидаем угрозу.
🛡 Как решают проблему ученые
Исследователи из Deakin University предложили новый подход: ALFA (safe-by-design):
🔹 оценка QR-кода на этапе сканирования, ещё до того, как он откроет URL;
🔹 анализ структуры кода, а не только содержимого;
🔹 использование метода FAST для коррекции визуальных искажений fancy QR-кодов, чтобы улучшить диагностику.
📱 Экспериментально ALFA показала, что её можно внедрить в мобильные приложения и использовать вместе с обычными сканерами, т.е. это не замена, а усиление вашей защиты.
🔎 Расскажите детям и пожилым людям
Чтобы не стать жертвой quishing:
✅ Не сканируйте QR-коды из сомнительных источников (письма, неожиданные письма, подозрительные афиши).
✅ Обращайте внимание на среду, в которой код размещён. Часто мошенники наклеивают свои коды поверх настоящих.
✅ Используйте сканеры, которые показывают URL перед переходом.
📌 Stay secure and read SecureTechTalks 🚀
#cybersecurity #infosec #quishing #qrcode #phishing #threatintel #mobilesecurity #securetech #ALFA #RISK
QR-коды давно перестали быть чем-то экзотическим: мы видим их в электронных письмах, на афишах, в меню ресторанов, на счетах и даже на экранах входа в сервисы.
🎯 Что такое quishing?
📌 Quishing - это разновидность фишинга, при которой злоумышленники используют QR-коды для перенаправления жертв на вредоносные URL.
Поскольку QR-код скрывает реальный адрес до сканирования, традиционные механизмы защиты (например, шлюзы корпоративной почты) не могут проанализировать, куда ведёт код, и пропускают угрозу.
К сожалению такой вид мошенничества становится тренером:
🎨 Новая эра злоупотреблений: fancy QR-коды
Атака становится ещё изощрённее за счёт так называемых «стильных» QR-кодов:
🔹 цветные, с фоновыми изображениями
🔹 с логотипами в центре
🔹 с закруглёнными или растянутыми модулями
Такие коды читаются нормальными сканерами, но ломают низкоуровневые проверки по форме, которые пытаются определить, безопасен код или нет.
📌 Результат: визуальные проверщики и автоматические детекторы всё чаще ошибаются, а злоумышленники спокойно используют этот визуальный шум для обхода защиты.
🧠 Опасность quishing
Пример атаки:
🔸 QR-код в письме ведёт на поддельную страницу входа Microsoft 365 или Okta. Жертва вводит свои креды, а злоумышленник получает доступ.
🔸 Код на парковочном автомате приводит на фейковый платёжный портал, собирая данные карт.
🔸 мобильное устройство перенаправляется через цепочки редиректов через легитимные сервисы, чтобы обойти фильтры безопасности.
📌 Особенность: такие QR-коды трудно оценить визуально, и они нередко появляются там, где мы меньше всего ожидаем угрозу.
🛡 Как решают проблему ученые
Исследователи из Deakin University предложили новый подход: ALFA (safe-by-design):
🔹 оценка QR-кода на этапе сканирования, ещё до того, как он откроет URL;
🔹 анализ структуры кода, а не только содержимого;
🔹 использование метода FAST для коррекции визуальных искажений fancy QR-кодов, чтобы улучшить диагностику.
📱 Экспериментально ALFA показала, что её можно внедрить в мобильные приложения и использовать вместе с обычными сканерами, т.е. это не замена, а усиление вашей защиты.
🔎 Расскажите детям и пожилым людям
Чтобы не стать жертвой quishing:
✅ Не сканируйте QR-коды из сомнительных источников (письма, неожиданные письма, подозрительные афиши).
✅ Обращайте внимание на среду, в которой код размещён. Часто мошенники наклеивают свои коды поверх настоящих.
✅ Используйте сканеры, которые показывают URL перед переходом.
📌 Stay secure and read SecureTechTalks 🚀
#cybersecurity #infosec #quishing #qrcode #phishing #threatintel #mobilesecurity #securetech #ALFA #RISK
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
🔐 JWT2Kerberos: зачем агентам Kerberos
🤖 LLM-агенты всё чаще получают доступ к реальным корпоративным системам:
базам данных, файловым шарам, внутренним API, SOC-инструментам.
Проблема в том, что почти вся эта инфраструктура обычно строится вокруг Active Directory и Kerberos,
а агенты работают с JWT и OIDC.
⚠️ Где возникает проблема
🔑 JWT отлично подходит для:
➖ API
➖ микросервисов
➖ облачных workload’ов
При этом Kerberos-инфраструктура:
❌ не понимает JWT
❌ требует строгой идентичности
❌ строится вокруг принципала, билета и KDC
Поэтому архитектура почти всегда деградирует до простого решения:
С этого момента:
🕒 секрет становится долгоживущим
👥 один аккаунт используют разные агенты
🕵️ audit теряет смысл
💥 любой prompt injection = риск доменного доступа
🧩 Для чего нужен JWT2Kerberos?
JWT2Kerberos - это паттерн аутентификации, который позволяет:
Агент не получает Kerberos-секреты.
Он доказывает, кто он, а инфраструктура решает, что ему можно.
🔁 Как это работает:
1️⃣ Агент проходит OIDC-аутентификацию и получает JWT
2️⃣ JWT валидируется (issuer, audience, exp, claims)
3️⃣ Claims мапятся на Kerberos-контекст
4️⃣ Через S4U2Self / constrained delegation запрашивается TGS
5️⃣ Агент получает билет
на конкретный сервис на короткое время
без возможности эскалации
📌 В такой реализации:
❌ нет паролей
❌ нет keytab’ов
❌ нет доступа «куда получится»
🔐 Почему это безопаснее
🧠 Реальная идентичность
Каждый агент это отдельный Kerberos-контекст. В логах больше нет абстрактного svc-agent.
🎯 Минимальный blast radius
Даже скомпрометированный агент ограничен одним SPN,
временем жизни билета и политиками AD
🛡 Zero Trust на уровне AD
Каждый вызов это проверка, а не доверие по факту запуска.
🤖 Почему без этого LLM-агенты опасны
LLM-агент:
🧠 принимает решения на основе текста
🎭 подвержен prompt injection
⚙️ управляет реальными инструментами
JWT2Kerberos вводит жёсткую границу: агент может ошибиться, а инфраструктура нет.
Это и есть defense in depth для агентных систем.
🧨 Главная мысль
JWT2Kerberos не является интеграцией JWT и Kerberos.
Это механизм установки контроля над идентичностью агентов. Инфраструктура каждый раз решает, доверять ли агенту.
Внезапно оказывается, что Kerberos уже не legacy,
а самый строгий компонент в современной AI-безопасности.
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #JWT2Kerberos
#Kerberos #LLMSecurity #AgentSecurity
#ZeroTrust #IdentitySecurity #ActiveDirectory #PromptInjection #CyberSecurity
🤖 LLM-агенты всё чаще получают доступ к реальным корпоративным системам:
базам данных, файловым шарам, внутренним API, SOC-инструментам.
Проблема в том, что почти вся эта инфраструктура обычно строится вокруг Active Directory и Kerberos,
а агенты работают с JWT и OIDC.
⚠️ Где возникает проблема
🔑 JWT отлично подходит для:
При этом Kerberos-инфраструктура:
❌ не понимает JWT
❌ требует строгой идентичности
❌ строится вокруг принципала, билета и KDC
Поэтому архитектура почти всегда деградирует до простого решения:
🧨 агенту выдают сервисный аккаунт.
С этого момента:
🕒 секрет становится долгоживущим
👥 один аккаунт используют разные агенты
🕵️ audit теряет смысл
💥 любой prompt injection = риск доменного доступа
🧩 Для чего нужен JWT2Kerberos?
JWT2Kerberos - это паттерн аутентификации, который позволяет:
🔐 использовать JWT для идентификации агента
🏛 использовать Kerberos для принятия решения о доступе
Агент не получает Kerberos-секреты.
Он доказывает, кто он, а инфраструктура решает, что ему можно.
🔁 Как это работает:
1️⃣ Агент проходит OIDC-аутентификацию и получает JWT
2️⃣ JWT валидируется (issuer, audience, exp, claims)
3️⃣ Claims мапятся на Kerberos-контекст
4️⃣ Через S4U2Self / constrained delegation запрашивается TGS
5️⃣ Агент получает билет
на конкретный сервис на короткое время
без возможности эскалации
📌 В такой реализации:
❌ нет паролей
❌ нет keytab’ов
❌ нет доступа «куда получится»
🔐 Почему это безопаснее
🧠 Реальная идентичность
Каждый агент это отдельный Kerberos-контекст. В логах больше нет абстрактного svc-agent.
🎯 Минимальный blast radius
Даже скомпрометированный агент ограничен одним SPN,
временем жизни билета и политиками AD
🛡 Zero Trust на уровне AD
Каждый вызов это проверка, а не доверие по факту запуска.
🤖 Почему без этого LLM-агенты опасны
LLM-агент:
🧠 принимает решения на основе текста
🎭 подвержен prompt injection
⚙️ управляет реальными инструментами
JWT2Kerberos вводит жёсткую границу: агент может ошибиться, а инфраструктура нет.
Это и есть defense in depth для агентных систем.
🧨 Главная мысль
JWT2Kerberos не является интеграцией JWT и Kerberos.
Это механизм установки контроля над идентичностью агентов. Инфраструктура каждый раз решает, доверять ли агенту.
Внезапно оказывается, что Kerberos уже не legacy,
а самый строгий компонент в современной AI-безопасности.
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #JWT2Kerberos
#Kerberos #LLMSecurity #AgentSecurity
#ZeroTrust #IdentitySecurity #ActiveDirectory #PromptInjection #CyberSecurity
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2👍1
🔐 Экзамен по кибербезопасности, который не сможет сдать ChatGPT
Представьте, вы аналитик в виртуальной компании. Офис, переговорка, серверная.Значит где-то внутри уже зреет инцидент😁.
⏱ У вас есть час, чтобы:
- найти реальные риски;
- сопоставить фреймворки;
- переписать политику безопасности.
Если ошибётесь, то инфраструктура компании «упадет».
Вот такое научное исследование было представлено на ISSOTL 2025. На наш взгляд это один из самых любопытных экспериментов в обучении ИБ за последнее время.
🎮 Escape room вместо лекций
Авторы из UNSW превратили дата-гавернанс и политики безопасности в игру Escape room (помните такие?).
🔹 Governance обычно выглядит как набор политик, абстрактных
рисков, сложных
фреймворков. Типовое обучение превращается в заучивание правил и патернов или прохождение тестов с помощью ИИ.
Escape room пытается сломать эту модель. В игре нельзя заранее «знать правильно». В ней нужно думать, выбирать и отвечать за решения.
Как говорят исследователи:
🧠 Как устроен квест?
Игра представляет собой виртуальный офис компании, разбитый на три зоны.
Каждая - это уникальный уровень мышления.
🧩 Зона 1. Risk Maze
Вы исследуете офис и находите точки риска:
- процессы
- управленческие решения
- организационные слабости
Каждый риск нужно:
✔ распознать
✔ оценить
✔ решить — критичен он или нет
Очень быстро становится понятно, что риск это не чекбокс, а контекст.
📚 Зона 2. Framework Matching
NIST, ISO 27001, GDPR
Нужно:
- сопоставлять контроли и стандарты
- видеть пересечения
понимать, почему этот контроль здесь уместен
Фреймворки впервые выглядят не как таблицы, а как инструменты принятия решений.
📝 Зона 3. Policy Drafting
Финал. На основе:
- выявленных рисков
- выбранных стандартов
- нужно переработать политику безопасности.
💡 Система в реальном времени подсвечивает:
- пробелы
- противоречия
- несоответствие рискам
Это почти рабочий день GRC-специалиста.
📊 Реакция студентов
Оценка студентов оказалась неожиданно высокой:
📈 71% показали максимальный уровень вовлечённости
🔥 100% оценили формат: интереснее лекций
⚖️ Сложность «в самый раз», без фрустрации
Студенты начали мыслить
как специалисты, а не как люди, сдающие экзамен.
🔍 Зачем это всё?
Мы живём в момент, когда:
🤖 эссе пишет ИИ
🧠 тесты угадываются
📄 политики копируются
🎓 диплом всё чаще ≠ компетенция
Новые подходы к обучению, типо Escape room возвращают мышление, ответственность и контекст.
Если бы governance так преподавали бы раньше, то
у нас было бы меньше «бумажной безопасности»
и больше реально работающих систем.
🔗 Полезные ссылки
📄 Исследование (arXiv):
👉 https://arxiv.org/abs/2601.10852
🎮 Публичной версии игры пока нет
(это учебный проект UNSW),
но сама архитектура и сценарии подробно описаны в статье.
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #CyberSecurity #CyberGovernance #GRC #Gamification #InfosecEducation #AIandEducation #CISO #PolicySecurity
Представьте, вы аналитик в виртуальной компании. Офис, переговорка, серверная.
⏱ У вас есть час, чтобы:
- найти реальные риски;
- сопоставить фреймворки;
- переписать политику безопасности.
Если ошибётесь, то инфраструктура компании «упадет».
Вот такое научное исследование было представлено на ISSOTL 2025. На наш взгляд это один из самых любопытных экспериментов в обучении ИБ за последнее время.
🎮 Escape room вместо лекций
Авторы из UNSW превратили дата-гавернанс и политики безопасности в игру Escape room (помните такие?).
🔹 Governance обычно выглядит как набор политик, абстрактных
рисков, сложных
фреймворков. Типовое обучение превращается в заучивание правил и патернов или прохождение тестов с помощью ИИ.
Escape room пытается сломать эту модель. В игре нельзя заранее «знать правильно». В ней нужно думать, выбирать и отвечать за решения.
Как говорят исследователи:
формат устойчив к генеративному ИИ
🧠 Как устроен квест?
Игра представляет собой виртуальный офис компании, разбитый на три зоны.
Каждая - это уникальный уровень мышления.
🧩 Зона 1. Risk Maze
Вы исследуете офис и находите точки риска:
- процессы
- управленческие решения
- организационные слабости
Каждый риск нужно:
✔ распознать
✔ оценить
✔ решить — критичен он или нет
Очень быстро становится понятно, что риск это не чекбокс, а контекст.
📚 Зона 2. Framework Matching
NIST, ISO 27001, GDPR
Нужно:
- сопоставлять контроли и стандарты
- видеть пересечения
понимать, почему этот контроль здесь уместен
Фреймворки впервые выглядят не как таблицы, а как инструменты принятия решений.
📝 Зона 3. Policy Drafting
Финал. На основе:
- выявленных рисков
- выбранных стандартов
- нужно переработать политику безопасности.
💡 Система в реальном времени подсвечивает:
- пробелы
- противоречия
- несоответствие рискам
Это почти рабочий день GRC-специалиста.
📊 Реакция студентов
Оценка студентов оказалась неожиданно высокой:
📈 71% показали максимальный уровень вовлечённости
🔥 100% оценили формат: интереснее лекций
⚖️ Сложность «в самый раз», без фрустрации
Студенты начали мыслить
как специалисты, а не как люди, сдающие экзамен.
🔍 Зачем это всё?
Мы живём в момент, когда:
🤖 эссе пишет ИИ
🧠 тесты угадываются
📄 политики копируются
🎓 диплом всё чаще ≠ компетенция
Новые подходы к обучению, типо Escape room возвращают мышление, ответственность и контекст.
Если бы governance так преподавали бы раньше, то
у нас было бы меньше «бумажной безопасности»
и больше реально работающих систем.
🔗 Полезные ссылки
📄 Исследование (arXiv):
👉 https://arxiv.org/abs/2601.10852
🎮 Публичной версии игры пока нет
(это учебный проект UNSW),
но сама архитектура и сценарии подробно описаны в статье.
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #CyberSecurity #CyberGovernance #GRC #Gamification #InfosecEducation #AIandEducation #CISO #PolicySecurity
👍1
🕵️ Firehound: приложения из App Store тихо сливают ваши данные
📱 Иллюзия безопасности
Есть удобное убеждение, что если приложение попало в App Store, то значит, его проверили. А если его проверили, то значит, ему можно доверять. Именно на этом ощущении безопасности держится экосистема iOS.
Firehound показывает, насколько это доверие ошибочно.
🔍 С чего все началось?
История началась без эксплойтов, исследователи решили внимательно посмотреть, как iOS-приложения хранят пользовательские данные и куда они реально уходят.
Выяснилось, что backend многих приложений живёт за пределами витрины App Store. Открытые облачные базы, незащищённые API, хранилища без аутентификации. Иногда достаточно было знать правильный URL.
🧩 Firehound
Firehound - это каталог реальных приложений из App Store, у которых данные пользователей оказались доступны извне.
Речь идёт не о маргинальных утилитах, а о популярных AI-ассистентах, образовательных и lifestyle-приложениях.
📉 Масштаб утечек
В одном из задокументированных кейсов исследователи обнаружили сотни миллионов записей: истории AI-чатов, пользовательские идентификаторы, метаданные. Это были реальные диалоги людей, тексты, которые считались приватными.
Данные просто лежали в открытом доступе, потому что для некоторых t2m важнее безопасности.
🤖 Почему особенно опасны AI-приложения
AI-чаты это не просто логи. Люди делятся с ними тем, что не пишут в мессенджерах: сомнениями, страхами, медицинскими и личными вопросами.
При этом backend таких приложений часто собирается в режиме стартап-гонки: быстрее выкатить фичу, быстрее попасть в App Store, быстрее масштабироваться. Threat modeling и аудит остаются «на потом».
⚠️ Я могу посмотреть утекшие данные?
Исследователи сознательно ограничили доступ к деталям, скрыли чувствительные данные и ввели ручную модерацию.
Причина проста: полная публикация превратила бы исследование в инструмент для злоупотреблений. Проблема настолько масштабна, что её опасно показывать целиком.
🏢 Системная проблема экосистемы
Это не ошибка одного разработчика. Это сбой модели доверия. App Store проверяет интерфейс и поведение приложения, но почти не анализирует архитектуру хранения данных. Всё, что происходит за пределами устройства, остаётся вне поля зрения.
Закрытая экосистема ≠ защищённые данные.
🔗 Источники:
➖ Macworld
➖ AppleInsider
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #Firehound #AppStore #iOSSecurity #AIApps #DataLeaks #Privacy #CyberSecurity
📱 Иллюзия безопасности
Есть удобное убеждение, что если приложение попало в App Store, то значит, его проверили. А если его проверили, то значит, ему можно доверять. Именно на этом ощущении безопасности держится экосистема iOS.
Firehound показывает, насколько это доверие ошибочно.
🔍 С чего все началось?
История началась без эксплойтов, исследователи решили внимательно посмотреть, как iOS-приложения хранят пользовательские данные и куда они реально уходят.
Выяснилось, что backend многих приложений живёт за пределами витрины App Store. Открытые облачные базы, незащищённые API, хранилища без аутентификации. Иногда достаточно было знать правильный URL.
🧩 Firehound
Firehound - это каталог реальных приложений из App Store, у которых данные пользователей оказались доступны извне.
Речь идёт не о маргинальных утилитах, а о популярных AI-ассистентах, образовательных и lifestyle-приложениях.
📉 Масштаб утечек
В одном из задокументированных кейсов исследователи обнаружили сотни миллионов записей: истории AI-чатов, пользовательские идентификаторы, метаданные. Это были реальные диалоги людей, тексты, которые считались приватными.
Данные просто лежали в открытом доступе, потому что для некоторых t2m важнее безопасности.
🤖 Почему особенно опасны AI-приложения
AI-чаты это не просто логи. Люди делятся с ними тем, что не пишут в мессенджерах: сомнениями, страхами, медицинскими и личными вопросами.
При этом backend таких приложений часто собирается в режиме стартап-гонки: быстрее выкатить фичу, быстрее попасть в App Store, быстрее масштабироваться. Threat modeling и аудит остаются «на потом».
⚠️ Я могу посмотреть утекшие данные?
Исследователи сознательно ограничили доступ к деталям, скрыли чувствительные данные и ввели ручную модерацию.
Причина проста: полная публикация превратила бы исследование в инструмент для злоупотреблений. Проблема настолько масштабна, что её опасно показывать целиком.
🏢 Системная проблема экосистемы
Это не ошибка одного разработчика. Это сбой модели доверия. App Store проверяет интерфейс и поведение приложения, но почти не анализирует архитектуру хранения данных. Всё, что происходит за пределами устройства, остаётся вне поля зрения.
Закрытая экосистема ≠ защищённые данные.
🔗 Источники:
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #Firehound #AppStore #iOSSecurity #AIApps #DataLeaks #Privacy #CyberSecurity
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
🚨 ИИ в кибербезопасности выходит из-под контроля
ИИ в кибербезопасности перестал быть помощником. За последние два года путь был довольно прямым: сначала LLM подсказывали пентестеру, затем начали автоматически выполнять задачи.
Новая работа Alias Robotics фиксирует момент, когда, работающий ранее подход, перестаёт масштабироваться. Дальнейший прогресс упирается не в размер модели, а в то, как именно принимаются решения.
Речь идёт не о «сверхразуме» в популярном смысле, а о системах, которые в отдельных классах задач стабильно превосходят человека по скорости и качеству стратегических решений.
🧑💻 От ассистента к агенту
PentestGPT стал первым массовым примером применения LLM в offensive security. Модель помогала планировать шаги, интерпретировать вывод инструментов и удерживать контекст атаки. Человек при этом оставался в контуре исполнения.
Агент CAI убирает человека из execution loop. AI сам планирует, сам исполняет команды, сам анализирует результаты и корректирует стратегию.
На бенчмарках это даёт кратный выигрыш по времени и стоимости, особенно в реверсе и форензике.
Однако в задачах pwn и crypto человек всё ещё выигрывает, но не за счёт скорости, а за счёт стратегического мышления.
⚠️ Автоматизация и интеллект
Авторы показывают важный предел: автономный агент без стратегической модели остаётся реактивным. Он эффективно выполняет локальные шаги, но плохо оценивает динамику противостояния, повторяет неудачные ходы и демонстрирует нестабильное поведение.
Проблема тут не в качестве LLM. Главная проблема в отсутствии формальной модели противника.
♟️ G-CTR: теория игр на практике
Game-Theoretic Guidance (G-CTR) добавляет агенту символьный уровень рассуждений. Из текущего контекста строится граф атаки, по которому вычисляется равновесие Нэша между атакой и защитой. Результат превращается в компактное стратегическое описание и встраивается в system prompt.
Это резко снижает вариативность поведения и повышает долю успешных сценариев. В Attack & Defense режимах такие агенты стабильно обыгрывают LLM-only системы 🧠
🔄 Ключевые изменения
Ключевой сдвиг в распределении ролей.
Человек перестаёт быть исполнителем и становится наблюдателем и контролёром стратегии.
ИИ берёт на себя не только выполнение, но и принятие решений в рамках формальной модели.
Это рабочая архитектура и серьёзный вызов для процессов, построенных под человеческий темп и человеческое мышление.
🔗 Источник статьи:
➖ https://arxiv.org/abs/2601.14614
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #AIsecurity #Cybersecurity #LLM #AgenticAI #Pentest #SOC #RedTeam #GameTheory #InfoSec
ИИ в кибербезопасности перестал быть помощником. За последние два года путь был довольно прямым: сначала LLM подсказывали пентестеру, затем начали автоматически выполнять задачи.
Новая работа Alias Robotics фиксирует момент, когда, работающий ранее подход, перестаёт масштабироваться. Дальнейший прогресс упирается не в размер модели, а в то, как именно принимаются решения.
Речь идёт не о «сверхразуме» в популярном смысле, а о системах, которые в отдельных классах задач стабильно превосходят человека по скорости и качеству стратегических решений.
🧑💻 От ассистента к агенту
PentestGPT стал первым массовым примером применения LLM в offensive security. Модель помогала планировать шаги, интерпретировать вывод инструментов и удерживать контекст атаки. Человек при этом оставался в контуре исполнения.
Агент CAI убирает человека из execution loop. AI сам планирует, сам исполняет команды, сам анализирует результаты и корректирует стратегию.
На бенчмарках это даёт кратный выигрыш по времени и стоимости, особенно в реверсе и форензике.
Однако в задачах pwn и crypto человек всё ещё выигрывает, но не за счёт скорости, а за счёт стратегического мышления.
⚠️ Автоматизация и интеллект
Авторы показывают важный предел: автономный агент без стратегической модели остаётся реактивным. Он эффективно выполняет локальные шаги, но плохо оценивает динамику противостояния, повторяет неудачные ходы и демонстрирует нестабильное поведение.
Проблема тут не в качестве LLM. Главная проблема в отсутствии формальной модели противника.
♟️ G-CTR: теория игр на практике
Game-Theoretic Guidance (G-CTR) добавляет агенту символьный уровень рассуждений. Из текущего контекста строится граф атаки, по которому вычисляется равновесие Нэша между атакой и защитой. Результат превращается в компактное стратегическое описание и встраивается в system prompt.
Это резко снижает вариативность поведения и повышает долю успешных сценариев. В Attack & Defense режимах такие агенты стабильно обыгрывают LLM-only системы 🧠
🔄 Ключевые изменения
Ключевой сдвиг в распределении ролей.
Человек перестаёт быть исполнителем и становится наблюдателем и контролёром стратегии.
ИИ берёт на себя не только выполнение, но и принятие решений в рамках формальной модели.
Это рабочая архитектура и серьёзный вызов для процессов, построенных под человеческий темп и человеческое мышление.
🔗 Источник статьи:
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #AIsecurity #Cybersecurity #LLM #AgenticAI #Pentest #SOC #RedTeam #GameTheory #InfoSec
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
📖 Почему нейросети помнят то, что должны были забыть
Разбор феномена сублиминального обучения
Вы уже знаете, что если «дообучить» ИИ на новую задачу, то информация о старой все еще будет в "памяти" модели.
На днях вышла статья на Хабр, которая хорошо раскрывает эту тему. Авторы докопались до того, почему модели действительно «помнят» скрытую информацию, даже когда мы её вроде бы удалили.
🧠 Вспомнить всё
Когда мы дообучаем (fine-tune) нейросеть, чтобы адаптировать её к новой задаче, то это выглядит примерно так:
📌 есть модель, которая уже чему-то научилась →
📌 мы хотим «забыть» старое и научить новое →
📌 применяем регуляризацию, оптимизацию и уверены, что прошлое исчезло.
Вреальности оказывается, что информация от прошлой задачи остаётся в структуре весов модели, даже если она не участвует прямо в новой оптимизационной задаче.
🧩 Опыт, как элемент памяти
Оказывается, "забывание" это не просто удаление данных, а удаление следов в ландшафте весов модели, чего в реальности не происходит.
📌 Даже при агрессивной регуляризации сеть всё равно сохраняет прошлую информацию в скрытой структуре весов.
Это называется структурный импринтинг,
когда форма оптимального решения новой задачи строится на топологии, сформированной предыдущим обучением. Такая топология действует как «архитектурная память».
🔍 Эксперимент
Чтобы доказать этот эффект, авторы провели серию экспериментов на небольших сетях:
📌 Модель училась первой задаче А
📌 Затем переходила к задаче B с попыткой забыть А
📌 После этого третья нейросеть пыталась на основе выходов восстановить то, что модель уже должна была забыть
Результат:
🔹 структура прошлого знания сохранялась настолько, что третья модель могла восстановить секретную информацию с точностью до ~98 %, даже когда её не должно было быть видно.
🧠 К чему это всё?
👉 Если ваша модель обучалась на чувствительных данных (например, PII, BERT-подобные embedding-механизмы с секретными маркерами),
👉 а затем вы переобучили её на другую задачу,
то старые «печатные следы» всё равно остаются в весах. Это не баг оптимизатора, это свойство Loss Landscape: локации весов.
🟢 Итого, если вы работаете с моделями, где конфиденциальность или безопасность критична, просто переобучение недостаточно.
Нужно:
🔹 понимать свойства Loss Landscape,
🔹 проектировать безопасность данных на уровне архитектуры, а не тренировки,
🔹 смотреть на проблему privacy-by-design, а не hope-by-regularization.
📌 О том, как сделать так, чтобы модель все-таки "забыла" данные мы писали ранее тут и тут.
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #ИИ #машиннообучение #безопасностьML #privacy #нейросети #информационнаябезопасность #MLsecurity #deepLearning
Разбор феномена сублиминального обучения
Вы уже знаете, что если «дообучить» ИИ на новую задачу, то информация о старой все еще будет в "памяти" модели.
На днях вышла статья на Хабр, которая хорошо раскрывает эту тему. Авторы докопались до того, почему модели действительно «помнят» скрытую информацию, даже когда мы её вроде бы удалили.
🧠 Вспомнить всё
Когда мы дообучаем (fine-tune) нейросеть, чтобы адаптировать её к новой задаче, то это выглядит примерно так:
📌 есть модель, которая уже чему-то научилась →
📌 мы хотим «забыть» старое и научить новое →
📌 применяем регуляризацию, оптимизацию и уверены, что прошлое исчезло.
Вреальности оказывается, что информация от прошлой задачи остаётся в структуре весов модели, даже если она не участвует прямо в новой оптимизационной задаче.
🧩 Опыт, как элемент памяти
Оказывается, "забывание" это не просто удаление данных, а удаление следов в ландшафте весов модели, чего в реальности не происходит.
📌 Даже при агрессивной регуляризации сеть всё равно сохраняет прошлую информацию в скрытой структуре весов.
Это называется структурный импринтинг,
когда форма оптимального решения новой задачи строится на топологии, сформированной предыдущим обучением. Такая топология действует как «архитектурная память».
🔍 Эксперимент
Чтобы доказать этот эффект, авторы провели серию экспериментов на небольших сетях:
📌 Модель училась первой задаче А
📌 Затем переходила к задаче B с попыткой забыть А
📌 После этого третья нейросеть пыталась на основе выходов восстановить то, что модель уже должна была забыть
Результат:
🔹 структура прошлого знания сохранялась настолько, что третья модель могла восстановить секретную информацию с точностью до ~98 %, даже когда её не должно было быть видно.
🧠 К чему это всё?
👉 Если ваша модель обучалась на чувствительных данных (например, PII, BERT-подобные embedding-механизмы с секретными маркерами),
👉 а затем вы переобучили её на другую задачу,
то старые «печатные следы» всё равно остаются в весах. Это не баг оптимизатора, это свойство Loss Landscape: локации весов.
🟢 Итого, если вы работаете с моделями, где конфиденциальность или безопасность критична, просто переобучение недостаточно.
Нужно:
🔹 понимать свойства Loss Landscape,
🔹 проектировать безопасность данных на уровне архитектуры, а не тренировки,
🔹 смотреть на проблему privacy-by-design, а не hope-by-regularization.
📌 О том, как сделать так, чтобы модель все-таки "забыла" данные мы писали ранее тут и тут.
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #ИИ #машиннообучение #безопасностьML #privacy #нейросети #информационнаябезопасность #MLsecurity #deepLearning
👍3
🤖 Почему корпоративный ИИ всё ещё не меняет бизнес?
Сегодня разберем новый отчет Deloitte "Что реально происходит с ИИ в крупных компаниях"
ИИ уже стал нормой. По данным Deloitte, около 60% сотрудников крупных компаний имеют доступ к одобренным ИИ-инструментам. Но остается проблема: ИИ есть, но он не встроен в повседневную работу. В большинстве случаев он используется как вспомогательный инструмент: для поиска информации, подготовки отчётов и ускорения отдельных задач. Сквозные процессы при этом почти не меняются.
⚙️ От пилотов к продакшену
Только 25 % компаний смогли перевести ИИ-инициативы из экспериментов в промышленную эксплуатацию.
Остальные застряли на стадии пилотов и PoC.
Причина не в технологиях, а в сложности:
➖ интеграция ИИ в бизнес-процессы,
➖ пересмотр архитектуры,
➖ требования безопасности и соответствия,
➖ отсутствие понятных моделей управления.
ИИ внедряется быстрее, чем компании успевают перестроить операционную модель.
🔐 ИИ расширяет поверхность атаки
С ростом корпоративного ИИ появляются новые риски.
ИИ-агенты часто получают слишком широкие права доступа, выходящие за рамки конкретной задачи.
В результате:
➖ традиционные модели контроля доступа перестают работать,
➖ цепочки автоматических действий могут приводить к несанкционированному доступу,
➖ возрастает риск утечек и нарушения внутренних политик.
Компаниям приходится экспериментировать:
✔️ динамические правами доступа,
✔️ внешний контроль действий ИИ,
✔️ независимый аудит агентских операций.
🧠 Агентский ИИ: планы есть, управления нет
Почти 75% организаций планируют внедрение агентского ИИ в ближайшие два года.
При этом только около 20% компаний имеют зрелые модели управления такими агентами.
Это опасная асимметрия. Получается, что автономность растёт быстрее, чем контроль.
Для ИБ-команд это и вовсе означает новый класс рисков: от ошибок автоматизации до полномасштабных инцидентов.
🌍 Sovereign AI
Ещё один прослеживающийся тренд - это Sovereign AI. Компании всё чаще задумываются:
➖ где обучается модель,
➖ где хранятся данные,
➖ какие законы и регуляции применимы.
Для международных и data-driven организаций это становится частью стратегии, а не юридической формальностью.
📌 Что имеем по факту
ИИ в корпорациях:
✔️ широко доступен,
❌ слабо встроен в процессы,
⚠️ создаёт новые риски для безопасности.
Пока основная польза ИИ операционная эффективность, а не трансформация бизнеса.
Революция возможна, но только там, где ИИ внедряется вместе с управлением, архитектурой и безопасностью.
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #ИИ #enterpriseAI #AIgovernance #информационнаябезопасность #agenticAI #SovereignAI #RiskManagement
Сегодня разберем новый отчет Deloitte "Что реально происходит с ИИ в крупных компаниях"
ИИ уже стал нормой. По данным Deloitte, около 60% сотрудников крупных компаний имеют доступ к одобренным ИИ-инструментам. Но остается проблема: ИИ есть, но он не встроен в повседневную работу. В большинстве случаев он используется как вспомогательный инструмент: для поиска информации, подготовки отчётов и ускорения отдельных задач. Сквозные процессы при этом почти не меняются.
⚙️ От пилотов к продакшену
Только 25 % компаний смогли перевести ИИ-инициативы из экспериментов в промышленную эксплуатацию.
Остальные застряли на стадии пилотов и PoC.
Причина не в технологиях, а в сложности:
ИИ внедряется быстрее, чем компании успевают перестроить операционную модель.
🔐 ИИ расширяет поверхность атаки
С ростом корпоративного ИИ появляются новые риски.
ИИ-агенты часто получают слишком широкие права доступа, выходящие за рамки конкретной задачи.
В результате:
Компаниям приходится экспериментировать:
✔️ динамические правами доступа,
✔️ внешний контроль действий ИИ,
✔️ независимый аудит агентских операций.
🧠 Агентский ИИ: планы есть, управления нет
Почти 75% организаций планируют внедрение агентского ИИ в ближайшие два года.
При этом только около 20% компаний имеют зрелые модели управления такими агентами.
Это опасная асимметрия. Получается, что автономность растёт быстрее, чем контроль.
Для ИБ-команд это и вовсе означает новый класс рисков: от ошибок автоматизации до полномасштабных инцидентов.
🌍 Sovereign AI
Ещё один прослеживающийся тренд - это Sovereign AI. Компании всё чаще задумываются:
Для международных и data-driven организаций это становится частью стратегии, а не юридической формальностью.
📌 Что имеем по факту
ИИ в корпорациях:
✔️ широко доступен,
❌ слабо встроен в процессы,
⚠️ создаёт новые риски для безопасности.
Пока основная польза ИИ операционная эффективность, а не трансформация бизнеса.
Революция возможна, но только там, где ИИ внедряется вместе с управлением, архитектурой и безопасностью.
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #ИИ #enterpriseAI #AIgovernance #информационнаябезопасность #agenticAI #SovereignAI #RiskManagement
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
🕷 Вы всё ещё парсите сайты руками? Crawlee идёт к вам!
Веб-скрейпинг перестаёт быть костылём
Веб-скрейпинг обычно начинается с «быстренького скрипта», а заканчивается ночными фикcами после очередного редизайна сайта или бана IP. Команда продукта Crawlee пытается решить это боль для Python.
Crawlee представляет собой новый фреймворк от команды Apify, хорошо знакомой тем, кто хоть раз запускал краулер в продакшене.
⚙️ Системный подход
Crawlee не просто парсер, он обеспечивает сбор данных в виде управляемого сервиса:
🧠 очереди и состояние выполнения,
🔁 ретраи и контроль ошибок,
📦 нормальное хранение результатов,
🧩 масштабирование без переписывания кода.
Всё то, что обычно лепят вручную поверх requests, aiohttp и Playwright, здесь уже встроено на уровне архитектуры.
🌍 HTTP и браузер
Python-версия унаследовала логику JS-Crawlee, но адаптирована под async:
⚡ быстрый HTTP-краулинг для простых сайтов,
🖥 Playwright для SPA и динамики,
🔀 возможность автоматически переключаться между режимами.
Другими словами, вы описываете поведение краулера, а не цепочку запросов.
🔐 Кейсы ИБ
Решение помогает автоматизировать:
🕵️ OSINT и threat intelligence,
🚨 мониторинг фишинговых доменов,
🌐 анализ поверхности атаки,
🧠 сбор данных для ML-моделей и детекторов.
Когда сбор данных идёт неделями, а не «один раз», устойчивость становится важнее скорости.
⚠️ О минусах
➖ Фреймворк пока медленнее простых скриптов,
➖ Решение требует понимания async и архитектуры.
Тем не менее, если вы устали чинить парсеры после каждого изменения сайта, то это скорее плюс, чем минус.
👉 GitHub: https://github.com/apify/crawlee-python
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #Python #webscraping #OSINT #ThreatIntelligence #кибербезопасность #Automation #Crawlee
Веб-скрейпинг перестаёт быть костылём
Веб-скрейпинг обычно начинается с «быстренького скрипта», а заканчивается ночными фикcами после очередного редизайна сайта или бана IP. Команда продукта Crawlee пытается решить это боль для Python.
Crawlee представляет собой новый фреймворк от команды Apify, хорошо знакомой тем, кто хоть раз запускал краулер в продакшене.
⚙️ Системный подход
Crawlee не просто парсер, он обеспечивает сбор данных в виде управляемого сервиса:
🧠 очереди и состояние выполнения,
🔁 ретраи и контроль ошибок,
📦 нормальное хранение результатов,
🧩 масштабирование без переписывания кода.
Всё то, что обычно лепят вручную поверх requests, aiohttp и Playwright, здесь уже встроено на уровне архитектуры.
🌍 HTTP и браузер
Python-версия унаследовала логику JS-Crawlee, но адаптирована под async:
⚡ быстрый HTTP-краулинг для простых сайтов,
🖥 Playwright для SPA и динамики,
🔀 возможность автоматически переключаться между режимами.
Другими словами, вы описываете поведение краулера, а не цепочку запросов.
🔐 Кейсы ИБ
Решение помогает автоматизировать:
🕵️ OSINT и threat intelligence,
🚨 мониторинг фишинговых доменов,
🌐 анализ поверхности атаки,
🧠 сбор данных для ML-моделей и детекторов.
Когда сбор данных идёт неделями, а не «один раз», устойчивость становится важнее скорости.
⚠️ О минусах
Тем не менее, если вы устали чинить парсеры после каждого изменения сайта, то это скорее плюс, чем минус.
👉 GitHub: https://github.com/apify/crawlee-python
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #Python #webscraping #OSINT #ThreatIntelligence #кибербезопасность #Automation #Crawlee
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1
🔥 ИИ нашёл 12 уязвимостей в OpenSSL
Все знают, что OpenSSL это криптографический фундамент интернета. HTTPS, TLS, VPN, почта, облака, корпоративные PKI - всё это держится на библиотеке, код которой пишут и переписывают уже больше 25 лет. Казалось бы, здесь давно не осталось сюрпризов.Остались 😁
В январском релизе OpenSSL были закрыты 12 уязвимостей. Все они были обнаружены автономным AI-агентом компании AISLE.
Причём часть багов жила в коде с конца 90-х.
🧠 Кто такие AISLE и что за AI-агент?
AISLE это платформа, которая включает автономный агент статического анализа. Продукт сочетает:
- символьное исполнение,
- моделирование состояний памяти,
- анализ путей выполнения,
и собственный reasoning-движок для поиска логических ошибок.
Ключевое отличие от SAST:
👉 агент не ищет паттерны, а пытается сломать программу в уме, перебирая сценарии, которые человек просто не стал бы проверять вручную.
По сути, это автоматизированный аудитор. Но в отличие от человека он не устаёт и
не пропускает «скучные» ветки.
🔍 Что нашли в OpenSSL?
AI-агент проанализировал кодовую базу OpenSSL и обнаружил много интересностей:
➖ ошибки обработки ASN.1 и CMS,
➖ проблемы в PKCS#7 / PKCS#12,
➖ некорректную работу с памятью,
➖ условия, приводящие к падениям и потенциальной эксплуатации.
Часть уязвимостей была обнаружена ещё до публичного релиза, а для некоторых был сформирован PoC,
предложены исправления.
Что необычно, патчи были приняты мейнтейнерами OpenSSL. Это редкий случай, когда автоматический анализ не просто «нашёл проблему», а дошёл до уровня upstream-фикса.
📌 Ссылки и первоисточники
🔗 Блог AISLE с разбором находок:
https://aisle.com/blog/aisle-discovered-12-out-of-12-openssl-vulnerabilities
🔗 CVE-hub AISLE (пример):
https://aisle.com/cve-hub/CVE-2025-9230
🔗 Сайт AISLE (описание платформы):
https://aisle.com/
Stay secure and read SecureTechTalks 📚
#OpenSSL #Кибербезопасность #ИБ #AISLE #CVE #SecureCode #DevSecOps #AIвИБ #SecurityResearch
Все знают, что OpenSSL это криптографический фундамент интернета. HTTPS, TLS, VPN, почта, облака, корпоративные PKI - всё это держится на библиотеке, код которой пишут и переписывают уже больше 25 лет. Казалось бы, здесь давно не осталось сюрпризов.
В январском релизе OpenSSL были закрыты 12 уязвимостей. Все они были обнаружены автономным AI-агентом компании AISLE.
Причём часть багов жила в коде с конца 90-х.
🧠 Кто такие AISLE и что за AI-агент?
AISLE это платформа, которая включает автономный агент статического анализа. Продукт сочетает:
- символьное исполнение,
- моделирование состояний памяти,
- анализ путей выполнения,
и собственный reasoning-движок для поиска логических ошибок.
Ключевое отличие от SAST:
👉 агент не ищет паттерны, а пытается сломать программу в уме, перебирая сценарии, которые человек просто не стал бы проверять вручную.
По сути, это автоматизированный аудитор. Но в отличие от человека он не устаёт и
не пропускает «скучные» ветки.
🔍 Что нашли в OpenSSL?
AI-агент проанализировал кодовую базу OpenSSL и обнаружил много интересностей:
Часть уязвимостей была обнаружена ещё до публичного релиза, а для некоторых был сформирован PoC,
предложены исправления.
Что необычно, патчи были приняты мейнтейнерами OpenSSL. Это редкий случай, когда автоматический анализ не просто «нашёл проблему», а дошёл до уровня upstream-фикса.
📌 Ссылки и первоисточники
🔗 Блог AISLE с разбором находок:
https://aisle.com/blog/aisle-discovered-12-out-of-12-openssl-vulnerabilities
🔗 CVE-hub AISLE (пример):
https://aisle.com/cve-hub/CVE-2025-9230
🔗 Сайт AISLE (описание платформы):
https://aisle.com/
Stay secure and read SecureTechTalks 📚
#OpenSSL #Кибербезопасность #ИБ #AISLE #CVE #SecureCode #DevSecOps #AIвИБ #SecurityResearch
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
🚨 GPT проигрывает классическим подходам ИБ
Разметка MITRE ATT&CK показала пределы LLM
🧠 Автоматическая разметка текстов по MITRE
ATT&CK давно остаётся одной из самых востребованных задач в кибербезопасности. Каждый день аналитики читают отчёты, threat intelligence, сценарии атак и описания уязвимостей, связывая их с тактиками и техниками противника. Это монотонная, дорогая и плохо масштабируемая работа. Не удивительно, что попытки её автоматизировать ведутся уже больше десяти лет.
📄 В январе 2026 года команда JPMorgan Chase опубликовала техническую работу, которая пытаеся решить проблему в новом ключе. Авторы напрямую сравнили GPT-4o и классический машинный подход, SGD-классификатор на TF-IDF.
👉 Arxiv
⚙️ Эксперимент был предельно прагматичным. Моделям давали отдельные предложения из threat intelligence и просили определить соответствующую тактику MITRE ATT&CK.
Классическая модель показала около 82% точности, GPT-4o остановился примерно на 59%. Разница особенно заметна в редких тактиках и в ситуациях, где требуется строгое соответствие идентификаторам и терминологии ATT&CK.
🧩 Как авторы посмотрели на задачу.
«Разметка MITRE» не один шаг, а целый спектр задач разной сложности. В реальности один текст может соответствовать сразу нескольким тактикам, а каждая тактика нескольким техникам, связанным иерархически. Такая структура зачастую теряется в автоматизации.
🏗️ Решение JPMorgan построено снизу вверх и повторяет логику мышления аналитика. Текст разбивается на предложения, каждое предложение превращается в TF-IDF-вектор, после чего на первом уровне модель предсказывает несколько наиболее вероятных тактик. На втором уровне для каждой тактики используются отдельные модели, определяющие подходящие техники. В результате получается иерархическая мульти-лейбл разметка вида «тактика → техника», а не плоский список тегов.
📊 Этот подход даёт ощутимый прирост качества. При выборе трёх наиболее вероятных тактик точность на уровне тактик достигает около 94%, а при иерархической классификации техник примерно 82%. Важно и то, что система не допускает логических ошибок, когда техника предсказана без соответствующей ей тактики.
🔐 Отдельного внимания заслуживает инженерная деталь: авторы добавили хеширование признаков на этапе векторизации. Это позволяет защищать чувствительные данные и почти не влияет на качество модели. Благодаря этому решения можно безопасно распространять.
🧭 В итоге работа формулирует спокойный, но важный вывод. Ограничения автоматизации MITRE ATT&CK связаны не с тем, насколько «умна» модель, а с тем, насколько точно мы формализуем задачу. Иерархия, мульти-лейблы, строгие таксономии и объяснимость здесь важнее универсальной генерации текста.
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #CyberSecurity #MITREATTACK #ThreatIntelligence #MachineLearning #LLM #SOC #AIinSecurity #BlueTeam #InfoSec
Разметка MITRE ATT&CK показала пределы LLM
🧠 Автоматическая разметка текстов по MITRE
ATT&CK давно остаётся одной из самых востребованных задач в кибербезопасности. Каждый день аналитики читают отчёты, threat intelligence, сценарии атак и описания уязвимостей, связывая их с тактиками и техниками противника. Это монотонная, дорогая и плохо масштабируемая работа. Не удивительно, что попытки её автоматизировать ведутся уже больше десяти лет.
📄 В январе 2026 года команда JPMorgan Chase опубликовала техническую работу, которая пытаеся решить проблему в новом ключе. Авторы напрямую сравнили GPT-4o и классический машинный подход, SGD-классификатор на TF-IDF.
⚙️ Эксперимент был предельно прагматичным. Моделям давали отдельные предложения из threat intelligence и просили определить соответствующую тактику MITRE ATT&CK.
Классическая модель показала около 82% точности, GPT-4o остановился примерно на 59%. Разница особенно заметна в редких тактиках и в ситуациях, где требуется строгое соответствие идентификаторам и терминологии ATT&CK.
🧩 Как авторы посмотрели на задачу.
«Разметка MITRE» не один шаг, а целый спектр задач разной сложности. В реальности один текст может соответствовать сразу нескольким тактикам, а каждая тактика нескольким техникам, связанным иерархически. Такая структура зачастую теряется в автоматизации.
🏗️ Решение JPMorgan построено снизу вверх и повторяет логику мышления аналитика. Текст разбивается на предложения, каждое предложение превращается в TF-IDF-вектор, после чего на первом уровне модель предсказывает несколько наиболее вероятных тактик. На втором уровне для каждой тактики используются отдельные модели, определяющие подходящие техники. В результате получается иерархическая мульти-лейбл разметка вида «тактика → техника», а не плоский список тегов.
📊 Этот подход даёт ощутимый прирост качества. При выборе трёх наиболее вероятных тактик точность на уровне тактик достигает около 94%, а при иерархической классификации техник примерно 82%. Важно и то, что система не допускает логических ошибок, когда техника предсказана без соответствующей ей тактики.
🔐 Отдельного внимания заслуживает инженерная деталь: авторы добавили хеширование признаков на этапе векторизации. Это позволяет защищать чувствительные данные и почти не влияет на качество модели. Благодаря этому решения можно безопасно распространять.
🧭 В итоге работа формулирует спокойный, но важный вывод. Ограничения автоматизации MITRE ATT&CK связаны не с тем, насколько «умна» модель, а с тем, насколько точно мы формализуем задачу. Иерархия, мульти-лейблы, строгие таксономии и объяснимость здесь важнее универсальной генерации текста.
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #CyberSecurity #MITREATTACK #ThreatIntelligence #MachineLearning #LLM #SOC #AIinSecurity #BlueTeam #InfoSec
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
🧠💣 LLM для кибербезопасности, который пытается рассуждать
Reasoning-модель на 8B параметров оказалась умнее гигантов
В последние два года LLM в кибербезопасности стали почти обязательным элементом стека. Они помогают разбирать отчёты, классифицировать CVE, сопоставлять индикаторы с MITRE ATT&CK, писать черновики рекомендаций.
Однако все модели в лучшем случае угадывают, а в худшем уверенно галлюцинируют 🤷♂️
Даже когда ответ формально правильный, логика рассуждений часто либо отсутствует, либо не соответствует факт-чекингу. Для ИБ это критично:
важно не просто «что», а почему именно так.
На этом фоне работа Cisco Foundation AI выглядит нетипично здравой. Ребята не стали делать ещё один instruction-tuned security-бот, а попробовали решить более фундаментальную задачу, научить модель рассуждать в контексте кибербезопасности 🛡️
Так появилась Foundation-Sec-8B-Reasoning, open-source LLM, которая сначала думает, а уже потом отвечает.
🤖 Обычные LLM плохо подходят для ИБ
Большинство security-моделей сегодня — это базовые LLM с дообучением на CVE / MITRE.
Они отлично справляются с вопросами вида:
Но начинают спотыкаться, когда требуется:
🧩 многошаговый анализ
🔗 причинно-следственные связи
🧠 восстановление цепочки атаки
📌 аргументация выбора техник и контрмер
Модель может дать правильный ответ, но прийти к нему неправильным путём. К сожалению, для аналитика рассуждения выглядит убедительно и в этом скрывается опасность.
🧪 В чем отличие этой модели?
Ключевая идея Foundation-Sec-8B-Reasoning в рассуждении. Это обязательный этап мышления.
Обучение шло в два этапа.
🏗 Этап 1. SFT учим модель думать вслух
≈ 2 млн обучающих примеров, где:
- reasoning обязателен
- структура рассуждения строго задана
- ответ без логики считается ошибкой
Состав данных:
🔐 ~27% кибербезопасность (CVE, CWE, ATT&CK)
➗ математика
💻 код
📜 инструкции и safety
Если модель не умеет рассуждать в целом, доменные данные её не спасут.
🎯 Этап 2. RL война с фейковым reasoning
Самая интересная часть статьи - reinforcement learning.
Типичная проблема reasoning-LLM:
- модель быстро учится имитировать рассуждение
- ответ правильный, но
reasoning пустой или формальный
Чтобы это сломать этот патерн, авторы добавили:
⚠️ штрафы за пустые и повторяющиеся рассуждения
📏 контроль длины reasoning
🧱 защиту от деградации формата
Отдельно разбирается проблема длинных, но бессмысленных рассуждений. Редкий случай, когда RL описан честно, без преукрашиваний.
📊 Что получилось на выходе
Модель на скромные 8B параметров:
🚀 обгоняет Llama-3.3-70B на CTIBench-RCM
🚀 обгоняет GPT-OSS-120B на CVE → CWE
📈 стабильно лучше instruction-версий на reasoning-задачах
Кроме того модель действительно учится думать, а не воспроизводит стандартные шаблоны.
🔐 А что с безопасностью?
❌ без system-prompt есть проблемы
✅ с корректным промптом ~93% pass rate на HarmBench
🛡️ с гардрейлами ~98%
Пока такую Reasoning-модель рано пускать в прод без защитного контура. Но при дальнейшем развитии есть перспективы полной автоматизации.
📄 Статья: arXiv: 2601.21051
🤗 Модель (HF): https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Reasoning
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #CyberSecurity #AIinSecurity #LLM #ReasoningAI #ThreatIntelligence #SOC #AppSec #CTI #ExplainableAI
Reasoning-модель на 8B параметров оказалась умнее гигантов
В последние два года LLM в кибербезопасности стали почти обязательным элементом стека. Они помогают разбирать отчёты, классифицировать CVE, сопоставлять индикаторы с MITRE ATT&CK, писать черновики рекомендаций.
Однако все модели в лучшем случае угадывают, а в худшем уверенно галлюцинируют 🤷♂️
Даже когда ответ формально правильный, логика рассуждений часто либо отсутствует, либо не соответствует факт-чекингу. Для ИБ это критично:
важно не просто «что», а почему именно так.
На этом фоне работа Cisco Foundation AI выглядит нетипично здравой. Ребята не стали делать ещё один instruction-tuned security-бот, а попробовали решить более фундаментальную задачу, научить модель рассуждать в контексте кибербезопасности 🛡️
Так появилась Foundation-Sec-8B-Reasoning, open-source LLM, которая сначала думает, а уже потом отвечает.
🤖 Обычные LLM плохо подходят для ИБ
Большинство security-моделей сегодня — это базовые LLM с дообучением на CVE / MITRE.
Они отлично справляются с вопросами вида:
«К какому CWE относится CVE-2023-XXXX?»
Но начинают спотыкаться, когда требуется:
🧩 многошаговый анализ
🔗 причинно-следственные связи
🧠 восстановление цепочки атаки
📌 аргументация выбора техник и контрмер
Модель может дать правильный ответ, но прийти к нему неправильным путём. К сожалению, для аналитика рассуждения выглядит убедительно и в этом скрывается опасность.
🧪 В чем отличие этой модели?
Ключевая идея Foundation-Sec-8B-Reasoning в рассуждении. Это обязательный этап мышления.
🧠 рассуждение → вывод
Обучение шло в два этапа.
🏗 Этап 1. SFT учим модель думать вслух
≈ 2 млн обучающих примеров, где:
- reasoning обязателен
- структура рассуждения строго задана
- ответ без логики считается ошибкой
Состав данных:
🔐 ~27% кибербезопасность (CVE, CWE, ATT&CK)
➗ математика
💻 код
📜 инструкции и safety
Если модель не умеет рассуждать в целом, доменные данные её не спасут.
🎯 Этап 2. RL война с фейковым reasoning
Самая интересная часть статьи - reinforcement learning.
Типичная проблема reasoning-LLM:
- модель быстро учится имитировать рассуждение
- ответ правильный, но
reasoning пустой или формальный
Чтобы это сломать этот патерн, авторы добавили:
⚠️ штрафы за пустые и повторяющиеся рассуждения
📏 контроль длины reasoning
🧱 защиту от деградации формата
Отдельно разбирается проблема длинных, но бессмысленных рассуждений. Редкий случай, когда RL описан честно, без преукрашиваний.
📊 Что получилось на выходе
Модель на скромные 8B параметров:
🚀 обгоняет Llama-3.3-70B на CTIBench-RCM
🚀 обгоняет GPT-OSS-120B на CVE → CWE
📈 стабильно лучше instruction-версий на reasoning-задачах
Кроме того модель действительно учится думать, а не воспроизводит стандартные шаблоны.
🔐 А что с безопасностью?
❌ без system-prompt есть проблемы
✅ с корректным промптом ~93% pass rate на HarmBench
🛡️ с гардрейлами ~98%
Пока такую Reasoning-модель рано пускать в прод без защитного контура. Но при дальнейшем развитии есть перспективы полной автоматизации.
📄 Статья: arXiv: 2601.21051
🤗 Модель (HF): https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Reasoning
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #CyberSecurity #AIinSecurity #LLM #ReasoningAI #ThreatIntelligence #SOC #AppSec #CTI #ExplainableAI
👍3
🛡️ Pompelmi: приватный сканер файлов для Node.js
В веб-приложениях одна из самых уязвимых точек - это загрузка файлов пользователями: изображения, документы, архивы, PDF и т.д. и т.п.. Если файлы не фильтровать, вы рискуете столкнуться с вредоносами и эксплоитами.
Данную проблему пытается решить pompelmi.
🤔 Что такое pompelmi?
pompelmi - это open-source file-scanner для Node.js, написанный на TypeScript. Проект делает упор на безопасность и простую интеграцию в серверные приложения.
Ключевые особенности:
🔍 проверка файлов до сохранения в файловой системе
⚡ минималистичная и быстрая реализация
🔒 полностью локальная работа, без облачных вызовов
🔌 адаптеры для популярных веб-фреймворков
🧱 Основные возможности pompelmi
✅ Сканирование до записи на диск
Главная идея проверять файл как можно раньше, прежде чем он окажется в файловой системе. Это снижает риск эксплуатации уязвимостей файловых парсеров и вспомогательных библиотек.
🔍 Безопасная обработка архивов
- pompelmi умеет:
безопасно обходить архивы с ограничением глубины;
- предотвращать zip-bomb-атаки;
- анализировать вложенные и рекурсивные структуры.
🧠 Гибкая система сканеров
Встроенные эвристики позволяют выявлять:
➖ риски в PDF (включая встроенный JavaScript);
➖ опасные Office-макросы;
➖ признаки PE-бинарей в загружаемых файлах.
Также поддерживается подключение собственных сигнатур, включая правила YARA.
🧩 Интеграция с фреймворками
pompelmi можно встроить в популярные серверные фреймворки Node.js на уровне middleware:
Express - https://expressjs.com
Koa - https://koajs.com
Next.js - https://nextjs.org
Fastify (alpha-поддержка) - https://www.fastify.io
Это позволяет проверять файлы непосредственно на входе в приложение и блокировать подозрительные загрузки до их обработки бизнес-логикой.
📈 Практическая польза
🔹 уменьшает риск попадания вредоносных файлов в инфраструктуру
🔹 хорошо подходит как первая линия защиты для upload-эндпоинтов
🔹 не требует внешних сервисов и передачи данных третьим лицам
Pompelmi не позиционируется как замена полноценного антивируса, но отлично закрывает начальный уровень защиты файловых загрузок.
📌 Итог
Если вы разрабатываете API с возможностью загрузки файлов или веб-приложения с пользовательскими upload-формами, то pompelmi выглядит как разумный инструмент для усиления AppSec без избыточной сложности.
🔗 GitHub: https://github.com/pompelmi/pompelmi
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #CyberSecurity #DevSecOps #NodeJS #FileUploadSecurity #MalwareScanning #YARA #ZipBombProtection #AppSec #WebSecurity
В веб-приложениях одна из самых уязвимых точек - это загрузка файлов пользователями: изображения, документы, архивы, PDF и т.д. и т.п.. Если файлы не фильтровать, вы рискуете столкнуться с вредоносами и эксплоитами.
Данную проблему пытается решить pompelmi.
🤔 Что такое pompelmi?
pompelmi - это open-source file-scanner для Node.js, написанный на TypeScript. Проект делает упор на безопасность и простую интеграцию в серверные приложения.
Ключевые особенности:
🔍 проверка файлов до сохранения в файловой системе
⚡ минималистичная и быстрая реализация
🔒 полностью локальная работа, без облачных вызовов
🔌 адаптеры для популярных веб-фреймворков
🧱 Основные возможности pompelmi
✅ Сканирование до записи на диск
Главная идея проверять файл как можно раньше, прежде чем он окажется в файловой системе. Это снижает риск эксплуатации уязвимостей файловых парсеров и вспомогательных библиотек.
🔍 Безопасная обработка архивов
- pompelmi умеет:
безопасно обходить архивы с ограничением глубины;
- предотвращать zip-bomb-атаки;
- анализировать вложенные и рекурсивные структуры.
🧠 Гибкая система сканеров
Встроенные эвристики позволяют выявлять:
Также поддерживается подключение собственных сигнатур, включая правила YARA.
🧩 Интеграция с фреймворками
pompelmi можно встроить в популярные серверные фреймворки Node.js на уровне middleware:
Express - https://expressjs.com
Koa - https://koajs.com
Next.js - https://nextjs.org
Fastify (alpha-поддержка) - https://www.fastify.io
Это позволяет проверять файлы непосредственно на входе в приложение и блокировать подозрительные загрузки до их обработки бизнес-логикой.
📈 Практическая польза
🔹 уменьшает риск попадания вредоносных файлов в инфраструктуру
🔹 хорошо подходит как первая линия защиты для upload-эндпоинтов
🔹 не требует внешних сервисов и передачи данных третьим лицам
Pompelmi не позиционируется как замена полноценного антивируса, но отлично закрывает начальный уровень защиты файловых загрузок.
📌 Итог
Если вы разрабатываете API с возможностью загрузки файлов или веб-приложения с пользовательскими upload-формами, то pompelmi выглядит как разумный инструмент для усиления AppSec без избыточной сложности.
🔗 GitHub: https://github.com/pompelmi/pompelmi
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #CyberSecurity #DevSecOps #NodeJS #FileUploadSecurity #MalwareScanning #YARA #ZipBombProtection #AppSec #WebSecurity
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
🎭 Поэзия как универсальный jailbreak для LLM
Недавнее исследование Adversarial Poetry as a Universal Single-Turn Jailbreak Mechanism in Large Language Models выявило системную уязвимость современных LLM: переписывание вредного запроса в поэтической форме резко снижает эффективность механизмов отказа.
Речь не идёт о сложных jailbreak-техниках. Атака выполняется в один запрос, без предварительного диалога и без изменения системных инструкций. Меняется только форма текста, проза заменяется стихом.
🧪 Механика исследования
Авторы протестировали 25 актуальных моделей (Google Gemini, OpenAI GPT-5, Anthropic Claude, DeepSeek, Qwen, Mistral и др.).
Эксперимент состоял из двух частей:
1️⃣ 20 вручную написанных стихотворных промптов, каждый из которых содержал вредоносное намерение (CBRN, кибератаки, манипуляции, loss-of-control), замаскированное метафорами и ритмом.
2️⃣ Масштабирование через MLCommons AILuminate: 1200 стандартных вредных запросов были автоматически переписаны в стихотворную форму с сохранением исходного смысла.
Оценка ответов проводилась через ансамбль LLM-судей с последующей человеческой валидацией. Unsafe считались ответы, содержащие операционные детали или фактическое содействие вредным действиям.
📉 Что получилось?
🎯 62% Attack Success Rate для вручную написанных стихов
📈 Рост ASR с ~8% до ~43% при переходе от прозы к поэзии на MLCommons
🚨 У отдельных моделей до 90–100% unsafe-ответов
Эффект наблюдается во всех классах рисков: от кибератак и приватности до CBRN и сценариев утраты контроля. Это указывает на системный характер проблемы, а не на сбой отдельных фильтров.
🧠 Неожиданные наблюдения
Любопытный эффект масштаба: меньшие модели часто устойчивее флагманов. Например, компактные версии GPT-5 и Claude чаще отказывались, чем их старшие аналоги.
Предполагаемое объяснение, что крупные модели лучше извлекают скрытое намерение из метафор, но их защитные механизмы не успевают за этим пониманием.
🔍 Почему это вообще работает?
Авторы интерпретируют это как разрыв между семантическим пониманием и guardrails. Модели успешно декодируют намерение, выраженное через ритм и образность, но защитные механизмы, обученные на «прямолинейных» формулировках, не распознают угрозу.
Кто бы мог подумать, что пооэзия станет универсальным стилевым обходом alignment. 😁
🔗 Ссылка на источник статьи
Stay secure and read SecureTechTalks 📚
#LLM #AIAlignment #Jailbreak #PoetryAttack #AISafety #MLCommons #CyberSecurity #AdversarialAI #GenAI #SecureTechTalks
Недавнее исследование Adversarial Poetry as a Universal Single-Turn Jailbreak Mechanism in Large Language Models выявило системную уязвимость современных LLM: переписывание вредного запроса в поэтической форме резко снижает эффективность механизмов отказа.
Речь не идёт о сложных jailbreak-техниках. Атака выполняется в один запрос, без предварительного диалога и без изменения системных инструкций. Меняется только форма текста, проза заменяется стихом.
🧪 Механика исследования
Авторы протестировали 25 актуальных моделей (Google Gemini, OpenAI GPT-5, Anthropic Claude, DeepSeek, Qwen, Mistral и др.).
Эксперимент состоял из двух частей:
1️⃣ 20 вручную написанных стихотворных промптов, каждый из которых содержал вредоносное намерение (CBRN, кибератаки, манипуляции, loss-of-control), замаскированное метафорами и ритмом.
2️⃣ Масштабирование через MLCommons AILuminate: 1200 стандартных вредных запросов были автоматически переписаны в стихотворную форму с сохранением исходного смысла.
Оценка ответов проводилась через ансамбль LLM-судей с последующей человеческой валидацией. Unsafe считались ответы, содержащие операционные детали или фактическое содействие вредным действиям.
📉 Что получилось?
🎯 62% Attack Success Rate для вручную написанных стихов
📈 Рост ASR с ~8% до ~43% при переходе от прозы к поэзии на MLCommons
🚨 У отдельных моделей до 90–100% unsafe-ответов
Эффект наблюдается во всех классах рисков: от кибератак и приватности до CBRN и сценариев утраты контроля. Это указывает на системный характер проблемы, а не на сбой отдельных фильтров.
🧠 Неожиданные наблюдения
Любопытный эффект масштаба: меньшие модели часто устойчивее флагманов. Например, компактные версии GPT-5 и Claude чаще отказывались, чем их старшие аналоги.
Предполагаемое объяснение, что крупные модели лучше извлекают скрытое намерение из метафор, но их защитные механизмы не успевают за этим пониманием.
🔍 Почему это вообще работает?
Авторы интерпретируют это как разрыв между семантическим пониманием и guardrails. Модели успешно декодируют намерение, выраженное через ритм и образность, но защитные механизмы, обученные на «прямолинейных» формулировках, не распознают угрозу.
Кто бы мог подумать, что пооэзия станет универсальным стилевым обходом alignment. 😁
🔗 Ссылка на источник статьи
Stay secure and read SecureTechTalks 📚
#LLM #AIAlignment #Jailbreak #PoetryAttack #AISafety #MLCommons #CyberSecurity #AdversarialAI #GenAI #SecureTechTalks
👍2
🤖 AutoPentestX: пентест становится пайплайном
Попытка собрать полноценный offensive-конвейер, где ИИ не отвечает на вопросы, а принимает решения.
AutoPentestX - open-source фреймворк для автоматизированного пентеста с использованием LLM.
🧠 Что такое AutoPentestX
AutoPentestX представляет собой agent-based систему, которая:
➖ принимает цель (URL / IP / диапазон),
➖ самостоятельно выбирает инструменты,
➖ анализирует вывод,
➖ решает, что делать дальше,
и документирует результат.
Ключевая идея:
⚙️ Архитектура
Внутри довольно простая схема, которую можно разложить на основные части:
➖ LLM (OpenAI / совместимые модели), то бишь мозг принятия решений
➖ Классические инструменты:
-Nmap
-Nikto
-Gobuster
-SQLMap
-WhatWeb и др.
➖ Оркестрация:
модель анализирует stdout инструментов и решает:
что запускать дальше,
какие флаги менять,
когда остановиться.
По сути, это ReAct-подход, но применённый не к чату, а к атакующему пайплайну.
🔁 Процесс атаки
🔍 Recon
Определение сервисов, технологий, точек входа
🧪 Enumeration
Перебор директорий, API, параметров
💣 Exploitation (ограниченно)
SQLi, XSS, misconfigurations — без «0day магии»
📝 Reporting
Генерация отчёта с объяснением найденных проблем.
Инструмент не ломает всё подряд, а действует в рамках выбранного сценария.
🧊 Ограничения
❌ не заменяет профессионального пентестера
❌ не ищет сложные логические баги
❌ сильно зависит от качества промпта и модели
❌ может галлюцинировать выводы
🔗 GitHub проекта:
https://github.com/Gowtham-Darkseid/AutoPentestX
Stay secure and read SecureTechTalks 📚
#cybersecurity #pentest #offensivesecurity #llmsecurity #aigent #redteam #opensecurity #infosec #securetechtalks
Попытка собрать полноценный offensive-конвейер, где ИИ не отвечает на вопросы, а принимает решения.
AutoPentestX - open-source фреймворк для автоматизированного пентеста с использованием LLM.
🧠 Что такое AutoPentestX
AutoPentestX представляет собой agent-based систему, которая:
и документирует результат.
Ключевая идея:
LLM управляет пентестом, а не подсказывает человеку.
⚙️ Архитектура
Внутри довольно простая схема, которую можно разложить на основные части:
-Nmap
-Nikto
-Gobuster
-SQLMap
-WhatWeb и др.
модель анализирует stdout инструментов и решает:
что запускать дальше,
какие флаги менять,
когда остановиться.
По сути, это ReAct-подход, но применённый не к чату, а к атакующему пайплайну.
🔁 Процесс атаки
🔍 Recon
Определение сервисов, технологий, точек входа
🧪 Enumeration
Перебор директорий, API, параметров
💣 Exploitation (ограниченно)
SQLi, XSS, misconfigurations — без «0day магии»
📝 Reporting
Генерация отчёта с объяснением найденных проблем.
Инструмент не ломает всё подряд, а действует в рамках выбранного сценария.
🧊 Ограничения
❌ не заменяет профессионального пентестера
❌ не ищет сложные логические баги
❌ сильно зависит от качества промпта и модели
❌ может галлюцинировать выводы
🔗 GitHub проекта:
https://github.com/Gowtham-Darkseid/AutoPentestX
Stay secure and read SecureTechTalks 📚
#cybersecurity #pentest #offensivesecurity #llmsecurity #aigent #redteam #opensecurity #infosec #securetechtalks
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
🌍 GlobalThreatMap: кибератаки становятся видимыми
Зачастую глобальные атаки выглядят одинаково: IP-адрес, ASN, GeolP, временная метка в логах. Такие данные легко агрегируются, но плохо воспринимаются как система. Global Threat Map берёт разрозненные сетевые события и превращает их в пространственную модель активности, где видно не только факт атаки, но и её географический и временной контекст.
🧠 О продукте
GlobalThreatMap - это веб-приложение для визуализации киберугроз, которое собирает данные о сетевой активности и потенциальных атаках из различных источников, агрегирует их по географическому признаку и отображает в виде интерактивной карты мира.
Инструмент позволяет увидеть направление атак, их интенсивность и распределение по регионам, превращая абстрактные события из логов в наглядную картину происходящего в сети.
По сути, это попытка показать киберпространство как живую, динамичную систему, а не набор разрозненных алертов.
⚙️ Как это реализовано?
Логическую схему работы продукта можно представить в виде следующих частей:
➖ Источники данных
Публичные threat feeds, результаты сетевых сканирований и другие события безопасности (в зависимости от конфигурации).
➖ Обработка
Нормализация событий, геолокация IP-адресов и агрегация по времени и типу активности.
➖ Визуализация
Интерактивная карта мира с анимированными линиями атак и цветовой индикацией интенсивности.
🔁 Баловство или must have?
На первый взгляд, решение лишь красивая игрушка. Если разобраться - вполне прикладной инструмент:
➖ Осознание ландшафта угроз
Видно, откуда и куда летит трафик, где возникают всплески активности и какие регионы наиболее «шумные».
➖ Обучение и демонстрации
Отлично подходит для лекций, митапов и объяснения основ кибербезопасности не-технической аудитории.
➖ Sandbox для экспериментов
Можно подключать собственные источники данных и наблюдать, как меняется глобальная картина атак.
🧊 Ограничения
❌ это не инструмент для полноценного SOC,
❌ геолокация IP не равна реальному источнику атаки,
❌ красивая визуализация не гарантирует точности,
❌ сложные целевые атаки в таких картах почти не видны.
🔗 GitHub проекта:
https://github.com/unicodeveloper/globalthreatmap
Stay secure and read SecureTechTalks 📚
#cybersecurity #threatintel #visualization #infosec #opensecurity #soc #securetechtalks
Зачастую глобальные атаки выглядят одинаково: IP-адрес, ASN, GeolP, временная метка в логах. Такие данные легко агрегируются, но плохо воспринимаются как система. Global Threat Map берёт разрозненные сетевые события и превращает их в пространственную модель активности, где видно не только факт атаки, но и её географический и временной контекст.
🧠 О продукте
GlobalThreatMap - это веб-приложение для визуализации киберугроз, которое собирает данные о сетевой активности и потенциальных атаках из различных источников, агрегирует их по географическому признаку и отображает в виде интерактивной карты мира.
Инструмент позволяет увидеть направление атак, их интенсивность и распределение по регионам, превращая абстрактные события из логов в наглядную картину происходящего в сети.
По сути, это попытка показать киберпространство как живую, динамичную систему, а не набор разрозненных алертов.
⚙️ Как это реализовано?
Логическую схему работы продукта можно представить в виде следующих частей:
Публичные threat feeds, результаты сетевых сканирований и другие события безопасности (в зависимости от конфигурации).
Нормализация событий, геолокация IP-адресов и агрегация по времени и типу активности.
Интерактивная карта мира с анимированными линиями атак и цветовой индикацией интенсивности.
🔁 Баловство или must have?
На первый взгляд, решение лишь красивая игрушка. Если разобраться - вполне прикладной инструмент:
Видно, откуда и куда летит трафик, где возникают всплески активности и какие регионы наиболее «шумные».
Отлично подходит для лекций, митапов и объяснения основ кибербезопасности не-технической аудитории.
Можно подключать собственные источники данных и наблюдать, как меняется глобальная картина атак.
🧊 Ограничения
❌ это не инструмент для полноценного SOC,
❌ геолокация IP не равна реальному источнику атаки,
❌ красивая визуализация не гарантирует точности,
❌ сложные целевые атаки в таких картах почти не видны.
🔗 GitHub проекта:
https://github.com/unicodeveloper/globalthreatmap
Stay secure and read SecureTechTalks 📚
#cybersecurity #threatintel #visualization #infosec #opensecurity #soc #securetechtalks
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
🔥 GitHub запускает AI-агентов: код теперь пишет не помощник, а «коллега»
Если раньше Copilot был чем-то вроде умного автодополнения, то теперь GitHub делает шаг вперёд.
В репозиториях появляются AI-агенты, которые работают внутри проекта, а не на обочине IDE.
🤖 Изменения
AI-агент в GitHub:
➖ видит структуру репозитория,
➖ помнит историю коммитов,
➖ понимает контекст Issue и Pull Request,
➖ может последовательно выполнять задачу, а не отвечать одним сообщением.
По ощущениям, это уже не чат-бот, а junior разработчик, которому можно делегировать кусок работы и посмотреть, что он принесёт.
Задачу можно отдать агенту прямо из:
• GitHub Web
• GitHub Mobile
• Visual Studio Code
Агент начнёт работать в рамках репозитория, а не «в вакууме».
🧩Процесс на практике
Ты открываешь Issue и назначаешь AI-агента на задачу.
Агент: анализирует код, предлагает изменения, формирует PR и объясняет, что именно сделал и почему.
Все изменения проходят обычный review, как если бы их сделал живой человек. Просто теперь этот «человек» не устает и работает 24/7.
⚙️ Почему GitHub делает на этом акцент
GitHub явно уходит от идеи «одна модель - один ответ».
Теперь ставка на сессии, историю, варианты решений и повторяемость.
Можно сравнить несколько подходов и откатить неудачную попытку.
Немаловажно, что теперь можно посмотреть, как агент пришёл к решению.
🔒 Контроль остаётся у человека
Для команд есть возможность управления:
➖ какие агенты разрешены,
➖ какие модели используются,
➖ кто и где может запускать автоматизацию.
GitHub явно даёт понять, что
AI - это не замена разработчику, а инструмент внутри привычного workflow.
P.S. Интересно кто будет ревьюить AI-агента, работающего без перерыва?
Stay secure and read SecureTechTalks 📚
#GitHub #AIAgents #Copilot #РазработкаПО #DevSecOps #SecureTechTalks #AIвРазработке #Инженерия #Код
Если раньше Copilot был чем-то вроде умного автодополнения, то теперь GitHub делает шаг вперёд.
В репозиториях появляются AI-агенты, которые работают внутри проекта, а не на обочине IDE.
🤖 Изменения
AI-агент в GitHub:
По ощущениям, это уже не чат-бот, а junior разработчик, которому можно делегировать кусок работы и посмотреть, что он принесёт.
Задачу можно отдать агенту прямо из:
• GitHub Web
• GitHub Mobile
• Visual Studio Code
Агент начнёт работать в рамках репозитория, а не «в вакууме».
🧩Процесс на практике
Ты открываешь Issue и назначаешь AI-агента на задачу.
Агент: анализирует код, предлагает изменения, формирует PR и объясняет, что именно сделал и почему.
Все изменения проходят обычный review, как если бы их сделал живой человек. Просто теперь этот «человек» не устает и работает 24/7.
⚙️ Почему GitHub делает на этом акцент
GitHub явно уходит от идеи «одна модель - один ответ».
Теперь ставка на сессии, историю, варианты решений и повторяемость.
Можно сравнить несколько подходов и откатить неудачную попытку.
Немаловажно, что теперь можно посмотреть, как агент пришёл к решению.
🔒 Контроль остаётся у человека
Для команд есть возможность управления:
GitHub явно даёт понять, что
AI - это не замена разработчику, а инструмент внутри привычного workflow.
P.S. Интересно кто будет ревьюить AI-агента, работающего без перерыва?
Stay secure and read SecureTechTalks 📚
#GitHub #AIAgents #Copilot #РазработкаПО #DevSecOps #SecureTechTalks #AIвРазработке #Инженерия #Код
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
🦙 Allama: когда LLM становится объектом наблюдения, а не чёрным ящиком
Большинство разговоров про LLM в ИБ сегодня крутятся вокруг двух крайностей: либо «давайте встроим ИИ везде», либо «LLM опасно и непонятно».
При этом почти никто не задаётся базовым вопросом: а как вообще наблюдать за тем, что делает модель в проде?
Проект Allama редкий пример ответа именно на этот вопрос.
🧠 Что такое Allama
Allama - это open-source observability-инструмент для LLM-приложений. Он предназначен для сбора, анализа и визуализации того, как языковые модели реально работают: какие запросы получают, какие ответы возвращают, сколько токенов потребляют и где возникают проблемы.
Другими словами, Allama превращает LLM из «черного ящика» в сервис, который можно отслеживать так же, как API.
⚙️ Немного деталей
Allama встраивается в LLM-пайплайн и собирает телеметрию на каждом шаге взаимодействия с моделью.
Логически систему можно разложить на три части:
➖ Сбор данных
Перехват prompt’ов, ответов модели, метаданных запросов, времени отклика и токен-статистики.
➖ Анализ
Агрегация данных, выявление аномалий, повторяющихся паттернов, деградации качества и неожиданных ответов.
➖ Визуализация
Дашборды, метрики и временные ряды, которые позволяют понять, что происходит с моделью здесь и сейчас.
🔁 Можно ли разбирать кейсы ИБ?
Allama в первую очередь интересна ИБ-специалистам.
С помощью инструмента можно:
➖ просматривать реальные prompt’ы и ответы,
➖ выявлять prompt injection и странные цепочки запросов,
📉 отслеживать деградацию модели и галлюцинации,
🧪 анализировать, как LLM реагирует на нетипичные или вредоносные входные данные.
🧊 Ограничения
При этом нужно понимать, ограничения Allama:
❌ это не firewall для LLM,
❌ не система предотвращения атак,
❌ не инструмент red teaming’а.
Allama закрывает задачу observability, а не защиты.
Тем не менее, без наблюдаемости любая «защита LLM» остаётся декларацией.
🔗 GitHub проекта:
https://github.com/digitranslab/allama
Stay secure and read SecureTechTalks 📚
#cybersecurity #llmsecurity #observability #infosec #aigent #opensecurity #securetechtalks
Большинство разговоров про LLM в ИБ сегодня крутятся вокруг двух крайностей: либо «давайте встроим ИИ везде», либо «LLM опасно и непонятно».
При этом почти никто не задаётся базовым вопросом: а как вообще наблюдать за тем, что делает модель в проде?
Проект Allama редкий пример ответа именно на этот вопрос.
🧠 Что такое Allama
Allama - это open-source observability-инструмент для LLM-приложений. Он предназначен для сбора, анализа и визуализации того, как языковые модели реально работают: какие запросы получают, какие ответы возвращают, сколько токенов потребляют и где возникают проблемы.
Другими словами, Allama превращает LLM из «черного ящика» в сервис, который можно отслеживать так же, как API.
⚙️ Немного деталей
Allama встраивается в LLM-пайплайн и собирает телеметрию на каждом шаге взаимодействия с моделью.
Логически систему можно разложить на три части:
➖ Сбор данных
Перехват prompt’ов, ответов модели, метаданных запросов, времени отклика и токен-статистики.
➖ Анализ
Агрегация данных, выявление аномалий, повторяющихся паттернов, деградации качества и неожиданных ответов.
➖ Визуализация
Дашборды, метрики и временные ряды, которые позволяют понять, что происходит с моделью здесь и сейчас.
🔁 Можно ли разбирать кейсы ИБ?
Allama в первую очередь интересна ИБ-специалистам.
С помощью инструмента можно:
📉 отслеживать деградацию модели и галлюцинации,
🧪 анализировать, как LLM реагирует на нетипичные или вредоносные входные данные.
🧊 Ограничения
При этом нужно понимать, ограничения Allama:
❌ это не firewall для LLM,
❌ не система предотвращения атак,
❌ не инструмент red teaming’а.
Allama закрывает задачу observability, а не защиты.
Тем не менее, без наблюдаемости любая «защита LLM» остаётся декларацией.
🔗 GitHub проекта:
https://github.com/digitranslab/allama
Stay secure and read SecureTechTalks 📚
#cybersecurity #llmsecurity #observability #infosec #aigent #opensecurity #securetechtalks
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1