Llama Firewall или как проверить логику и безопасность вашего AI агента
#llama #ollama #llm #ai #аи #ллм #agent

AI-агенты перестали быть экспериментом — они уже читают ваши документы, пишут код
и выполняют команды в терминале. Но чем больше автономии мы им даем, тем актуальнее становится вопрос: а что если агент сделает не то, что нужно?

Llama Firewall — попытка решить эту дилемму через многослойную систему проверок. Ссылка на оригинальную статью

Поскольку использование моделек от Llama напрямую из HF- задача не всегда тривиальная, а именно их предлагается использовать в фреймворке, мы сделаем фокус на результатах, которые были получены во время создания фреймворка и посмотрим что он умеет.

По сути данная статья является небольшим анализом статьи по Llama Firewall.

🔗Читать далее

🌚 @poxek | 🌚 Блог | 📺 YT | 📺 RT | 📺 VK

Джейлбрейкаем чатботы: ChatGPT без фильтров

От меня: интересная статья про рабочие способы обхода цензуры у разных нейросетей и это всё ещё очень просто)

Сегодня мы копнём в одну из самых спорных и недооценённых тем в мире ИИ — джейлбрейки чатботов. То самое, что позволяет убрать встроенные тормоза и меньше читать “I'm sorry, I cannot help with that” и заставить чатбот говорить с вами как с взрослым человеком, а не как корпоративный душнила.
Мы разберёмся как и зачем вообще снимают ограничения с LLM, какие схемы до сих пор работают (спойлер: кое-что работает), и как модели пытаются защищаться. А так же обсудим, почему не каждый джейлбрейк это серая зона морали.

Что такое джейлбрейк нейросети
В нашем контексте jailbreak - это способ обмануть защитные ограничения (guardrails) модели или её обёртки, чтобы она выдавала нам ответы, которая по задумке разработчиков не должна.

По сути, это попытка вырваться из запрограммированных рамок поведения навязанных на уровне либо системного промпта, либо фильтрами платформы, либо архитектурными ограничениями (весов модели).

К слову, джейлбрейк бывает не только LLM, но и других генеративных ИИ (например, уговорить Midjourney нарисовать вам *морально сомнительный контент*).

🔗Читать далее

🌚 @poxek | 🌚 Блог | 📺 YT | 📺 RT | 📺 VK

#заметка

Запуск gitlab runner в dind (docker in docker) режиме

МНЕ НАПИСАЛИ, ЧТО Я ДЕЛАЮ ЭТО НЕ СЕКУРНО. Поэтому ждите новую версию

0️⃣ Инициализация gitlab runner

sudo docker run -d --name gitlab-runner --restart always -v /srv/gitlab-runner/config:/etc/gitlab-runner -v /var/run/docker.sock:/var/run/docker.sock gitlab/gitlab-runner:latest

Токен и url получаем в <repo> > Settings > CI/CD > Runners > Project Runners > New project runner


1️⃣Регистрация gitlab-runner (я не стандартным вариантом это делаю)
Копируем конфиг:

concurrent = 4
check_interval = 0
connection_max_age = "15m0s"
shutdown_timeout = 0

[session_server]
  session_timeout = 1800

[[runners]]
  name = "<runner_name>"
  url = "https://<domain>"
  id = 8
  limit = 3
  token = "glrt-<token>"
  token_obtained_at = 2025-04-13T20:58:53Z
  token_expires_at = 0001-01-01T00:00:00Z
  executor = "docker"
  [runners.cache]
    MaxUploadedArchiveSize = 0
    [runners.cache.s3]
    [runners.cache.gcs]
    [runners.cache.azure]
  [runners.docker]
    tls_verify = false
    image = "docker"
    privileged = true
    disable_entrypoint_overwrite = false
    oom_kill_disable = false
    disable_cache = false
    volumes = ["/cache", "/var/run/docker.sock:/var/run/docker.sock"]
    shm_size = 0
    network_mtu = 0

Вставляем конфиг в локальной файловой системе:

sudo nano /srv/gitlab-runner/config/config.toml

2️⃣Применение настроек

sudo docker restart gitlab-runner

3️⃣Чекаем логи

sudo docker logs gitlab-runner

Если видем строчки:

Configuration loaded
Initializing executor providers

Значит всё ок.

4️⃣ Пробуем деплоить

🌚 @poxek | 🌚 Блог | 📺 YT | 📺 RT | 📺 VK

Если что не агитирую, но если что вдруг, ссылка на чат в Мах ВОТ

Чатик сделан не для общения на данный момент, а для багхантинга. Велком тыкать)


20 человек уже зашло 🕺

🕐🕑🕒🕓🕔🕕🕖

Скоро уже OFFZONE. Успели купить билеты или подать на доклад? Нет??

🔥 Тогда успевайте подать заявку до конца CFP (call for papers) 10 июля.

А еще я пошушукался с организаторами и они сказали, что особенно ждут доклады на следующие зоны: AI, community, appsec. Так что ждем ваши классные доклады!

➡️Что получат спикеры Main Track?
0️⃣билет на конференцию
1️⃣приглашение на Speaker Party
2️⃣набор мерча (как всегда кайфовый)
3️⃣2 билета на конференцию для друзей,
4️⃣оплату перелета и проживания (при необходимости; максимум для двух спикеров на доклад)

➡️Какие плюшки для спикеров на остальных зонах?
0️⃣билет на конференцию
1️⃣приглашение на Speaker Party
2️⃣набор мерча (мерч как всегда кайфовый)
3️⃣1 билет на конференцию для друга

🎁 Также я в коллабе с BIZONE готовлю кое что для вас на ивент. Так что ждите дальнейшие анонсы)

🌚 @poxek | 🌚 Блог | 📺 YT | 📺 RT | 📺 VK

🔓 Розыгрыш 50 подписок на Xakep.ru!

😵 Хочешь получить доступ к эксклюзивным материалам и стать частью сообщества Xakep.ru? Участвуй в розыгрыше и получи шанс выиграть одну из 50 месячных подписок на этот крутой ресурс!

Условия участия:
➡️Быть подписанным на канал Похек (@poxek)
➡️Быть участником Обсуждаем Похек (@poxek_chat)
➡️Иметь хотя бы 1 осмысленное сообщение в Обсуждаем Похек

📆Дата окончания розыгрыша: 14 июля в 13:37 по МСК

Важно: Раздача промокодов на подписку будет происходить не всем победителям в день розыгрыша, чтобы избежать спам-блока. Дальнейшие инструкции по получению подписок будут опубликованы в отдельном посте после оглашения победителей.

🔥 В этот раз у всех большой шанс выиграть подписку на такой крутой ресурс! Буду рад репостам этого розыгрыша в разные каналы и чаты. Давайте распространим информацию и дадим возможность как можно большему количеству людей поучаствовать!

❤️ Made with love by @poxek

Мессенджер MAX вышел в публичную Bug Bounty с рекордными выплатами

VK запустила программу по поиску уязвимостей в мессенджере МAX с акцентом на защиту приватности пользователей. Максимальное вознаграждение багхантерам — 5 миллионов рублей.

Из вкусностей — проект имеет открытую документацию по API, хоть и не по всем endpoint'ам в целях безопасности)

Проект Bug Bounty для MAX доступен на всех платформах, где размещена программа VK Bug Bounty:

👨‍💻 Standoff Bug Bounty

🪲 BI.ZONE Bug Bounty

🪲 BugBounty.ru


А ещё у меня получилось получить комментарий от команды VK BB:

«В новой программе мы немного изменили нашу традиционную таблицу вознаграждений, сделав упор на защиту пользователей и их данных. И за это мы готовы платить большие деньги — до 5 миллионов рублей. По меркам российского Bug Bounty, это максимальные вознаграждения» — комментирует руководитель VK Bug Bounty Петр Уваров.

А ещё я сделал тематический чат в MAX, где вы можете что-то тестить. Там уже 69 участника 😱. Самый большой ИБ чат в MAX ))

🌚 @poxek | 🌚 Блог | 📺 YT | 📺 RT | 📺 VK

SimpleHelp RMM CVE-2024-57727

SimpleHelp — это популярная система удаленного мониторинга и управления (RMM), которую используют IT-провайдеры и системные администраторы для управления клиентскими сетями. Система позволяет удаленно подключаться к компьютерам, устанавливать обновления, мониторить состояние систем и решать проблемы без физического присутствия.

RMM-системы критически важны для современного IT-аутсорсинга — через них управляются тысячи endpoint'ов в корпоративных сетях. Именно поэтому компрометация RMM равносильна получению "мастер-ключа" ко всей IT-инфраструктуре клиента.

Трипл килл: CVE-2024-57726, CVE-2024-57727, CVE-2024-57728

В январе 2025 года были раскрыты сразу три критические уязвимости в SimpleHelp:
➡️CVE-2024-57726 — дополнительная уязвимость безопасности
➡️CVE-2024-57727 — path traversal уязвимость (основная)
➡️CVE-2024-57728 — еще одна критическая брешь

CVE-2024-57727 представляет собой path traversal уязвимость в SimpleHelp версий 5.5.7 и ранее. Path traversal позволяет атакующему "выйти" за пределы разрешенной директории, используя последовательности типа `../` для доступа к произвольным файлам системы.

❗️DragonForce
Главным эксплуататором этих уязвимостей стала группа DragonForce — не просто ransomware группировка, а целая "картельная модель" с франшизой для аффилиатов. Группа активно перестраивает ландшафт угроз после падения LockBit.

📌Связи DragonForce:
➡️Поглощение/взлом сайтов BlackLock, Mamona, RansomHub
➡️Подозрения в сотрудничестве с Scattered Spider
➡️Использование advanced техник социальной инженерии

💻Анатомия атаки на MSP
DragonForce провела sophisticated атаку на британского MSP-провайдера, используя следующую схему:

➡️Этап 1: Компрометация RMM
- Эксплуатация CVE-2024-57727 для получения доступа к SimpleHelp-серверу MSP
- Получение контроля над RMM-инфраструктурой

➡️Этап 2: Разведка и закрепление
- Пуш SimpleHelp-инсталлятора клиентам через легитимную RMM-инфраструктуру
- Сканирование инфраструктур клиентов: имена устройств, пользователей, сетевые соединения
- Использование Microsoft Quick Assist и бэкдора QDoor для бесшумного закрепления
- Пребывание в сети до 9 дней до активации шифровальщика

➡️Этап 3: Атака
- Развертывание шифровальщика и инструментов двойного вымогательства
- Использование визинга + email-бомбинга для дополнительного давления
- Массовые сбои и отключения IT в ритейле Великобритании

❗️Индикаторы компрометации (мини IoC)
CISA и исследователи выделяют следующие IoC:
➡️Исполняемые файлы с трехбуквенными именами (aaa.exe, bbb.exe, ccc.exe)
➡️Время создания файлов после января 2025 года
➡️Аномальный сетевой трафик от SimpleHelp сервера
➡️Присутствие Microsoft Quick Assist в неожиданных местах
➡️Следы QDoor бэкдора в системе

🔖Рекомендации по защите
0️⃣Обновление до версии 5.5.8+ — критически важно для всех инсталляций
1️⃣Изоляция SimpleHelp серверов от интернета до применения патча
2️⃣Аудит всех трех CVE (57726, 57727, 57728) в системе
3️⃣Проверка на QDoor и Quick Assist в неожиданных местах

❗️Для MSP и IT-провайдеров:
➡️Немедленный аудит всех клиентских подключений через SimpleHelp
➡️Проверка логов на подозрительную активность с января 2025
➡️Уведомление клиентов о необходимости threat hunting
➡️Временное отключение RMM-доступа до полной проверки

🕰Проверка компрометации:
➡️Поиск файлов с трехбуквенными именами, созданных после января 2025
➡️Анализ сетевого трафика на аномалии
➡️Проверка наличия Microsoft Quick Assist в системах, где он не должен быть
➡️Поиск следов QDoor бэкдора

Долгосрочные меры:
➡️Внедрение Zero Trust архитектуры для RMM-систем
➡️Сегментация сети между RMM и критическими системами
➡️Мониторинг всех RMM-подключений в реальном времени
➡️Создание incident response плана для RMM-компрометации

💬Выводы
CVE-2024-57727 и связанные уязвимости показывают, что в эпоху cloud-first и remote-first подходов, безопасность управляющих систем должна быть приоритетом номер один.

Vercel v0: От AI-помощника до инструмента киберпреступников

➡️ Что такое Vercel v0
Vercel v0 — это AI-инструмент от компании Vercel, который позволяет создавать веб-приложения и лендинги с помощью естественного языка. Пользователь вводит текстовый промпт, а v0 генерирует готовый код с использованием React, Tailwind CSS и других современных технологий. Инструмент предназначен для быстрого прототипирования и создания базовых веб-интерфейсов без глубоких знаний программирования.

➡️ Техническая эксплуатация в фишинговых атаках
Исследователи Okta обнаружили, что киберпреступники активно используют v0 для создания поддельных страниц входа. Злоумышленники генерируют копии логин-форм крупных сервисов простыми промптами типа "создай страницу входа Facebook" или "сделай форму авторизации Gmail".

➡️ Технические преимущества для атакующих:

➡️Скорость разработки: Создание фишингового сайта занимает минуты вместо часов
➡️Качество кода: AI генерирует современный, адаптивный код с правильной структурой
➡️Обход детекции: Сайты размещаются на доверенной инфраструктуре Vercel
➡️Низкий порог входа: Не требуются навыки веб-разработки

➡️ Методы размещения
Злоумышленники используют несколько тактик:
➡️Хостинг поддельных логотипов компаний на серверах Vercel для повышения доверия
➡️Создание поддоменов, имитирующих легитимные сервисы
➡️Интеграция с существующими фишинговыми инфраструктурами

➡️ Эволюция угрозы
Этот случай демонстрирует новый тренд — использование генеративного AI для автоматизации создания фишинговых ресурсов. В отличие от традиционных фишинг-китов, требующих технических навыков, AI-инструменты демократизируют создание качественных поддельных сайтов.

Vercel уже заблокировал доступ к обнаруженным фишинговым ресурсам, но проблема системная — любой AI-инструмент для веб-разработки может быть аналогично эксплуатирован.

🔗Источник

🌚 @poxek | 🌚 Блог | 📺 YT | 📺 RT | 📺 VK