NL2SQL — этот проект представляет собой интерфейс на Python для преобразования вопросов на естественном языке в SQL-запросы с использованием языковых моделей OpenAI. Он включает в себя автоматическое определение схемы, проверку запросов и обработку ошибок.

Характеристики:
— Преобразование естественного языка в SQL
— Автоматическое определение схемы базы данных
— Обработка имён таблиц с учётом регистра
— Проверка запроса перед выполнением

🐱 GitHub

Занимаемся безопасностью: автономный ИИ-хакер, который найдет дыры в вашем коде раньше злоумышленников 😏

Результаты впечатляют: 96.15% успеха на бенчмарке XBOW (без подсказок) и более 20 критических уязвимостей, найденных в OWASP Juice Shop.

Что умеет:
— Работает по принципу whitebox: анализирует исходный код, чтобы найти векторы атаки;
— Не просто алертит, а эксплуатирует уязвимости: проводит инъекции, обходит авторизацию и ломает логику;
— Генерирует отчеты с готовыми PoC (Proof-of-Concept), чтобы вы могли повторить взлом и закрыть дыру;
— Умеет в 2FA/TOTP и даже вход через Google;
— Использует под капотом Nmap, Subfinder и другие тулзы для разведки.

Красная кнопка для вашей безопасности 👍

🔵 Тренажеры AI Red Teaming
1. crucible.dreadnode.io
2. https://huggingface.co/spaces/invariantlabs/ctf-summer-24/tree/main
3. https://promptairlines.com/
4. burp labs: https://portswigger.net/web-security/llm-attacks
5. в обычных ctf тоже появляются куски с ml/llm, например, в http://poll-vault.chal.hackthe.vote/
6. https://myllmdoc.com/
7. https://gandalf.lakera.ai/
8. AI CTF с PHDFest2 2024: https://aictf.phdays.fun/
9. https://aiinsec.ru/

ℹ️ ФСТЭК России представила новый раздел специфических угроз безопасности ИИ, фокусируясь на инфраструктуре разработчика и оператора.
​
💬 Документ четко классифицирует угрозы на две группы — разработка/обучение и эксплуатация — с акцентом на объекты вроде наборов данных, моделей (включая LoRA, RAG) и ПО. Он подчеркивает ключевые риски: утечки, кражу моделей, нарушения функционирования и отказ в обслуживании, ссылаясь на Методику оценки угроз безопасности 2021 года, что облегчает интеграцию с БДУ ФСТЭК России. Учет факторов вроде уровня значимости данных и разделения ответственности делает материал релевантным для российских организаций.
​
🤒 Раздел ограничивается инфраструктурой разработчика (разработка/обучение) и оператора (эксплуатация), игнорируя этап, связанный с данными, как отдельный этап с рисками вроде отравления наборов обучающих данных. При этом, сведения об угрозах, связанных с моделями машинного обучения, которые ранее были в БДУ - утратили свою актуальность, в связи с опубликованием нового подраздела.
​
📈 Для эффективного управления угрозами видится, что этот процесс для ИИ следует производить по этапам (подготовка данных, разработка, обучение/тестирование, функционирование), как в лучших практиках (OWASP, Google SAIF и.т.д).
​
🗒 Таким образом, в РФ всё ещё необходим полноценный фреймворк для эффективного управления угрозами безопасности ИИ, формированию мер защиты и подходов к управлению безопасностью систем ИИ (включая безопасность при аутсорсинге ИИ).
Однако, формирование нового раздела ФСТЭК России это только первый шаг. Надеемся...