Хочу поделится с вами своей простой наработкой по Агентам для осинта.

Агенты позволяют планировать задачи, позволяют взаимодействовать с внешними инструментами.

Я подумал а почему бы не сделать простого OSINT-аналитика. По сути такая система позволяет нам упростить процесс аналитики в миллион раз. К ней можно будет потом, со временем докрутить поддержку API типа shodan или что-то ещё, чтобы получать больше информации. Сейчас используется только стандартный функционал CrewAI, там подключен serper(в самом файле можно прописать ключик для АПИ), хотя лучше в .env - думаю понимаем почему :-).

В PoC есть полноценная агентная система, каждому прописано что он будет делать, делегирование и планирование также поддерживается. А ещё есть память (пока отключил, но можете включить).


В целом, это разрушает барьер между языком(а точнее тем, что мы прямо описываем задачу) и инструментом для сбора инфы. Я буквально описал что я хочу получить, провести сравнительный анализ и т.д

Что я пробовал докручивать ? Shodan, breachdirectory ... можно будет докрутить какой-либо API с утечками возможно. Shodan через раз отдавал результаты. Но в целом нормально работает. Я скажу, что нужно будет реализовывать врапперы для разных API или может быть осинт инструментов. langchain_tools или стандартные инструменты crewai не могут взаимодействовать с ними. Это не сложно. В целом я доволен.

Я описал языком что мне нужно найти, машина полезла в гугл(как вариант ещё можно использовать duckduckgo) и дала мне хороший результат и рассуждения. Улучшать есть куда. Сюда же можно в целом прикрутить recon инструменты для пентеста. Как пример.

Есть также итерации и результат проверяется на "правдивость" LLM-кой(ахах).

Кстати я пробовал ещё прописывать в отдельный блок для предобработки входных данных - условно "видим в запросе слово "обучался: <любое учебное заведение>" - и в таком случае корректировалась цель агента. Но если такое делать, то также под очень целевую мультиагентную систему.

Если интересно было бы развить, то может и можем попробовать в совместную разработку. Пишите в ISSUE.

Мозги бо ... Антипов уже заинтересовался 😁😁

Код для PoC - https://github.com/wearetyomsmnv/OsintAGI/

Про CrewAI на хабре - https://habr.com/ru/articles/871780/

Полезная документация - https://docs.crewai.com/

Tencent сделал сканер для MLOps -

https://github.com/Tencent/AI-Infra-Guard.

Пока не пользовался, но количество правил для разных решений - поражает...

Кстати тоже поддерживают возможность добавлять свои правила, вот пример синтаксиса:

info:
  name: gradio
  author: Security Team
  severity: info
  metadata:
    product: gradio
    vendor: gradio
http:
  - method: GET
    path: '/'
    matchers:
      - body="<noscript>window.gradio_config = {" || body="document.getElementsByTagName(\"gradio-app\");"