Forwarded from PWN AI (Artyom Semenov)
Хочу поделится с вами своей простой наработкой по Агентам для осинта.
Агенты позволяют планировать задачи, позволяют взаимодействовать с внешними инструментами.
Я подумал а почему бы не сделать простого OSINT-аналитика. По сути такая система позволяет нам упростить процесс аналитики в миллион раз. К ней можно будет потом, со временем докрутить поддержку API типа shodan или что-то ещё, чтобы получать больше информации. Сейчас используется только стандартный функционал CrewAI, там подключен serper(в самом файле можно прописать ключик для АПИ), хотя лучше в .env - думаю понимаем почему :-).
В PoC есть полноценная агентная система, каждому прописано что он будет делать, делегирование и планирование также поддерживается. А ещё есть память (пока отключил, но можете включить).
В целом, это разрушает барьер между языком(а точнее тем, что мы прямо описываем задачу) и инструментом для сбора инфы. Я буквально описал что я хочу получить, провести сравнительный анализ и т.д
Что я пробовал докручивать ? Shodan, breachdirectory ... можно будет докрутить какой-либо API с утечками возможно. Shodan через раз отдавал результаты. Но в целом нормально работает. Я скажу, что нужно будет реализовывать врапперы для разных API или может быть осинт инструментов. langchain_tools или стандартные инструменты crewai не могут взаимодействовать с ними. Это не сложно. В целом я доволен.
Я описал языком что мне нужно найти, машина полезла в гугл(как вариант ещё можно использовать duckduckgo) и дала мне хороший результат и рассуждения. Улучшать есть куда. Сюда же можно в целом прикрутить recon инструменты для пентеста. Как пример.
Есть также итерации и результат проверяется на "правдивость" LLM-кой(ахах).
Кстати я пробовал ещё прописывать в отдельный блок для предобработки входных данных - условно "видим в запросе слово "обучался: <любое учебное заведение>" - и в таком случае корректировалась цель агента. Но если такое делать, то также под очень целевую мультиагентную систему.
Если интересно было бы развить, то может и можем попробовать в совместную разработку. Пишите в ISSUE.
Мозги бо ... Антипов уже заинтересовался 😁😁
Код для PoC - https://github.com/wearetyomsmnv/OsintAGI/
Про CrewAI на хабре - https://habr.com/ru/articles/871780/
Полезная документация - https://docs.crewai.com/
Агенты позволяют планировать задачи, позволяют взаимодействовать с внешними инструментами.
Я подумал а почему бы не сделать простого OSINT-аналитика. По сути такая система позволяет нам упростить процесс аналитики в миллион раз. К ней можно будет потом, со временем докрутить поддержку API типа shodan или что-то ещё, чтобы получать больше информации. Сейчас используется только стандартный функционал CrewAI, там подключен serper(в самом файле можно прописать ключик для АПИ), хотя лучше в .env - думаю понимаем почему :-).
В PoC есть полноценная агентная система, каждому прописано что он будет делать, делегирование и планирование также поддерживается. А ещё есть память (пока отключил, но можете включить).
В целом, это разрушает барьер между языком(а точнее тем, что мы прямо описываем задачу) и инструментом для сбора инфы. Я буквально описал что я хочу получить, провести сравнительный анализ и т.д
Что я пробовал докручивать ? Shodan, breachdirectory ... можно будет докрутить какой-либо API с утечками возможно. Shodan через раз отдавал результаты. Но в целом нормально работает. Я скажу, что нужно будет реализовывать врапперы для разных API или может быть осинт инструментов. langchain_tools или стандартные инструменты crewai не могут взаимодействовать с ними. Это не сложно. В целом я доволен.
Я описал языком что мне нужно найти, машина полезла в гугл(как вариант ещё можно использовать duckduckgo) и дала мне хороший результат и рассуждения. Улучшать есть куда. Сюда же можно в целом прикрутить recon инструменты для пентеста. Как пример.
Есть также итерации и результат проверяется на "правдивость" LLM-кой(ахах).
Кстати я пробовал ещё прописывать в отдельный блок для предобработки входных данных - условно "видим в запросе слово "обучался: <любое учебное заведение>" - и в таком случае корректировалась цель агента. Но если такое делать, то также под очень целевую мультиагентную систему.
Если интересно было бы развить, то может и можем попробовать в совместную разработку. Пишите в ISSUE.
Код для PoC - https://github.com/wearetyomsmnv/OsintAGI/
Про CrewAI на хабре - https://habr.com/ru/articles/871780/
Полезная документация - https://docs.crewai.com/
Forwarded from Интернет-Розыск
💻 Общедоступные инструменты для распознавания лиц:
➖FaceCheck.ID
➖PimEyes
➖Lenso.AI
➖Search4Faces
➖ProFaceFinder
➖Google Lens
➖Яндекс Картинки
🍪 Поддержать канал
☎️ НАШИ КОНТАКТЫ
#️⃣ #OSINT #PHOTO #FACERECOGNITION
➖FaceCheck.ID
➖PimEyes
➖Lenso.AI
➖Search4Faces
➖ProFaceFinder
➖Google Lens
➖Яндекс Картинки
🍪 Поддержать канал
☎️ НАШИ КОНТАКТЫ
#️⃣ #OSINT #PHOTO #FACERECOGNITION
👍4🗿2🐳1
Forwarded from Russian OSINT
🌎 Выкладываю подборку популярных GEOINT-инструментов (часть 1)
▫️ GeoSeer — поисковая система для пространственных данных (spatial data). Она предоставляет доступ к более чем 3,5 миллионам уникальных наборов данных GIS.
▫️ QGIS — приложение с открытым исходным кодом, предоставляющее инструменты для создания, анализа и публикации пространственных данных.
▫️ TerriaJS — мощная библиотека на TypeScript/JavaScript для создания веб-приложений, позволяющих визуализировать и исследовать геопространственные данные.
▫️ ArcGIS Living Atlas — крупнейшая коллекция географической информации, включающая карты, приложения и слои данных со всего мира.
▫️ ArcGIS Wayback — цифровой архив, предоставляющий доступ к историческим версиям карты World Imagery, начиная с 20 февраля 2014 года.
▫️ Soar — платформа для хранения, просмотра и обмена картами, созданная для упрощения работы с геопространственными данными.
▫️ Spectator Earth — анализ спутниковых снимков.
▫️ Google Earth — 3D-карта мира с возможностью изучения спутниковых изображений, ландшафтов и городов.
▫️ Instant Street View — просмотр улиц в 3D.
▫️ MapChecking — позволяет посчитать, сколько людей находятся на определённой площади.
▫️ CalcMaps — инструменты для расчётов на карте (расстояния, площади и т.д.).
▫️ LatLong Converter — инструмент для получения координат широты и долготы по адресу, а также обратного геокодирования.
▫️ Stellarium — бесплатное ПО с открытым исходным кодом. Виртуальный планетарий.
▫️ SunCalc — визуализация движения солнца и его фаз для конкретного дня и места.
▫️ ShadeMap — визуализирует тени от гор, зданий, деревьев и других объектов в определённой местности.
▫️ ShadowMap — инструмент для визуализации теней в реальном времени, использующий OpenStreetMap.
▫️ GeoCreepy — инструмент OSINT, предназначенный для сбора геолокационных данных через социальные сети.
▫️ GeoDeep — быстрая и легковесная Python-библиотека для обнаружения объектов с использованием ИИ на геопространственных растровых данных (GeoTIFF).
▫️ Sound Delay Calculator — Python-инструмент для оценки расстояния до взрыва на основе временной задержки между вспышкой и звуком (грохотом), наблюдаемыми на видео.
▫️ GeoNames — открытая географическая БД, предоставляющая доступ к более чем 25 млн географических названий и более 12 миллионам уникальных объектов
▫️ GPX Editor — онлайн-инструмент для создания, редактирования и управления GPX-файлами.
▫️ PeakVisor — 3D-карты, информация о горах, маршрутах, высотах, дополненная реальность для распознавания гор.
▫️ IPVM Calculator — расчёт углов обзора камер, разрешения и других параметров видеонаблюдения.
▫️ FlagID — определение флага страны.
⚡️ 💫 Больше полезной информации для исследователей в Лаборатории Russian OSINT
✋ @Russian_OSINT
▫️ GeoSeer — поисковая система для пространственных данных (spatial data). Она предоставляет доступ к более чем 3,5 миллионам уникальных наборов данных GIS.
▫️ QGIS — приложение с открытым исходным кодом, предоставляющее инструменты для создания, анализа и публикации пространственных данных.
▫️ TerriaJS — мощная библиотека на TypeScript/JavaScript для создания веб-приложений, позволяющих визуализировать и исследовать геопространственные данные.
▫️ ArcGIS Living Atlas — крупнейшая коллекция географической информации, включающая карты, приложения и слои данных со всего мира.
▫️ ArcGIS Wayback — цифровой архив, предоставляющий доступ к историческим версиям карты World Imagery, начиная с 20 февраля 2014 года.
▫️ Soar — платформа для хранения, просмотра и обмена картами, созданная для упрощения работы с геопространственными данными.
▫️ Spectator Earth — анализ спутниковых снимков.
▫️ Google Earth — 3D-карта мира с возможностью изучения спутниковых изображений, ландшафтов и городов.
▫️ Instant Street View — просмотр улиц в 3D.
▫️ MapChecking — позволяет посчитать, сколько людей находятся на определённой площади.
▫️ CalcMaps — инструменты для расчётов на карте (расстояния, площади и т.д.).
▫️ LatLong Converter — инструмент для получения координат широты и долготы по адресу, а также обратного геокодирования.
▫️ Stellarium — бесплатное ПО с открытым исходным кодом. Виртуальный планетарий.
▫️ SunCalc — визуализация движения солнца и его фаз для конкретного дня и места.
▫️ ShadeMap — визуализирует тени от гор, зданий, деревьев и других объектов в определённой местности.
▫️ ShadowMap — инструмент для визуализации теней в реальном времени, использующий OpenStreetMap.
▫️ GeoCreepy — инструмент OSINT, предназначенный для сбора геолокационных данных через социальные сети.
▫️ GeoDeep — быстрая и легковесная Python-библиотека для обнаружения объектов с использованием ИИ на геопространственных растровых данных (GeoTIFF).
▫️ Sound Delay Calculator — Python-инструмент для оценки расстояния до взрыва на основе временной задержки между вспышкой и звуком (грохотом), наблюдаемыми на видео.
▫️ GeoNames — открытая географическая БД, предоставляющая доступ к более чем 25 млн географических названий и более 12 миллионам уникальных объектов
▫️ GPX Editor — онлайн-инструмент для создания, редактирования и управления GPX-файлами.
▫️ PeakVisor — 3D-карты, информация о горах, маршрутах, высотах, дополненная реальность для распознавания гор.
▫️ IPVM Calculator — расчёт углов обзора камер, разрешения и других параметров видеонаблюдения.
▫️ FlagID — определение флага страны.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3🆒1
Forwarded from S.E.Book
• Разработчик и студент Дрезденского технического университета под ником ZitaoTech представил открытый проект Hackberry-Pi_Zero, включая 3D-модель корпуса и электрическую схему под лицензией MIT.
• Это карманный терминал #Linux на базе микрокомпьютера Raspberry Pi Zero 2W (чип Broadcom BCM2710A1 с четырьмя ядрами Cortex-A53 с рабочей частотой 1 ГГц, объём памяти 512 МБ ОЗУ LPDDR2 SDRAM) с 4" TFT-дисплеем разрешением 720х720 пикселей, оригинальной клавиатурой BlackBerry (Фото 1, модель Q10 или Q20) и питающийся от двух стандартных АКБ (фото 2) типа Nokia BL-5C.
• Следует отметить, что двойную сменную батарею можно поочерёдно заменить за 10 секунд, не отключая питание. Время работы батареи в режиме тестирования: 3,5 часа при использовании в качестве настольного компьютера, 5 часов в режиме работы в командной строке.
• Hackberry-Pi_Zero имеет 3 порта USB2.0, его можно использовать с USB-накопителем или модулем 4G Dongle или любым USB-устройством. Устройство имеет встроенный порт Stemma I2C, куда можно подключать любые датчики I2C. Гаджет имеет внешний слот для карты памяти типа TF.
• На Hackberry-Pi_Zero можно установить Kali Linux, Raspberrypi OS или Retropi и многие другие ОС на базе Linux. В готовом виде Hackberry-Pi_Zero можно приобрести (только без Nokia BL-5C) за $126 с клавиатурой BBQ10 или за $127 с клавиатурой BBQ20.
- Видеообзор устройства доступен на YT;
- Более подробное описание и вся необходимая информация есть на GitHub.
#Raspberry #Kali
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
Forwarded from Библиотека программиста | программирование, кодинг, разработка
Если вы думали, что ChatGPT непобедим, знакомьтесь — DeepSeek. Китайская разработка, которая уже захватила топ бесплатных приложений в американском App Store, оставив ChatGPT на второй строчке.
▪️ Бесплатный чат-бот с возможностью подключаться к интернету.
▪️ Поддержка русского языка (да-да, без VPN и танцев с бубном).
▪️ По заявлению DeepSeek, их модели R1 и V3 решают задачи по математике, программированию и логике не хуже, чем OpenAI o1.
Чтобы затормозить прогресс на китайском рынке, США ввели ограничения на поставки в Китай чипов и оборудования для их выпуска.
• Nvidia — минус 11%.
• AMD, ASML, Micron и японские компании, связанные с производством чипов, потеряли от 4% до 12% стоимости акций.
• Даже Softbank, владеющий Arm, просел на 8%.
Китайцы не останавливаются, следим за дальнейшими событиями
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8
Forwarded from Эксплойт
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Запускаем DeepSeek у СЕБЯ НА КОМПЕ — мы нашли самый простой РАБОЧИЙ способ юзать хайповую нейросеть без доступа к интернету и слежки.
Мощный комп не нужен — модель ИДЕАЛЬНО оптимизирована. Повторяйте с нами:
— Устанавливаем клиент LMStudio на комп;
— Открываем Discover и выбираем DeepSeek R1 Distill Llama 8b;
— Жмём Download и идём пить кофе;
— После загрузки модели переходим в Chat и наслаждаемся.
Это не совсем та же модель, что в браузере, но она не тупит (!), шустрая (!!) и умеет работать с файлами (!!).
Не благодарите.
@exploitex
Мощный комп не нужен — модель ИДЕАЛЬНО оптимизирована. Повторяйте с нами:
— Устанавливаем клиент LMStudio на комп;
— Открываем Discover и выбираем DeepSeek R1 Distill Llama 8b;
— Жмём Download и идём пить кофе;
— После загрузки модели переходим в Chat и наслаждаемся.
Это не совсем та же модель, что в браузере, но она не тупит (!), шустрая (!!) и умеет работать с файлами (!!).
Не благодарите.
@exploitex
15👍5🔥4
Forwarded from noscriptRun AI медиа
ChatGPT тоже потерял работу из-за AI
Китайский DeepSeek обогнал ChatGPT в топе AppStore и обвалил акции NVidia более чем на 15%, сместив её с первого места по капитализации
На обучение модели DeepSeek V3, по словам разработчиков, ушло менее 6 млн $, что делает её сильно дешевле в использовании прямого конкурента GPT-4o1, а модель DeepSeek R1 даже обходит его в ряде тестов
Правительство США ввело строгий запрет на экспорт чипов NVidia H100 для обучения моделей в Китай. Это и вызвало такую реакцию рынка, ведь выходит, что ассистента уровня ChatGPT можно сделать и безнезаменимых видеокарт NVidia и миллиардных инвестиций, хотя некоторые источники и утверждают, что все таки карты были доставлены в Китай серым импортом
Главная особенность DeepSeek - это Open Source модель(какой изначально должна была стать OpenAI) , которую можно развернуть самостоятельно...
Будем тестировать, кстати уже доступно на SriptRun
Китайский DeepSeek обогнал ChatGPT в топе AppStore и обвалил акции NVidia более чем на 15%, сместив её с первого места по капитализации
На обучение модели DeepSeek V3, по словам разработчиков, ушло менее 6 млн $, что делает её сильно дешевле в использовании прямого конкурента GPT-4o1, а модель DeepSeek R1 даже обходит его в ряде тестов
Правительство США ввело строгий запрет на экспорт чипов NVidia H100 для обучения моделей в Китай. Это и вызвало такую реакцию рынка, ведь выходит, что ассистента уровня ChatGPT можно сделать и без
Главная особенность DeepSeek - это Open Source модель
Будем тестировать, кстати уже доступно на SriptRun
Forwarded from Библиотека разведчика | Osint | Книги | Курсы
Рис_Д_,_Хоусли_М_Основы_инженерии_данных_2024.pdf
59.4 MB
Основы инженерии данных. 2024
Джо Рис, Мэтт Хоусли
Базовая книга по инженерии данных. Рассмотрены все аспекты проектирования и эксплуатации различных архитектур данных, а также полный жизненный цикл работы с данными: подготовка, поглощение, преобразование, очистка, сочетание, оркестрация, конвейеризация. Особое внимание уделено облачным технологиям, распределению нагрузки и безопасному хранению данных. Разобраны приемы формирования запросов, работы с базами данных и отслеживания потоков данных.
Книга дает исчерпывающее представление о проектировании систем для обработки разнородных данных, поддержании этих систем в упорядоченном и доступном виде и о тенденциях развития современной индустрии данных.
Джо Рис, Мэтт Хоусли
Базовая книга по инженерии данных. Рассмотрены все аспекты проектирования и эксплуатации различных архитектур данных, а также полный жизненный цикл работы с данными: подготовка, поглощение, преобразование, очистка, сочетание, оркестрация, конвейеризация. Особое внимание уделено облачным технологиям, распределению нагрузки и безопасному хранению данных. Разобраны приемы формирования запросов, работы с базами данных и отслеживания потоков данных.
Книга дает исчерпывающее представление о проектировании систем для обработки разнородных данных, поддержании этих систем в упорядоченном и доступном виде и о тенденциях развития современной индустрии данных.
👍1
Forwarded from Библиотека разведчика | Osint | Книги | Курсы
Media is too big
VIEW IN TELEGRAM
Общедоступная и неочевидная практика OSINT, методы и кейсы.
Максима Авдюнина
00:38 - Что такое OSINT
01:20 - Место OSINT в ИБ
03:05 - Сфера применения OSINT
07:08 - Модельный кейс
22:11 - Практический кейс №1: на чистую воду
31:18 - Практический кейс №2: как всё устроено
34:16 - Практический кейс №3: плохая пресса
38:14 - Практический кейс №4: шекспировские страсти
41:25 - Практический кейс №5: некачественная доставка
45:07 - Практический кейс №6: неконкурентные торги
47:44 - Методы: сбор информации по открытым источникам
54:01 - Информация с веб-ресурсов
1:02:16 - Сведения о физических лицах
1:05:06 - Социальные графы
1:06:40 - Сведения о юридических лицах
Библиотека разведчика
Максима Авдюнина
00:38 - Что такое OSINT
01:20 - Место OSINT в ИБ
03:05 - Сфера применения OSINT
07:08 - Модельный кейс
22:11 - Практический кейс №1: на чистую воду
31:18 - Практический кейс №2: как всё устроено
34:16 - Практический кейс №3: плохая пресса
38:14 - Практический кейс №4: шекспировские страсти
41:25 - Практический кейс №5: некачественная доставка
45:07 - Практический кейс №6: неконкурентные торги
47:44 - Методы: сбор информации по открытым источникам
54:01 - Информация с веб-ресурсов
1:02:16 - Сведения о физических лицах
1:05:06 - Социальные графы
1:06:40 - Сведения о юридических лицах
Библиотека разведчика
🔥1
Forwarded from Russian OSINT
▫️ VirusTotal — анализ подозрительных файлов и ссылок более чем 60 антивирусными движками.
▫️ Национальный Мультисканер — российская платформа для анализа вредоносных файлов (до 10 ГБ).
▫️ Kaspersky VirusDesk — анализ файлов и ссылок в Лаборатории Касперского.
▫️ Dr.Web Online Scanner — проверка файлов антивирусом Dr.Web.
▫️ Intezer Analyze — анализ файлов на вредоносное ПО размером до 16 МБ.
▫️ ANY.RUN — песочница для анализа вредоносного ПО в реальном времени.
▫️ Metadefender — сервис для сканирования файлов и URL на подозрительную активность.
▫️ Hybrid Analysis — песочница от Crowdstrike для анализа файлов.
▫️ Malcat — инструмент для анализа бинарных файлов, работающий в средах Windows и Linux.
▫️ Cuckoo Sandbox — песочница для анализа файлов.
▫️ Payload Wizard — анализ payload с использованием GPT.
▫️ VirusTotal URL Scanner — проверка ссылок с помощью антивирусных движков.
▫️ Intezer Analyze URL — анализ ссылок на потенциальные угрозы.
▫️ Kaspersky Web Address Analysis — проверка веб-ресурсов от Лаборатории Касперского.
▫️ Dr.Web Online URL Scanner — проверка безопасности веб-ресурсов от Доктора Веба.
▫️ ANY.RUN URL Scanner — песочница для анализа вредоносных ссылок.
▫️ Sucuri SiteCheck — анализ сайта на вредоносные скрипты и уязвимости.
▫️ FileScan.io — анализ ссылок и файлов на вирусы.
▫️ URLQuery — сервис для анализа URL-адресов и доменов, предназначенный для выявления потенциальных угроз.
▫️ urlscan.io — анализ веб-страниц на угрозы и подозрительное поведение.
▫️ PhishTank — проверка ссылок на фишинг.
▫️ Browserling — онлайн-инструмент для тестирования веб-сайтов в различных браузерах.
▫️ ANY.RUN — безопасный просмотр подозрительных веб-ресурсов в виртуальной среде.
▫️ Instant Workstation — платформа для тестов с помощью виртуальных машин прямо в браузере.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2🔥2
Forwarded from Библиотека программиста
Большие данные. Современные фреймворки и разработка приложений
Год: 2025
#books
В книге рассматриваются модели, системы и фреймворки, специально разработанные для обработки и анализа больших наборов данных. Вы познакомитесь с основными парадигмами и механизмами, применяемыми в анализе больших данных, включая MapReduce, рабочие потоки, массовый синхронный параллелизм, передачу сообщений и SQL-подобные модели. В главах книги описаны примеры использования фреймворков Hadoop, Spark, Storm и MPI и рассмотрены вопросы выбора среды, наиболее подходящей для достижения целевых задач приложения.
Книга предназначена разработчикам приложений для работы с большими данными, исследователям и профессионалам бизнеса, основанного на данных.
Год: 2025
#books