ТОП пошукових систем для пентестера

SHODAN

Shodan.io — це популярна онлайн-платформа для пошуку і аналізу будь-яких об’єктів, ресурсів та пристроїв у мережі інтернет. З її допомогою можна професійно досліджувати комп’ютерні мережі та інформаційні системи, аналізувати структуру інтернету, тенденції і статистику кібербезпеки у світі. Платформа була розроблена програмістом Джоном Матерлі у 2009 році. Назва “Shodan” почерпнута від однойменного персонажа із серії відеоігор жанру кіберпанк “System Shock”.

За увесь час пошукова система не раз вдосконалювалася, маючи у своєму арсеналі:

• Shodan API
• Shodan CLI (Сommand Line Interface)
• Shodan Browser Extension

Користування SHODAN безкоштовне, але воно обмежене по ресурсам, а деякі додаткові можливості є платними. Мінімальний тариф “Membership”  – коштує 49$, дає пожиттєве членство на платформі SHODAN, збільшений ліміт пошуків і додаткові опції, такі як Raw Data, Monitoring, History, Maps, API, Downloads та інші плюшки.

Пошуковий бот Shodan регулярно сканує інтернет на наявність загальнодоступних серверів, роутерів, маршрутизаторів, веб-камер, мережевих інтерфейсів, IoT-пристроїв, SCADA-систем та інших об’єктів ІТ-інфраструктури, підключених до інтернету. Краулер збирає метадані і технічні відомості про них, здійснює “захоплення банера” (техніка виявлення мережевих інтерфейсів, коли встановлюється активне з’єднання з ними і отримується на його базі інформація про тип і програмне забезпечення). Таким чином, Shodan — це потужний інструмент, може виявляти різні тонкощі і деталі ІТ-систем, визначати операційні системи, програмні засоби та їх версії, знаходити відкриті мережеві порти та адміністративні частини у відкритому доступі, детектувати різні вразливості по базам CVE та надавати вказівки пентестерам про недоліки безпеки.

Для роботи з пошуковою системою слугує спеціальний пошуковий синтаксис, наведу приклади:

LiteSpeed city:Berlin — пошук веб-серверів типу LiteSpeed за вказаним містом.

LiteSpeed country:DE — пошук веб-серверів типу LiteSpeed за вказаною країною.

joomla hostname:.com — пошук веб-сайтів на CMS Joomla у заданій доменній зоні.

ssl:”*[.]com” http.title:”index of / “ — пошук вразливих сайтів в заданій зоні з лістингом директорій.

port:2083,8443 country:EC — пошук об’єктів в заданій країні, які містять зазначені відкриті порти.

Recursion: enabled country:”DE” — пошук вразливих DNS-серверів;

webcam has_screenshot:true country:”KR” — пошук веб-камер зі знайденим скріншотом по зазначеній країні.

webcamxp country:US— пошук доступних веб-камер за вказаною країною.

title:camera — пошук мережевих камер в інтернеті.

Server: IP Webcam Server “200 OK” — пошук IP-камер.

“Network Camera VB-M600” 200 ok server: vb — пошук мережевих камер конкретної моделі.

server: webcam — пошук серверів керування веб-камерами.

“App-webs” “200 OK” — пошук камер марки Hikvision.

ip:XXX.XXX.XX.X–XXX.XXX.XX.XXX camera — пошук камер за вказаним діапазоном IP-адрес.

net:XXX.XXX.XX.X/24 camera — пошук камер за вказаним CIDR.

os:windows port:3389 has_screenshot:yes — пошук Windows-серверів з відкритим RDP-доступом і показаним скріншотом.

anonymous@ login ok. port:”21" — пошук вразливих FTP-серверів з Anonymous-доступом.

“220” “230 Login successful.” port:21 — пошук потенційно доступних FTP-серверів.

“230 login successful” port:”21″ vsFTPd 2.3.4 country:RU— пошук вразливих FTP-серверів з застарілим програмним забезпеченням.

country:gb city:london product:MySQL — пошук серверів MySQL-баз даних за вказаними містом і країною.

http.html:”* The wp-config.php creation script uses this file” — пошук витоків файлу конфігурації WordPress.

/wp-admin/wp-install.php — пошук скриптів встановлення WordPress.

http.html:”* The wp-config.php creation script uses this file” — пошук сайтів WordPress з помилокою конфігурації (розкриття wp-config.php)

html:”Vesta” — пошук сайтів, розгорнутих на хостинг-панелі VestaCP.

http.title:”dashboard” — пошук серверів з робочими екранами — дашбордами.

http.title:”control panel” — пошук серверів з панелями керування.

http.title:”Index of /” — пошук електронних ресурсів з відкритим лістингом директорій.

http.title:”Index of /” http.html:”.pem” — пошук вразливих Apache-серверів з лістингом директорій.

mysql port:”3306" — пошук серверів з відкритим MySQL-портом.

"product:MongoDB" mongodb port:27017 — пошук серверів з базою даних MongoDB.

"MongoDB Server Information { "metrics":" "Set-Cookie: mongo-express=" "200 OK" — пошук вразливих MongoDB серверів.

“port:5432 PostgreSQL” — пошук PostgreSQL-серверів.

kibana content-legth:217 — пошук відкритих дашбордів Kibbana.

port:9200 json port:"9200" all:elastic — пошук Elastic-серверів.

“product:Memcached” — пошук серверів або електронних ресурсів з модулем Memcached.

remote desktop “port:3389” — пошук серверів з відкритим RDP-портом.

“Authentication: disabled” port:445 product:”Samba” — пошук SAMBA серверів без аутентифікації.

“QuickBooks files OverNetwork” -unix port:445 — пошук QuickBooks серверів.

port:23 console gateway — пошук серверів з відкритим доступом по протоколу Telnet.

“root@” port:23 -login -password -name -Session — пошук серверів з правами доступу root по протоколу Tenet.

“RFB 003.008” — пошук VNC-серверів без аутентифікації.

“authentication disabled” port:5900,5901 — VNC без аутентифікації.

html:”def_wirelesspassword” — пошук сторінок входу до маршрутизаторів.

http.title:”Nordex Control” — пошук вітряних турбін Nordex.

country:in os:”windows server 2003" — пошук серверів у зазначеній країні за вказаною операційною системою.

joomla 1.5 country:US — пошук сайтів на базі CMS Joomla у зазначеній країні.

“authentication disabled” port:5900,5901 — пошук вразливих VNC-серверів.

http.title:”Massachusetts Institute of Technology” — пошук серверів із текстовими заголовками.

http.html:’ua-1592615' — пошук по коду Google Analytics.

http.title:”Metabase” — пошук серверів на базі Metabase.

device: “voip phone” — пошук пристроїв VoIP телефонії.

ssl:”Cobham SATCOM” — пошук роутерів супутникової мережі.

uhp vsat terminal software -password — пошук пристроїв морського радіозв’язку.

“Server: CANON HTTP Server” — пошук серверів принтерів.

“Laser Printer FTP Server” — пошук вразливих принтерів з відкритим доступом.

Printer Type: Lexmark — пошук принтерів з доступною мережевою службою CUPS.

port:23 “Password is not set” — пошук принтерів з вікритим доступом.

“Location: /main/main.html” debut — пошук сторінок входу в адмін-панель принтерів.

hacked — пошук будь-яких зламаних пристроїв.

http.title:”0wn3d by” — пошук зламаних серверів з вказаним флагом.

“HACKED FTP server” — зламані FTP-сервери.

HACKED-ROUTER — зламані роутери.

“attention”+”encrypted”+port:3389 — пошук RDP-серверів, зламаних програмами-шифрувальниками.

▶️ Пошук в Shodan можна здійснювати за категоріями, тегами, скріншотам і favicon зображеннями. Більше прикладів на Github 1 і 2, а також в Твіттері.

Якщо перед вами стоїть завдання просто перевірити якийсь електронний ресурс, то можна скористатись швидким запитом по URL — shodan.io/host/hostname — де замість “hostname” підставити домен або IP-адресу, яку шукаєте.

З цікавинок варто відзначити:

1. Мікросервіс Internet Exposure Observatory, який показує статистику по країнам
2. 3D-мапа пристроїв 3D map of Industrial Control Systems (ICS), знайдених краулером Shodan ICS Radar
3. Сервіс визначення приманок Honeypots
4. Рандомний шукач у стилі кіберпанк Shodan 2000
5. Вбудований шукач експлойтів

Кілька слів про Shodan CLI. Це потужний модуль, який дозволяє використовувати усі функції пошукової системи Shodan засобами командого рядка. Знаходить чимало цікавого, що можна непомітити у веб-інтерфейсі.

Щоб почати з працювати з Shodan CLI, необхідно спочатку отримати персональний API-ключ в налаштуваннях акаунта і встановити Python-бібліотеку на локальній системі:

easy_install shodan
shodan init YOUR_API_KEY

У випадку помилок рекомендую ознайомитись з офіційною документацією.

Приклади команд Shodan CLI:

shodan count apache — покаже кількість результатів у пошуковій видачі Shodan

shodan stats wordpress — покаже статистику за вказаним запитом.

shodan host <ip_address> — покаже зведену інформацію по вказаному IP

shodan domain <domain.com> — покаже зведену інформацію по вказаному домену.

shodan search vsftpd 2.3.4 country:cn --fields ip_str > file.txt— пошук вразливих FTP-серверів по заданій країні з отриманням списку IP-адрес та збереження виводу команди у файлі.

shodan download --limit 100 proftpd anonymous@ login ok. port:”21" product:”ProFTPD” — завантаження результатів Shodan в файл по заданим критеріям пошуку.

shodan search webcamxp country:us — пошук активних комп’ютерних веб-камер (Windows Web Camera) по заданій країні.

search camera geo:XX.XX,XX.XX — пошук веб-камер або інших об’єктів за GPS-координатами.

👉 Офіційна документація по роботі з результатами Shodan CLI>>

Отже, SHODAN — надзвичайно корисний, зручний та захоплюючий інструмент, цілий метавсесвіт, яким можна подорожувати до безкінечности. Все залежить від ваших потреб та фантазії. У плані функціональності, це ідеальна пошукова система для пентестера, яка дає широкі можливості.

Censys

Censys.io — це безкоштовна пошуково-інформаційна платформа, розроблена у 2013–2015 роках в Мічиганському університеті Закіром Дурумеріком.

Подібно Shodan, з допомогою Censys можна зібрати чимало інформації про ресурс – версію програмного забезпечення, відкриті порти, дізнатись виробника та провайдера, активні мережеві сервіси, інтерфейси і таке інше. Інформація у базі постійно оновлюється.

Основні пошукові запити Censys:

ip: {“XXX.XX.XXX.X/XX”} — пошук ресурсів за вказаним CIDR.

ip: [X.XX.X.X TO X.XX.XXX.XXX] — пошук ресурсів за вказаним SUBNET.

location.country_code: DE and services.service_name: {“FTP”, “Telnet”} — пошук мережевих інтерфейсів FTP/Telnet.

services.http.response.body: powershell.exe — ресурси з Windows Poweshell.

(“Schneider Electric” OR Dell) AND ip:23.20.0.0/14 — пристрої з вказаними назвами та діапазоном IP-адрес.

services.port: {22, 23, 24, 25} — пошук серверів з зазначеними відкритими портами.

same_service(services.service_name: “ELASTICSEARCH” AND services.port: 443) — пошук серверів ElasticSearch.

services.http.response.status_code: 500 — пошук серверів з кодом відповіді 500.

services.software.product: “Raspberry Pi” — пошук Raspberry Pi пристроїв.

scada AND location.country_code:US — пошук SCADA-систем за вказаною країною.

Серед підручних інструментів Censys :

• вбудований Whois-аналізатор
• перегляд Raw Data (JSON)
• історичні та статистичні дані
• візуалізатор
• визначення геолокації по IP.

Важливим інструментами є Censys Search API та Censys Python, що реалізують усі можливості Censys у командному рядку.

Встановлення Censys CLI:

pip install censys
censys config

Приклади команд:

censys view X.X.X.X

censys search ‘services.service_name: ELASTICSEARCH’ | jq -c ‘.[] | {ip: .ip}’

censys search ‘services.http.response.html_title: “Dashboard”’

censys search ‘ip: XXX.XXX.XXX.X/XX’ — pages -1 | jq -c ‘[.[] | .ip]’

👉 Документація по Censys Python CLI>>

CENSYS справляє приємне враження чіткої, простотої і функціональної пошукової системи, суттєво допомагаючи у щоденному пошуку та обробці інформації. До речі, Censys підтримує інтеграцію по API у такі популярні сервіси і платформи, як Maltego, NMAP, Recon-NG та інші. Нещодавно з’явився додатковий сервіс – Censys на базі ChatGPT.

ZoomEye

ZoomeEye — це кіберпошукова система, заснована у 2008 році інженерами з “404 Laboratory” IT-компанії “Knownsec” (Китай). Завдяки великій кількості глобальних технічних вузлів, ZoomEye безперервно сканує інтернет 24/7/365, включаючи усе підряд: веб-сайти, додатки, сервіси, компоненти, служби, електронні ресурси, бази даних, мережеві інтерфейси, ІТ-системи, IoT-пристрої і т.д. Ця пошукова система фактично охопила весь кіберпростір, а тому від ока ZoomEye в прямому сенсі не сховаєшся. І в цьому основна відмінність платформи — здатність пролазити в найпотаємніші закутки інтернету і розкривати дані.

Подібно SHODAN’у, ZoomEye може здійснювати пошук вже за готовими тегами, розбитими по категоріям — Topics і Component. Також в системі можна ділитися власними пошуками, з яких ZoomEye формує своєрідний рейтинг.

Ще одна перевага ZoomEye — масовий аналіз. Користувач може завантажити і проаналізувати список IPv4-адрес (до 1000). Є пошук по файлам (.txt), зображенням і фавіконкам.

Пошукові фільтри ZoomEye:

hostname:domain.com — шукати по вказаному домену/хосту.

site:domain.com — шукати усі ресурси пов’язані з вказаним доменом.

dig:”baidu.com 220.181.38.148" — шукає дані утиліти dig для вказаних домену та IP-адреси.

XXX.XX.XXX.XXX +site:”domain.com” — пошук конкретного домену на вказаній IP-адресі.

port:80 — шукати по вказаному мережевому порту.

ip:”8.8.8.8" — пошук по IP-адресі (підтримуються IPv4/v6).

cidr:52.2.254.36/24 — шукати по вказаному діапазону CIDR.

service:”ssh” — пошук служби SSH і ресурсів, що з нею пов’язані.

device:”router” — пошук пристроїв за вказаним типом/назвою.

os:”RouterOS” — пошук операційних систем.

title:”Cisco” — пошук будь-яких документі і ресурсів з вказаним текстом.

industry:”energy” — пошук по назві індустрії.

org:”北京大学” — шукати по назві компанії/організації.

isp:”Lifecell” — шукати по назві провайдера/виробника.

asn:42893 — шукати по номеру провайдера.

service:”ssh” service:”http” — пошук SSH або HTTP-ресурсів.

device:”router”+after:”2020–01–01" — пошук інформації по роутерам після зазначеної дати.

country:”CN”-subdivisions:”beijing” — шукати по країні Китай, мінусуючи зазначену область-регіон (subdivision).

(port:”80"+subdivisions:”California”)+before:”2020–01–01" — шукати ресурси на порту 80 в Каліфорнії за зазначену дату.

ssl:”google” — шукати SSL-сертифікати, пов’язані із зазначеним хостом.

app:”Cisco ASA SSL VPN” — шукати по назві додатка.

filehash:”0b5ce08db7fb8fffe4e14d05588d49d9" — пошук по хешу файлу.

Додаткові можливості ZoomEye:

• Деталізований аналіз.
• Масовий експрес-аналіз.
• Агрегаційний аналіз.
• Підсвідка тегів (тип, категорія ресурсу).
• Показ знайдених вразливостей і їх класифікація по базі CVE.
• Пошук з допомогою карти.
• Глобальний монітор інтернет-статистики.
• Інструмент пошуку пов’язаних (асоціативних) доменів і субдоменів — Domain/IP Association.

Варто зауважити, що ZoomEye зберігає історію пошуків. Але її можна очистити в панелі керування акаунтом. Зареєстровані користувачі позбавлені лімітів та отримують більше можливостей. Наприклад, завдяки опції Subscription можна поставити на регулярний моніторинг список IP-адрес або доменів — сповіщення приходитимуть на електронну пошту. Однак, повний “фарш” і ексклюзив доступні на преміум-тарифах. Отримані в системі дані можна експортувати в форматах — TXT/JSON.

ZoomEye має власний API та Python-додаток:

pip3 insttall zoomeye

zoomeye init -apikey "yourapikey"

Основні команди ZoomEye CLI:

zoomeye ip XX.XX.XXX.XX — пошук по IP.

zoomeye domain domain.com 0 — пошук ресурсів за вказаним доменом (якщо вказати 1 — шукатиме субдомени).

zoomeye search “telnet” -num 1 — пошук ресурсів з активною службою Telnet із зазначеною кількістю показаних результатів.

zoomeye search “telnet” -count — статистика по зазначеному ресурсу.

zoomeye history “XXX.XX.XX.XX” -num 1 — історія за вказаною IP-адресою (доступно на платних тарифах).

Підсумовуючи, скажу, що ZoomEye — це дуже потужна систематизована база даних, котра може стати серйозним конкурентом для SHODAN. Питання поки що лише у якості. ZoomEye бере кількістю — парсить і зберігає чимало даних, але SHODAN, на мою думку, більш відпрацьований, подає трохи свіжішу та чистішу інформацію, позбавлену похибок. Окрім того, не всі функції виявились доступними в ZoomEye CLI — у веб-інтерфейсі працювати якось зручніше. Але для дослідника, аналітика, пентестера ZoomEye— це must-have.

Greynoise

GreyNoise — це кібер-пошукова аналітична платформа з кібербезпеки, яка збирає та аналізує дані про інтернет-ресурси. Дозволяє знаходити і ідентифікувати вразливості, скомпрометовані пристрої, порти і протоколи, Malware-об’єкти і шкідливі User-Agent’и, відстежувати аномалії і кібер-загрози.

Приклади пошукових запитів:

cve:"CVE-2022-*” — пошук ресурсів за вказаною вразливістю.

cve:"CVE-2022-*" last_seen:1d — пошук нових вразливостей, які з’явилися за останню добу.

tags:”Mikrotik” — пошук за тегом/назвою.

classification:malicious metadata.country:Belgium— пошук вразливостей по вказаній країні.

classification:malicious metadata.rdns:*.gov* — пошук вразливостей по вказаній доменній зоні.

organization:Microsoft classification:malicious — пошук вразливих об’єктів, пов’язаних з конкетною організацією/компанією.

scan.port:554 — пошук усіх ресурсів на вказаному порту.

(scan.port:445 and scan.protocol:TCP) os:Windows* — пошук ресурсів на вказаноиу порту та операційною системою.

-organization:Google web.useragents:*Googlebot* — пошук юзер-агентів, які маскуються під Googlebot, але не пов’язані з Google.

classification:benign — пошук усіх мережевих краулерів, які є перевіреними (безпечними по базі GreyNoise).

web.paths:”/HNAP1/” — пошук краулерів, які сканують вказану директорію.

8.0.0.0/8 — пошук усіх ресурсів, які сканують інтернет з вказаного діапазону IP-адрес.

last_seen:1d — переглянути результати за останню добу.

Додаткові інструменти та можливості:

• Масовий аналіз IP-адрес.
• Вкладка Trends — можна ознайомитись з останніми найпоширенішими загрозами кіберсвіту
• Створення сповіщень (Alerts) про об’єкти, які вас цікавлять по електронній пошті
• Інтеграція з популярними брандмауерами і файєрволами (PaloAlto, Cisco, Fortinet)
• Інтеграція з Splunk, Maltego та іншими платформами
• Python GreyNoise CLI (доступно лише на тарифному плані Enterprise)

GreyNoise непогана Cyber Threat Intelligence платформа, спрямована конкретно на пошук та відстеження вразливостей. Її корисно застосовувати разом з іншими інструментами.

SpiderFoot

SpiderFoot — це безкоштовна OSINT-платформа, агрегатор. Може використовуватися для різних задач. В основному її застосовують на етапі розвідки і дослідження об’єктів у мережі інтернет.

Платформа існує у двох версіях — безкоштовному (Open Source) і комерційному. Безкоштовний можна завантажити з GitHub і встановити на своїй системі:

wget https://github.com/smicallef/spiderfoot/archive/v4.0.tar.gz
tar zxvf v4.0.tar.gz
cd spiderfoot-4.0
pip3 install -r requirements.txt
python3 ./sf.py -l 127.0.0.1:5001

SpiderFoot застосовує понад 100 популярних API. Деякі з них необхідно активувати вручну. Однак, після цього файл API-ключами запросто можна експортувати та використовувати в інших сервісах.

З допомогою SpiderFoot можна комплексно збирати інформацію про все що завгодно: IP-адреси, доменні імена, електронні пошти, людей, організації чи компанії тощо. Інструмент легкий у використанні та дуже гнучкий. Ви просто вказуєте ціль (Target), яку прагнете дослідити й обираєте потрібні модулі — SpiderFoot збере дані та гарно відсортує та візуалізує їх, використовуючи переваги графічного інтерфейсу.

SpiderFoot сподобався. Простенький, автономний і цілком безкоштовний. Об’єднав у собі під сотню сервісів, інформацію з яких дістаєш натисканням однієї кнопки. В Spiderfoot є чимало інших фішок, ознайомитися з якими пропоную в офіційній документації.

SecurityTrails

SecurityTrails —це інформаційно-аналітична система, створена однойменною компанією для фахівців з кібербезпеки. Незамінний помічник у роботі з доменами та IP-адресами.

Сервіс проаналізує будь-яку DNS-зону і покаже усі записи (A, AAAA, NS, MX, SOA, TXT) та історію (DNS/WHOIS). Ця техніка має назву Passive DNS (пасивні дані DNS). Актуально, коли сайт приховано за CloudFlare й стоїть задача дізнатися справжній хостинг, знайти пов’язані ресурси, зокрема субдомени. За допомогою Passive DNS ви можете посилатися на попередні значення записів DNS, щоб виявити потенційні інциденти та загроз безпеки, шкідливі мережі (бот-нет, дорвеї, клоаки). Наприклад, якщо DNS-записи змінюється кожні 10 днів, то це вказує про певну маніпуляцію і вимагає подальшого дослідження. Пасивні дані DNS дають змогу скласти повну картину про досліджуваний домен.

Цікавий факт: У більшості випадків саме субдомени видають справжню IP-адресу прихованого ресурсу. До них може бути прикріплена, наприклад, хостинг-панель (cpanel, cp, whm), файловий (ftp, webdisc, cloud) або поштовий сервер (mail, webmail), які працюють локально і технічно залишаються на своїх серверах, не направленими на CDN CloudFlare. У висновку, відбувається витік даних. Щоб цьому запобігти, не рекомендується використовувати один сервер на всіх. Слід подумати про розгалужену гнучку інфраструктуру, де кожній локальній службі відповідатиме окремий сервер. Це корисно з точки кібербезпеки. Тому що таким чином, якщо при кібератаці впаде один сервер — інший не постраждає і продовжуватиме працювати.

Отже, SecurityTrails, на сьогоднішній день, залишається чи не єдиним безкоштовним інструментом просканувати на субдомени будь-який ресурс і розкрити його історичні дані, хронологію, яка часто може бути прихованою і налічувати десятки років. З усіх подібних інструментів — SecurityTrails подає найповнішу та найточнішу інформацію.

Pulsedive

Pulsedive — це просунута Cyber Threat Intelligence (CTI) платформа. На жаль, більшість опцій (скріншоти, інтеграції) недоступні в безкоштовному доступі, але я використовую Pulsedive як WHOIS-аналізатор. Він елегантно та компактно показує будь-які дані, де кожний запис підсвічується як своєрідний індикатор. Можна окремо здійснити пошук по ньому або просто скопіювати. При копіюванні — доменне ім’я навмисно шифрується, щоби не передавати шкідливе посилання. Також Pulsedive читає HTTP-заголовки та іншу відкриту інформацію. Зібраний матеріал можна експортувати в різних форматах: CSV, JSON, STIX. Ідеально для побудови звітів по шкідливим доменам.

Крім того, Pulsedive служить своєрідним каталогом ризиків і кіберзагроз. Кожна шкідлива техніка має свою сторінку. До прикладу, на сторінці Phishing показаний короткий опис з Вікіпедії та список пов’язаних з ним реальних інцидентів, хостів, адрес, ресурсів, індикаторів, які були проаналізовані в сервісі. Таким чином можна на практиці поглиблювати та досліджувати різні шкідливі техніки.

На головному дашборді показуються останні дії в сервісі, включаючи інших користувачів. Там же висвічується нагадування про майбутні конференції з кібербезпеки і стрічка новин.

У розділі Explore міститься пошук по базі системи. Шукати можна ключовими словами, булеанівськими операторами або з допомогою фільтрів. У пошуку працюють автоматичні підказки.

Бажаючі можуть встановити додаток для браузерів — Chrome та Firefox. Таким чином, Pulsedive цікава і пізнавальна CTI-платформа. Для тих, хто любить досліджувати кібер-простір та ділитися знайденим з колегами — саме те.

IntelligenceX

Intelx.io — це інформаційно-пошукова система з кібербезпеки, заснована у 2018 році Пітером Клейсснером. Компанія базується в Празі, Чехія.

Особливості платформи IntelligenceX:

• Пошук по доменам, URL-адресам, IP-адресам (IPv4/IPv6, CIDR), MAC-адресам, хешам
• Пошук по email, кредитним карткам, номерам телефону, ідентифікаційним номерам і т.д.
• Пошук по Bitcoin і Ethereum гаманцям, адресам
• IBAN (International Bank Account Number)
• Пошук по відкритим базам даних банків, установ, компаній, організацій, мобільних операторів, онлайн-сервісів і т.д.
• Пошук по даркнету, TOR/I2P-мережі, інтернет-форумам, телеграм-каналам.
• Парсинг структури веб-сайту (у вигляді дерева каталогів)
• Парсинг WebArchive та WHOIS
• Пошук інформації про компанію/бізнес (електронні пошти, номери, файли, документи, імена, логіни і паролі співробітників і т.д.)
• IntelligenceX зберігає архів історичних даних результатів, подібно до того, як Wayback Machine з archive.org зберігає історичні копії веб-сайтів.

З готовими кейсами роботи Intelx.io можна ознайомитися тут.

По-суті, основна задача IntelligenceX— це пошук витоків даних (Data Breaches/Leaks) і футпринтів (footprints), точок входу і компрометації (Indicators of Compromise), конкурентна розвідка (Business Intelligence). Краулер цілодобово сканує інтернет/даркнет на наявність інформації, парсить вміст публічних файлів/папок, формуючи величезний архів. Таким чином у його базі можна знайти різні рідкісні, давні, таємні, чутливі, приховані, персональні, конфіденційні та інші дані, які з тих чи інших причин опинилися у вільному доступі. Понтестер може їх знайти і використати для планування і проведення, моделювання атак. На щастя, їх можна видалити — є можливість власнику подати запит.

Проте далеко не кожна інформація в сервісі є безкоштовною. Більшість даних зашифровані і отримати можна лише на PRO-тарифі, який коштує немало.

Окрім стандартного функціоналу, сервіс містить розділ Tools з усілякою всячиною  –  OSINT-інструменти, дорки, посилання для швидкого пошуку і перевірки інформації. Присутні інтеграції з іншими платформами. Окремо рекомендую звернути увагу на засіб Intelligence X Public SDK, який включає Python CLI і дозволяє працювати з API.

Приклади команд для роботи з IntelX Python CLI:

intelx.py -search domain.com -apikey xxxxx -limit 100

intelx.py -search domain.com -buckets "pastes, darknet.tor"

intelx.py -search xxxx --view

intelx.py -search domain.com --phonebook

intelx.py -search domain.com --phonebook --emails

intelx.py -download xxxxx -name test.txt

Отже, бачимо, що IntelligenceX — це серйозний арсенал кіберрозвідника, який безумовно буде корисний у підготовці і проведенні пентестів.

PublicWWW

PublicWWW — це пошукова система на основі вихідного коду, яка дозволяє шукати електронні ресурси за будь-яким елементом (назвою, сніппетом, сигнатурою), який зустрічається у їхньому веб-коді.

З допомогою сервісу PublicWWW можна знаходити сайти:

• Створені на однаковій CMS певної версії
• Які використовують однакові компоненти, модулі, плагіни, віджети
• Які використовують однаковий код Google AdSense чи Google Analytics
• Зроблені на одному шаблоні (template)
• З однаковими HTTP-заголовками, cookie, токенами, формами та іншими веб-елементами
• З однаковими CSS/JS файлами або їх значеннями
• … і так далі, повний список тут.

Приклади пошукових запитів:

“generator\” content=\”WordPress 4.6.1" — пошук сайтів на CMS WordPress вказаної версії.

“WordPress 4.7” site:com — ще один спосіб пошуку сайтів на WordPress конкретної версії по заданій країні.

site:com “/style.css?ver=4.7.23” — пошук сайтів на WordPress версії 4.7.23 у вказаній доменній зоні.

site:net “/themes/twentytwelve/” — пошук сайтів на WordPress з вказаною темою.

site:xyz “/wp-content/plugins” — пошук сайтів на WordPress з папкою плагіни.

“generator\” content=\”Joomla” — пошук сайтів створених на CMS Joomla.

“X-Content-Encoded-By: Joomla! 1.5” — пошук сайтів на CMS Joomla вказаної версії.

“/sites/all/themes/” — пошук сайтів на CMS Drupal.

“UA-19778070-”— пошук ресурсів по коду Google Analytics.

“et_divi_theme” “@divi-module” — пошук сайтів, створених з допомоою візуального конструктора Divi.

“Server: nginx/1.4.7” — пошук сайтів на серверах Nginx вказаної версії.

Отримані результати можна завантажити у форматах TXT/CSV.

🎯 Більше прикладів як шукати на PublicWWW>>

Отже, PublicWWW досить серйозна та корисна пошукова система. З її допомогою пентестер зможе знайти будь-які вразливі сайти, які використовують застарілі скрипти, плагіни, шаблони і проексплуатувати їх. При бажанні можна також встановити додаток Python й користуватись PublicWWW з командного рядка.

LeakIX

LeakIX — це платформа, яка поєднує в собі пошукову систему, що індексує загальнодоступну інформацію та платформу відкритого звітування про вразливості і кіберзагрози.

LeakIX допоможе виявити:

• Публічні витоки даних
• Ресурси з різним типом вразливостей (CVE, Log4J, Path Disclosure/Traversal, LFI/RFI, RCE, OWASP TOP 10 та ін.)
• Вразливі сайти на CMS
• Застарілі компоненти, модулі, плагіни
• Ресурси з PHP.INFO у відкритому доступі
• Сайти під’єднані до GIT-репозиторію
• Сайти з DotDsStoreOpenPlugin
• Сервери зі стартовою сторінкою Apache/NGINX та ін.

Пошукові фільтри LeakIX:

+host:leakix.net — пошук витоків даних по вказаному домену.

+port:80 — пошук вразливих ресурсів на вказаному порту.

+port:80 +country:”France” +events.leak.severity:”critical” — пошук ресурсів з критичними вразливостями по заданій країні.

+country:”France” +tag:”joomla” — пошук вразливих сайтів на Joomla по заданій країні.

+country:”Russia” +tag:”wordpress” — пошук вразливих сайтів на WordPress по заданій країні.

plugin:wordpress seo — пошук сайтів за вказаним плагіном.

+header.server:”Apache” — пошук веб-серверів Apache.

ip:”212.0.0.0/8" — пошук по підмережі.

🚀Більше сніппетів LeakIX>>

Отже, LeakIX можна охарактеризувати як “Pulsedive + IntelligenceX = 2 в 1”. Перевагою є й те, що платформа повністю безкоштовна — працює без жодних лімітів і обмежень. Звісно, по об’єму результатів до SHODAN поки що не дотягує, але буде корисною під конкретні цілі і задачі. На додачу, LeakIX має API та розширення для Firefox браузера.

Vulners

Vulners.com — це безкоштовний агрегатор баз вразливостей інформаційних систем, програмни засобів, додатків. Містить понад 2 млн записів.

Сервіс насичений різноманітними додатковими інструментами та інтеграціями (NMAP, BurpSuite, WordPress плагіни). Розробники Vulners пропонують встановити Linux-сканер власного виробництва для аудиту кібербезпеки. Також є вбудований онлайн-сканер, яким можна проаналізувати електронні ресурси (Web Applications).

Бажаючі бути у курсі останніх новин можуть підписатися на електронну розсилку вразливостей і кіберзагроз, яка складається з більше 10 різних каналів інформації: блоги, експлойти, CVE, операційні системи, компанії та ін. Є додаток для браузера. Усе це робить Vulners надзвичайно багатим та корисним.

Приклади пошукових запитів Vulners.com:

“apache” AND “vulnerabilities” — знайти дані по вразливостям серверів Apache.

affectedSoftware.name:nginx AND affectedSoftware.version:”1.11.0" — пошук даних по вразливостям серверів NGINX зазначеної версії.

cvelist:CVE-2022 — шукати вразливості за вказаний рік по базі CVE.

type:nmap order:published — пошук NMAP-скриптів.

type:centos order:published — пошук даних по вразливостях в операційній системі CentOS.

type:wpvulndb — пошук багів CMS WordPress.

bulletinFamily:bugbounty — пошук баг-баунті програм.

type:nessus order:published — пошук вразливостей по базі Tenable Nessus.

Отже, сервіс Vulners виконує роль своєрідного інформатора, який знаходить та доносить актуальну інформацію по вразливостям — покаже рівень критичності за шкалою CVSS, чи є публічний експлойт до неї, які постачальники вже випустили патчі, який сканер може виявити цю помилку в системі, чи є баунті і так далі. Також завдяки своїм інструментам він виступає аудитором для виявлення загроз в електронних ресурсах та системах.

VulDB

Vuldb.com — це Cyber Threat Intelligence-платформа та інформаційно-аналітична база вразливостей з більш ніж 206 000 доступними записами. Базується в Швейцарії. Спеціалісти і користувачі платформи щоденно документують найновіші вразливості. Окрім технічних деталей, надається додаткова розвідувальна інформація про загрози, як-от поточні рівні ризику, прогнози, доступні експлойти.

Платформа розгорнута і систематизована. Усі ризики та вразливості у базі структуровані та розділені по рокам, тегам, категоріям.

У розділі Threats -> Actors подана таблиця усіх APT-угрупувань (Advanced Persistent Theat Groups).

Є також окремий пошук по країнам зі списком вразливостей, IOC, TTP, IOA.

Цікавим є інструмент “Ціни на експлойти” — моніторить ринок продажу експлойтів (фреймворки, готові скрипти для автоматизації експлуатації вразливостей), показує історію цін на них.

Також подаються статистичні дані за базою виробників, продуктами, документами, програмами і додатками, відео тощо.

Додам, що у системі розгорнута потужна база знань, оформлена у вигляді енциклопедії. В ній можна знайти опис різноманітних термінів та згадки про них.

Запити по ключовим словам, які є важливими для вас можна додати в налаштуваннях свого акаунта в полі Personalize і активувати email-сповіщення — VulDB інформуватиме вас про нові вразливості.

Пошук по базі простий, здійснюється ключовими словами або з допомогою розгорнутої системи фільтрів:

По всім вразливостям показується дуже якісний та детальний опис:

Таким чином, платформа VulDB є одним із найважливіших джерел для людей, відповідальних за кібербезпеку і реагування на інциденти. На жаль, система не є повністю безкоштовною і часто видає обмежені результати, пропонуючи перехід на платний тариф. VulDB також усім бажаючим пропонує власний NMAP-модуль — Vulscan Vulnerability Scanning with Nmap, а також API й додаток Amazon Alexa.

Netlas

Netlas.io — пошукова система, яка збирає і надає технічну інформацію про IP-адреси, доменні імена, веб-сайти, програми і додатки, сервери, IoT-пристрої та інші онлайн-активи. Netlas сканує інтернет використовуючи такі протоколи як HTTP, FTP, SMTP, POP3, IMAP, SMB/CIFS, SSH, Telnet, SQL та інші.

Пошук в Netlas відбувається аналогічним чином як і в попередніх системах. Ось деякі приклади:

(tag.category:webmail) AND geo.country:(“BG”) — пошук поштових клієнтів і серверів у заданій країні.

asn.name:VODAFONE — отримати відомості про провайдера.

cve.name: CVE-2017–0145 — пошук CVE-вразливостей.

cve.has_exploit:* — пошук експлойтів.

cve.severity:critical — пошук критичних вразливостей.

mysql.server.version:5 — пошук MySQL-серверів зазначеної версії.

✔️Більше прикладів>>
✔️GitHub — Netlas OSINT Dorks

Мушу відзначити, що розробники постаралися — подача інформації, веб-інтерфейс на високому рівні. Усе відлагоджено та інформативно як на долоні. На виході отримуємо — і WHOIS, і CVE, і контакти людей, і субдомени, і сертифікати. Користувачу залишається просто “засмакувати” отримані дані. Причому вони подаються і вивантажуються безкоштовно за різну дату і в різних форматах: JSON/CSV. На добу видаються до 100 запитів. Єдине, що система зберігає історію про ваші пошуки.

В сервісі є окремий розділ Datastore, де можна придбати готові вибірки даних:

По об’ємам, база Netlas.io приблизно як SHODAN. Результатів в ній вистачає. Є підтримка API і Python.

Будьте в курсі загальнодоступної інформації про вашу мережу. Виловлюйте важливі події, такі як несанкціоновані зміни периметра мережі, вразливі пристрої тощо.Швидко отримуйте дані про хости та служби, домени та субдомени, технології та вразливості.

Onyphe

Onyphe.io — це пошукова система з кіберзахисту, яка складається з відкритих даних і розвідувальних даних про кіберзагрози, зібраних з допомогою сканування різних джерел, доступних в Інтернеті.

Система має непогану базу даних. Інформація подається стисло, але компактно. Пошук здійснюється з допомогою ключових слів, а також пошукових операторів. На жаль, система не безкоштовна, тому деякі запити обмежені.

Сервіс має свій API та підтримує різні інтеграції.

BinaryEdge

Binaryedge.io —це ще один пошуковик, який збирає дані про вразливості та витоки в інтернеті.

Безкоштовно надаються 250 запитів на місяць. Пошук здійснюється стандартно за операторами, тегами, фільтрами, категоріями. Є API і Python CLI.

З цікавого — інструмент визначення ризику IP:

Інструмент Images — пошук скріншотів входу DEDICATED серверів (“дедиків”):

Інструмент Sensors — аналіз пошукових ботів і краулерів. Виявлення з допомогою техніки Honeyspots шкідливих сканерів і бот-нетів.

Є ще один цікавий інструмент — Torrents (моніторинг торентів), але він доступний на платних тарифах.

EXPLOIT-DB

Exploit Database — це потужна і важлива CVE-сумісна база даних експлойтів, дорків, вразливостей. Заснована відомою компанією з кібербезпеки Offensive Security. База призначена для пентестерів і дослідників.

ExploitDB містить такі розділи:

• Exploits — база даних експлойтів (PHP, PERL, RUBY) для різних платформ. Експлойти можна завантажувати. У базі є готові ексалойти для програми Metasploit.
• GHDB — це база даних Google Дорків (Google Hacking Database), призначена для розкриття цікавої та, як правило, конфіденційної інформації, що розміщується у відкритому доступі в інтернеті.
• Papers — містить різноманітні документи з інформацією про проведення будь-яких атак, розбір роботи програм і підказки для тих, хто цікавиться кібербезпекою.
• Shellcodes — містить шелл-коди, які можуть бути допоміжними засобами до експлойтів.
• SEARCH EDB — просунутий пошук по базі даних.
• Searchsploit — додаток ExploitDB для пошуку експлойтів з командного рядка Linux.
• Submissions — інструкція як додавати власні експлойти у базу данхи.

CXSECURITY

Cxsecurity.com — незалежна база даних експлойтів, багів, вразливостей. CVE/CWE-сумісна. Заснована у 2005 році і модерується одним адміністратором.

Сервіс містить велику кількість різних матеріалів та фільтрів для пошуку. Є канали RSS для оперативного отримання інформації. Присутня рейтингова система дослідників безпеки.

0day.today

0day.today —онлайн-площадка для покупки і продажі експлойтів. У базі більше 30 000 записів та щонайменше 40 000 користувачів. Ресурс важливий тим, що містить вразливості нульового дня (0-Zero Day Vulnerabilities), які ще ніде не були опубліковані, не протестовані і не підтверджені, окрім їх авторів. Також тут можна отримати реальну картину щодо вартості експлойтів.

Пошук можна здійснювати за автором, типом виконання, категорією, платформою, датою, CVE номером, ступенем критичності, переглядами, ціною. До платного експлойту подається відеоінструкція з підтвердженням роботи. Оплата здійснюється внутрішньою валютою, де 1 GOLD = 1 USD. Баланс можна поповнювати криптовалютними гаманцями: Bitcoin, Litecoin, Ethereum.

Є тут і безкоштовні експлойти. Особливістю є те, що вони відображаються у зручному відформатованому вигляді з підсвідкою коду (на відміну від ExploitDB). Деякі з них є унікальними і “б’ються” лише по базі 0day.today.

Vulnerability Lab

Vulnerability Lab — це платформа для хакерів, баг-хантерів і дослідників безпеки.

Packet Storm

Packetstormsecurity.com — один з найстаріших сайтів з базою даних вразливостей, заснований у 1998 році. Сайт проливає світло на вразливості та проблеми кібербезпеки. Буде цікави не тільки пентестерам, а й для системних адміністраторів, які повинні підтримувати свою мережу в актуальному стані, дослідників безпеки, які виявляють і повідомляють про нові відкриття, урядів і корпорацій, які повинні розуміти поточні події, постачальники засобів безпеки, які хочуть розробити нові підписи для свого програмного забезпечення, та багато інших.

Patchstack

Patchstack WordPress Vulnerability Base — база даних вразливостей CMS WordPress, створена компанією з кібербезпеки Patchstack.

База регулярно оновлюється і поповнюється новими матеріалами. Patchstack здійснює пошук по всім компонентам WordPress: темам, плагінам, ядру. Усі вразливості в системі розподілені за типом і рівнем критичності:

Також платформа має власний плагін з кібербезпеки спеціально для CMS WordPress:

Плагін добрий тим, що автоматично повідомляє по електронній пошті, якщо будь-який з ваших WordPress-плагінів прострочений або скомпрометований. З Patchstack ви триматимите руку на пульсі!

Grep.app

Grep.app — це пошукова система по репозиторіям GitHub. В базі понад півмільйона проіндексованих публічних GIT-сховищ. Можна шукати скрипти, файли, програми або просто текст на просторах GitHub.

Пошукова система підтримує регулярні вирази та чутлива до регістру. В системі діють фільтри:

• Пошук за мовами програмування: Python, PHP, JSON, JavaScript, HTML, YAML.
• Пошук за категоріями: published, src, tests, docs, exploits, languages, packages, spec.
• Пошук за репозиторіями.

SearchCode

SearchCode — це унікальна пошукова система вихідного коду, яка була започаткована у 2010 році Беном Бойтером, одним з програмістів, які стояли біля витоків пошуковика DuckDuckGo. На сьогодні у базі SearchCode 20 мільярдів рядків проіндексованого коду та більше 100 мов програмування.

Пошук здійснюється по усім доступним базам репозиторіїв (Github, Bitbucket, Google Code, Codeplex, Sourceforge, Fedora Project та інші). Можна відфільтрувати результати за допомогою панелі фільтрів:

Сервіс також існує у вигляді автономної програми, яка має три версії: Starter (безкоштовна), Basic, Pro.

Crt.sh

Crt.sh— це пошукова система по SSL-сертифікатам. З її допомогою можна дізнатись чи є сертифікати у того чи іншого домена, ким і коли були видані, термін придатності і таке інше. Можна таким чином також дізнатися усі субдомени досліджуваного ресурсу.

DorkSearch

Dorksearch.com — пошукова база Google-дорків. Містить величезну кількість заготовлених фільтрів-операторів, які достатньо обрати із списку і запустити в пошук. Також є конструктор дорків. Непогано економить час при пошуку витоків та вразливостей в Google Search.