Web Domain Intelligence: виявляємо та усуваємо шкідливі сайти

01/10/2022
Konrad Ravenstone
1 115

Головна » IT Блоґ » Web Domain Intelligence: виявляємо та усуваємо шкідливі сайти

Основою для цієї статті послужили численні кіберінциденти, пов’язані з появою у пошукових системах різноманітних шкідливих сайтів – фішингових сторінок, клоак, дорвеїв, які вводять користувача в оману та ведуть деструктивну діяльність. У цьому матеріалі я розкажу як виявляти та знешкоджувати подібні сайти.

Що таке шкідливі сайти і чим це небезпечно?

ℹ️ Шкідливий сайт (англ. Malicious site, Malware, Suspicious site) – це електронний ресурс або додаток, який будь-яким чином порушує правила, вимоги, стандарти публікації в інтернеті, веде протиправну/шахрайську діяльність, наносить шкоду користувачам/відвідувачам/електронним ресурсам, застосовує заборонені техніки/тематики, прийоми публікації/обробки інформації, нехтує нормативно-правовими актами.

За типом та змістом шкідливі сайти можна умовно поділити на:

☠️ Фішингові сайти (Phishing) – це підроблені сайти, які видають себе за сайти компаній чи відомих людей, маскуються під популярні онлайн-сервіси. Все зводиться до того, щоб заманити користувача на фішингову сторінку та перехопити будь-яким чином його дані.
☠️ Bot-net – це організовані в єдину мережу шкідливі електронні ресурси, зокрема веб-сервери, які можуть здійснювати масові шкідливі операції: проводити DDOS-атаки, публікувати коментарі у соцмережах або на сайтах (тролінг, спамінг), викрадати контент, зламувати, завантажувати файли (Shell/LFI/RCI-атаки) і проникати у комп’ютерні мережі.
☠️ Дорвеї (Doorways) – це автоматично згенеровані та оптимізовані під популярні ключові слова сайти, які маскуються під інформаційні сайти. Можуть також несанкціоновано парсити/перехоплювати/вбудовувати унікальний контент інших сайтів (шкідливі техніки Spoofing, Hijacking, Hotlinking), завдяки чому індексуються та потрапляють у SERP (пошукову видачу), де й отримують відвідувачів. Зароблять на несанкціонованому зборі/перехопленні даних відвідувачів (це можуть бути ваші: cookie, токени, сесії, логіни, паролі), переспрямовуванні і монетизації трафіка (кліки, переходи, перегляди, скачування). Цей вид шахрайства існує давно й має назву “BlackHat SEO”, тобто пошукова оптимізація з використанням заборонених методів, або “Чорне SEO”.
☠️ Клоаки (Cloaking) – це ціла мережа сайтів-дорвеїв, організованих в одну велику “клоаку”, яка є автоматизованою і розприділеною системою, діє за різними алгоритмами, в залежності від браузера, User-Agentа, IP-адреси, країни відвідувача. Часто це є причиною, чому пошукові та антивірусні системи не бачать в шкідливих сайтах загрози та позначають їх “надійними” (Safe).

Усі вищеперелічені техніки являють собою загрозу для власників веб-сайтів і звичайних інтернет-користувачів.

Приклади шкідливих Malware-сайтів. На прикладі №1 зображено шкідливий сайт, який маскується під пошукову систему. На ній десятки дорвеїв, які являють собою єдину клоаку. При переході на них, спрацьовує скрипт, який автоматично переправляє відвідувача на сторонні сайти. На прикладі №2 зображено вигляд сайту дорвея, який імітує статейник. При взаємодії відвідувача з сайтом – відбуваються ланцюжкові перенаправлення на різні інші токсичні сайти (chain redirect). На прикладі №3 показано як шкідливий сайт закликає користувача до дії – підписатись на оновлення. Насправді, при натисканні відбувається взаємодія вашого браузера з сайтом зловмисника.

Ознаки шкідливих сайтів

Наведемо кілька простих прикладів та сценаріїв деструктивної діяльності malware-сайтів:

Парсинг чужого контенту. Схема проста: сайт-крадій публікує ваш авторський контент у себе на сторінці і він знеціюнється, перестає бути унікальним. Пошукова видача розбавляється додатковими результатами/сайтами, відбувається каннібалізація ключових слів й ваші позиції по ним знижуються. Бували випадки, коли сайт крадія мав вищий рейтинг й відповідно пошукова система показувала його вище/частіше у результатах видачі, або взагалі сприймала за джерело. Попередити такі випадки можна і треба різними способами: а) вказувати копірайт на своєму сайті, із зазначенням без права на повторне використання, або тільки за наявності вказаного гіперпосилання на ваш сайт; б) використовувати онлайн-системи моніторингу та захисту контенту від повторного використання, наприклад DMCA, Copyscape. Вони будуть вчасно виявляти плагіат та сповіщати про нього. Зрештою, це дозволить вам більш аргументовано подати скаргу на злодія.
Заниження позицій у пошуковій системи і проблеми з індексацією. Схема наступна: сайт сумнівної якості і тематики у великих кількостях регулярно розміщує різні посилання на ваш сайт. Відповідно непропорційно наростає негативна зворотна посилальна масса (десятки, сотні, а деколи й тисячі токсичних посилань за короткий період). Пошуковик це виявляє і трактує як зв’язок/співпрацю з порушником, загрозу або знак низької якості, відповідно починає застосовувати до обох сайтів алгоритми очистки – Google Пінгвін, Google Панда або Google Колібрі. Причому це складно діагностувати, якщо ви не фахівець в SEO й не перевіряєте позиції свого сайту – Google, зазвичай, не повідомляє про дії своїх алгоритмів. У висновку, сайт, незважаючи на хороший контент, зникає з видачі ТОПу. Іноді рятує система відхилення зворотніх посилань, відома як Google Disawov Tools або повне перезавантаження контенту.
Бот-трафік і проблеми з доступністю. Схема: організована бот-нет мережа під управлінням зловмисників регулярно відсилає на ваш сайт роботів, які імітують дії реальних користувачів. Відвідуваність вашого сайту непропорційно зростає, але показники відмов – збільшуються. Пошукова система розцінює це як штучне нарощування трафіку та низьку якість, безкорисність контенту, й застосовує санкції по відношенню до сайту. Може навіть виключити з індексу. Також подібний бот-нет трафік використовується для переповнення HTTP-каналу, зменшення швидкості/працездатності веб-сервера, створення перебоїв у роботі й таким чином викликає перенавантаження і падіння сервера, іншими словами DDOS (Distribute Denial of Service, Відмова в обслуговуванні). У висновку, сайт перестає функціонувати, а пошукові системи розцінюють недоступність як негативний фактор ранжування. Тим часом, зловмисники можуть цим скористатись й відправити запит на видалення вашого сайту з пошукової видачі (функція Google removal outdated content).
Веб-спам. Схема: зловмисники, використовуючи бот-нет мережу і систему коментування вашого сайту або відкриту реєстрацію, публікують спам у величезних кількостях. У висновку, співвідношення якісного і неякісного контенту змінюється. Ваш сайт стає заспамленим і нерелевантним. Відповідно зменшується довіра збоку користувачів і пошукових систем.
Взлом та інфікування веб-сайтів і серверів. З допомогою спеціальних парсерів, зловмисники масово сканують інтернет у пошуку незахищених сайтів, або сайтів з явними вразливостями. З допомогою експлойтів вони проводять атаки віддаленого доступу, завантажують файли (SQL-injection, Remote File Inclusion, RFI) і виконують шкідливий код (Remote Code Execution, RCE), далі розгортають середовище дистанційного керування сервером (OS Shell). Сайт стає повністю під контролем злочинців. Він може продовжувати функціонувати і водночас непомітно для власника розсилати спам, показувати нав’язливу рекламу відвідувачам (adware), перехоплювати їх дані (spyware, шпигунський скрипт “стилер”), використовуватись як інструмент для здійснення атак і як площадка для монетизації незаконного контенту/публікації посилань (лінкоферма) і т.д.

Приклади порушень доменів

Загалом, перечитуючи правила різних хмарних платформ і інтернет-майданчиків, реєстраторів доменних імен, можна сформувати наступний перелік порушень:

Домен було зареєстровано в цілях обману. Це значить, що домен початково зареєстрований власником для проведення будь-яких несанкціонованих, протиправних дій, з метою ошукати користувача і пошукові системи, ввести в оману (misleading customers). Такі сайти, зазвичай, мають незрозумілу функцію, публікують чужий або спамний контент, видають себе за інших (impersonal). Конкретні приклади розглядались вище.
Домен незаконно парсить, публікує, поширює контент інших електронних ресурсів (тексти, заголовки, зображення і т.д.). Це значить, що власник сайту займається несанкціонованим парсингом й присвоєю собі чужу інтелектуальну працю. Зазвичай, це проблема авторського права (DMCA Notice and Procedure for Copyright Infringement Claims) і вирішується такими шляхами: через скаргу на email-адресу власника, з проханням вилучити незаконно опублікований контент; через скагу провайдеру; через суд. Проблема у тому, що шкідливі сайти не містять жодних email-адрес для зворотнього зв’язку, а провайдери (реєстратори/хостери) не мають права розголошувати персональні дані третім сторонам. Тому, на практиці дуже складно зв’язатися з власниками шкідливих сайтів. Але, якщо постаратися – все ж можливо.
Домен використовує техніки BlackHat SEO та обманює пошукові системи. Як вже було сказано, це техніки та дії, які суперечать правилам і рекомендаціям пошукових систем. До них можна віднести: дорвеї, клоакінг, спамдексінг, клікджекінг, хіджекінг тощо.
Домен містить шкідливий код, скрипти або інше шкідливе програмне забезпечення. Сюди належать: malware, spyware, adware, шелли, трояни та інші веб-об’єкти і елементи, котрі можуть нашкодити потенційному користувачу, відвідувачу.
Домен містить шкідливі фішингові, трекінгові, шпигунські посилання, приховані ланцюжкові редиректи. Зазвичай, вони переспрямовують відвідувачів на інші сайти, часто сумнівної тематики, з подальшою шахрайською метою.
Домен розголошує особисту інформацію інших осіб/третіх сторін, без їх згоди. Наприклад, публікує у відкритому доступі персональні дані, конфіденційні, службові матеріали.
Домен незаконно або приховано збирає персональні дані користувачів, відвідувачів. Наприклад, паролі облікових записів, приватну переписку, номери кредитних карток і будь-яку іншу чутливу, особисту, службову інформацію.
Домен містить матеріали, які заохочують, пропагують, прямо чи опосередковано, закликають до злочинів, насильства, або виправдовують їх.
Домен містить матеріали, які заохочують, пропагують, розпалюють національну, расову чи релігійну ворожнечу, дискримінацію.
Домен розповсюджує неліцензійні матеріали (контент, торрент-трекери, онлайн-кінотеатри та ін.). Тобто, будь-які матеріали, які не призначені для вільного розповсюдження.
Домен містить матеріали дитячої порнографії. Суворо заборонено у всіх країнах світу і підпадає під статтю КК.
Домен порушує роботу інших електронних ресурсів. Здійснює веб-хакінг, SPAM/BruteForce/DDOS-атаки, приводить до збоїв і помилок сторонніх сайтів. Підпадає під статтю №363 ККУ.
Домен здійснює продаж наркотичних речовин або будь-яких інших нелегальних товарів, які заборонені законом.
Домен будь-яким чином порушує законодавство та нормативні акти України або інших країн.

Відштовхуючись від цієї правової бази, з великою долею ймовірності можна довести шкоду будь-якого шкідливого сайту та абсолютно законним шляхом нейтралізувати його.

Як виявляти шкідливі сайти та загрози?

Виявлення шкідливих сайтів потребує певних навичок та спостережливості. Зокрема:

Бути у курсі останніх новин і подій з кібербезпеки: підписатись на основні блоги і канали інформації, дізнаватись про нові типи атак і кіберзагрози, тестувати та досліджувати вразливості, пов’язані з тими чи іншими технологіями, знайдені в роботі тих чи інших CMS-систем.
Регулярно ознайомлюватися з результатами пошукової видачі (Search Engine Result Pages, SERP): використовуючи ключові слова та різноманітні Google-дорки, просунуті пошукові оператори (Advanced Google Search Operators).
Перевіряти позиції сайту у пошуковій видачі та проводити аналіз конкурентів.
Перевіряти контент на плагіат і унікальність.
Аналізувати канали лідогенерації і зворотні посилання: джерела трафіку, анкори, якість “донорів” (тематичні/нетематичні/спамні).
Фіксувати будь-які зміни на сайті: в контенті, вихідному коді, аналізувати логи (Access/Erro Log Files) та блокувати відвідувачів з підозрілих IP-адрес/User-Agent.

Таким чином ви матимете загальну картинку того, що відбувається з вашим сайтом і зможете вчасно визначати і попереджувати загрози та аномалії.

SEO і WEBINT аналіз шкідливих сайтів

Пошуковий SEO-аналіз дозволяє оцінювати домени за різними параметрами і критеріями. Якість, важливість, авторитетність. А також розрізняти шкідливі фактори. Бувають дроп-домени з історією та хорошим рейтингом, якими хтось покористувався і кинув. SEO-інструментарій є корисним при проведенні комплексного веб-аналізу (WEBINT).

🎯 Список онлайн-сервісів, які допоможуть провести комплексну SEO-оцінку:

SEO PowerSuite – люксовий набір з 3-х інструментів WebsiteAuditor, SeoSpyGlass і LinkAssistant для керування просуванням та оптимізацією сайту у пошукових системах. Підтримка OS Windows/Linux.
SEO Screaming Frog Analyser – популярна програма для аудиту електронних ресурсів.
XENU – популярний парсер, дає можливість просканувати усі URL-посилання сайту, включаючи биті і приховані.
Ahrefs – популярний онлайн-сервіс для пошуку та аналізу зворотніх посилань (backlinks), а також іншої веб-аналітики.
Similar Web – авторитетний сервіс пошукової аналітики. Покаже такі дані як вік домену, канали трафіку, позиції та багато іншого.
Serpstat – популярний онлайн-сервіс для перегляду різноманітних SEO-метрик домену, наприклад історія трафіку, ключові слова.
Semrush – аналіз сайту по даним компанії SEMRUSH.
SEranking – аналогічно попередньому.
Mangools – сервіс відомого SEO-експерта Браяна Діна.
Ubersuggest – сервіс відомого веб-аналітика Ніла Пателя.
SiteWorthTraffic – аналітика відвідуваності сайту.
Website SEO Checker – аналіз різноманітних показників рейтингу сайту: DA, PA, TF, CF та ін.
Alexa Rank Checker – аналіз рейтингу сайтів по даним компанії Alexa.
MOZ Checker – аналіз сайту по даним компанії MOZ.
Webarchive – всесвітній електронний архів, де зберігаються кешовані сайти веб-сайтів. Дозволить проаналізувати попередній контент, версії сайту за різні періоди, колишніх власників.
Builtwith, Wappalyzer – сервіси аналізу технологій, які використовує сайт.
PublicWWW – пошук сайтів, які використовують схожий код і технології.
Duplichecker, Siteliner, Advego Plagiatus – пошук дубльованого контенту, плагіату, перевірка унікальності контенту.

OSINT та Reverse аналіз шкідливих сайтів

Наступним кроком буде проведення комплексної розвідки домену Web Domain Intelligence та збір доказової бази: аргументів, фактів, будь-яких свідчень протиправної діяльності – POC (Proof of Concept).

🎯 Список OSINT/Reverse-інструментів з мережевої розвідки:

🎯 Додаткові сервіси для OSINT-аналізу IP/URL:

ZoomEye – кібер-пошукова система.
GreyNoise – кібер-пошукова система.
Shodan – кібер-пошукова система.
Censys – кібер-пошукова система.
AlienVault – Threat Intelligence платформа.
Maltiverse Threat Analyser – аналізатор вразливостей і кібер-загроз.
CyberGordon – чекер шкідливих сайтів.
Cisco Umbrella – Threat Intelligence платформа.
SpiderFoot – Threat Intelligence програма.
URLscan – чекер посилань
URLvoid – чекер посилань.
Scanurl – аналізатор посилань.
URLhaus Database – аналізатор сайтів.
Unfurl – аналізатор довгих URL-адрес.
Check short URL – аналізатор коротких URL-адрес.
URL Redirect Checker – аналізатор редиректів.
URL capture – чекер посилань.
HTTP request viewer – аналіз заголовків.
URL query – аналіз запитів URL.

🎯 Сканери для аудиту і тестування:

BurpSuite – інструмент аудиту і тестування безпеки.
OWASP Zap – сканер і аналізатор веб-сайтів.
Acunetix Vulnerability Scanner – сканер і інструмент тестування безпеки веб-сайтів.
WPScan – аналізатор, сканер, інструмент тестування сайтів на WordPress.
NMAP – сканер мережевих портів.
Nikto – сканер вразливостей мережевих ресурсів.
Metagoofil – парсер файлів і аналізатор метаданих.
Joomscan – сканер, аналізатор вразливостей сайтів на CMS Joomla.
Dirb – парсер URL-адрес.
Dirhunt – парсер URL-адрес.
TheHarvester – мережевий сканер-парсер для OSINT.
Photon – краулер веб-сайтів.

🎯 Сервіси пошуку та виявлення шкідливого коду (вірусів/троянів):

Hybrid Analysis (Falcon Sandbox) – пісочниця для тестування шкідливих посилань, сайтів, файлів.
Joe SandBox – пісочниця для тестування malware.
AnyRun – ще одна пісочниця.
Quterra – пошук вірусів на веб-сайтах.
VirusTotal – антивірусний сканер файлів.

Як та куди повідомляти про шкідливі сайти?

Зібрану інформацію по виявленим шкідливим сайтам експортуємо і формуємо документ-звіт (з позначкою “Конфіденційно”), який далі можна розіслати у відповідні інстанції з метою блокування/занесення у чорні списки:

1. Computer Security Incident Response Team (CERT/CSIRT):

CERT-UA
CYBERPOLICE-UA
CERT-PL
National Cyber Security Center (NCSC) (United Kingdom)
National Cyber Security Center (NCSC) (Ireland)
NCSC Report Suspicious Site
NCSC Report Scam Website
Microsoft Security Responce Center (MSRC)
Microsoft Report Unsafe Site
Microsoft Submit File for Malware Analysis
ReportFraud.ftc.gov
Internet Crime Compliant Center IC3 (United States)
CIRCL Incident Repsonse
CISA Report Phishing Website
Reporting Canadian Anti-Fraud Center

2. Антифрод і антивірусні системи:

3. Реєстратори доменних імен:

4. Хостинг, Cloud-провайдери:

5. Блек-лісти, бази даних:

6. Google Report:

ПОДІЛИТИСЬ У СОЦМЕРЕЖАХ:

Konrad Ravenstone

Спеціаліст з кібербезпеки, аудитор, OSINT-аналітик, Penetration Tester в KR. Laboratories. Досліджує інтернет-технології з 2011 року. Впроваджує кіберзахист інформаційних систем та електронних ресурсів на всіх рівнях.

Усі записи