ТОП пошукових систем для OSINT

SearXNG

SearXNG — це незалежна метапошукова система, агрегатор пошукової видачі, орієнтований на приватність. Проєкт безкоштовний і підтримується Open Source спільнотою, до якої може долучитися кожен.

SearXNG підтримує стандарти OpenSearch, POST та GET запити, а також десятки движків сторонніх пошукових систем. Усі вони розбиті на різні категорії в розділі Preferences -> Engines і відповідно їх можна увімкнути або вимкнути. Здійснювати пошук можна по наступним модулям: Зображення, Відео, Музика, Новини, Карти, Репозиторії, Соцмережі і т.д.

Загалом, SearXNG містить чимало опцій. З офіційною документацією можна ознайомитись на сайті. Фактично, перед нами комбайн-агрегатор, який можна використовувати для OSINT-задач.

MetaGer

MetaGer – це метапошуковий агрегатор, заснований у 1996 році німецькою некомерційною організацією SUMA-EV (Асоціація вільного доступу до знань та інформації).

В MetaGer відсутня реклама і цензура. Він об’єднує в собі результати різних пошукових систем. Як запевняють розробники: “Наші алгоритми прозорі та доступні для читання всім. Наш вихідний код безкоштовний. Для нас важливі стабільність та ефективне використання ресурсів. Усі наші послуги працюють з використанням відновлюваної енергії. Від сервера до кавоварки”.

Пошук в MetaGer може здійснюватися по Вебу, Зображенням, Товарам, Новинам/Політиці. Присутній також Пошук за асоціацією. Є непогане керівництво по факт-чекінгу (Fact Checking). Власники сайтів можуть вбудувати MetaGer собі на сторінку у вигляді віджета.

Інші функціональні особливості MetaGer:

• MetaGer TOR
• MetaGer Mapps
• MetaGer Apps
• MetaGer for Firefox

Webmii

Webmii – це метапошукова система для OSINT, заснована на базі програмованого пошуку Google CSE (Custom Search Engine). Створена для пошуку загальнодоступної інформації про людей.

Пошукова система збирає результати з різних джерел і видає загальний рейтинг “веб видимості” (Webmii score). Існує також у вигляді окремого додатку в Apple Store.

StartPage

StartPage – пошукова система, заснована в Нідерландах у 2006 році. Заявляє, що досі залишається найприватнішою пошуковою системою у світі: “Наша місія — підвищити обізнаність і, головне, захистити право людей у ​​всьому світі на приватність. Ми допомагаємо людям, які піклуються про свою конфіденційність і відмовляються від того, аби ними маніпулювали алгоритми чи реклама. Тому що конфіденційність в Інтернеті — це не лише спокій, а й сила розуму”.

З такою концепцією важко не погодитись. StartPage справді дотримується регламенту GDPR, не зберігаючи та не відстежуючи IP-адреси користувачів, використовуючи різноманітні проксі для пошуку результатів. Так, пошуковик має спеціальний режим перегляду — Anonymous View, який дозволяє отримати доступ до веб-сторінки через проксі-з’єднання, не залишаючи сліду (fingerprint) і не передаючи метадані користувача.

У якості основного движка застосується Google, позбавлений трекерів та фантомних результатів:

Бізнес-модель StartPage побудована на продажі власних послуг і продуктів. Наприклад приватній електронній пошті StartMail. Існує також Firefox-додаток StartPage.

Qwant

Qwant – це пошукова система, заснована французькою компанією Qwant (Париж), орієнтована на безпеку і приватність даних. Пропонує своїм користувачам 0% цензури і повністю нефільтрований пошук. Жодних трекерів, реклами, cookie та стежень: “Ми поважаємо основні права, включаючи право бути забутим”.

Дійсно, пошукова видача Qwant досить стерильна. У ній відсутні персоналізовані або рекламні матеріали. Через Qwant добре шукати зображення. Матеріали індексуються власними пошуковими роботами сімейства “Quantify”. Окрім того, Qwant застосовує пошук Microsoft Bing, Twitter, YouTube, iTunes.

Ранжування результатів пошуку здійснюється автоматично за допомогою алгоритму, що діє відповідно до релевантності вмісту, зокрема частоту, акцент і контекст ключових слів, які шукаються у вмісті сторінки, вік сторінки, популярність сайту, розбірливість і доступність сторінки.

Користувачі можуть подати запит на видалення персональної інформації або запит на додавання свого сайту у пошук.

Ecosia

Ecosia – це не просто метапошуковий движок, а ціла концепція екологічного устрою планети. Його було створено у 2009 році Крістіаном Кроллом – прибічником конфіденційності і тотального озеленення планети, переходу на альтернативні енергетичні носії, економне споживання ресурсів: “Ми некомерційна організація. Спрямовуємо 100% нашого прибутку на кліматичні заходи, майже 80% фінансуємо проекти з посадки дерев”.

Пошукова видача в Ecosia нефільтрована і по деяким запитам релевантніша за Qwant, досить точно відповідає інтенту користувача. Багато з того, що не знайшлося в інших пошукових системах, раптом “cпливло” в Ecosia у ТОП-10. Щоправда є і свої похибки. В якості пошукових движків використовуються Microsoft Bing, Yahoo, Google, Amazon, Youtube, Wikipedia.

Swisscows

Swisscows – це проєкт з безпечного серфінгу в інтернеті, заснований швейцарською компанією Hulbee AG. Swisscows використовує власні дата-центри і повністю відповідає основним принципам та стандартам приватності. Компанія пропонує не тільки власну пошукову систему, а й цілий набір додатків: мобільний застосунок, VPN, месенджер, електронна пошта. За словами компанії, їх продукти 100% захищені, до серверів не мають доступу ні урядові служби ЄС, ні АНБ. Тому, користувачі можуть спати спокійно.

Пошукова система продемонструвала фактично ті ж самі результати, що й Ecosia. Однак на відміну від нього тут є функція анонімного перегляду (подібно StartPage):

У якості основного пошукового ядра використовується Bing. Swisscows обмінюється з ним деякими зібраними рекламними і метаданами.

З додаткових фішок можна виділити такий інструмент як «Digest» (Дайджест) — безкоштовний обробник текстової інформації, який дозволяє швидко отримати коротку суть документа, побудувати висновки. Корисно для контент-менеджерів, OSINT/Big Data фахівців:

Приватним особам і компаніям Swisscows пропонує додатковий інструмент – HULBEE Enterprise Search, що включає функції Premium-пошуку, моніторингу ЗМІ і факт-чекінгу.

Brave Search

Brave – це пошукова система від розробників веб-браузера Brave . Компанія пропонує свій пошуковик як альтернативу Google.

Особливості Brave Search:

• Конфіденційність: немає відстеження чи профілювання користувачів. Перш за все: користувач на першому місці, а не реклама та індустрія даних.
• Незалежність: Brave має власний індекс пошуку для приватних відповідей на поширені запити, не покладаючись на інших постачальників.
• Вибір: незабаром з’являться режими платного пошуку без реклами та пошук з підтримкою реклами.
• Прозорість: жодних секретних методів чи алгоритмів для ранжування результатів пошукової видачі, а незабаром — відкриті моделі рейтингу, які буде курувати спільнота, щоби забезпечити якість та прозорість видачі.
• Безперебійність: найкраща у своєму класі інтеграція між браузером і пошуком без шкоди для конфіденційності, від персоналізації до миттєвих результатів під час введення користувача.
• Відкритість: Brave Search незабаром стане доступним для інших пошукових систем.

Поки що пошуковик показує посередні результати. Видача по деяким низькочастотним україномовним запитам не сильно релевантна, досить розмита. По частотним, популярним запитам — знаходить більше. З огляду на ранжування, відчутно, що діє якийсь власний алгоритм, можливо на основі нейронної мережі, котра визначає зв’язки між тими чи іншими запитами.

Dogpile

Dogpile – це метапошукова система, яка збирає результати видачі популярних пошукових систем, таких як Google і Yahoo. Усуває дублікати. Система розроблена компанією SYSTEM1 (InfoSpace Holdings LLC).

Релевантність видачі досить висока. Знайдені матеріали досить чітко відповідають пошуковому інтенту. В основі пошуку – очищені результати Google.

Million Short

Million Short – це експериментальна веб-пошукова система, яка дозволяє фільтрувати й уточнювати набір результатів пошуку. Ідея полягає в тому, що стандартний інтернет-пошук дає лише найпопулярніші сайти. А Million Short дозволяє легко знаходити сайти, які з будь-яких причин не потрапили в результати пошукової системи. Технологія Million Short надає можливість користувачам переглядати сайти за межами ТОП-100 і навіть ТОП-1000!

Пошукова видача доступна тільки після реєстрації. Власники сайтів можуть додати свій ресурс у базу даних пошукової системи, заповнивши спеціальну форму.

Biznar

BizNar — це пошукова система, що використовує спеціальну технологію Deep Web при пошуку інформації. З допомогою BizNar у вас вийде знайти приховані дані в надрах інтернету.

Інші пошукові системи

• https://websurfx.co/
• https://www.searchencrypt.com
• https://all-io.net/
• https://yacy.net/
• https://www.faganfinder.com/
• https://you.com/
• https://duckduckgo.com