Історія зародження Інтернету та поява перших пошукових систем

ARPANET

Згодом ця ідея почала втілюватися в життя співробітником Міністерства оборони США Ларрі Робертсом, який запропонував об’єднати окремі комп’ютери міністерства в експериментальну мережу, описану Ліклайдером.

Так з’явився «ARPANET» — прообраз сучасного інтернету. Мережу спершу використовували в закритому доступі у науково-дослідницьких цілях. Експеримент виявився вдалим і її почали використовувати у щоденній роботі.

Перший вузол ARPANET з’явився у 1969 році, але до нього підключалися лише державні установи. У 1973-му Міністерство оборони США ініціювало програму інформаційної безпеки, яка передбачала забезпечити надійний, цілісний і безперебійний зв’язок комп’ютерів в єдиній електронній мережі.

Над розвитком ARPANET працювало Агенство оборонних дослідницьких проєктів США – Defense Advanced Research Projects Agency (DARPA), в яке входили співробітники кращих наукових інститутів Сполучених Штатів.

У 1975 році ARPANET перейшов із закритого режиму у публічну площину. З нього було виокремлено мережу “Milnet”, якою користувалися виключно Міноборони США.

Невдовзі до “Arpanet” під’єдналися декілька організацій і університетів: Стенфордський, Каліфорнійський, Юта. Було також створено окрему мережу для навчальних закладів і дослідницьких установ — NSFNET.

Поява Інтернету

Кількість вузлів ARPANET збільшувалась і згодом цю технологію стали називати — Internet (“мережа мереж”).

У 1989 році програміст Тімоті Бернерс-Лі розробив та впровадив стандарт WWW (World Wide Web (W3), “Всесвітня павутина”) — технологія доступу до усіх мереж, під’єднаних до Інтернету по протоколу TCP/IP і HTTP.

Згодом Бернерс-Лі розробив Universal Resource Identifier — метод стандартизації інтернет-адрес, при якому комп’ютерам в Інтернеті надаються унікальні адреси (сьогодні ми їх називаємо URL).

Нарешті, винахідник створив HTML (HyperText Markup Language) — гіпертекстову розмітку для покращення представлення інформації в інтернеті. Таким чином, документи, відформатовані в HTML і опубліковані в інтернеті, читались та відображались комп’ютерними пристроями однаково по всьому світу, незалежно від типу комп’ютера, на якому людина відкрила веб-сторінку.

Доступ до файлів на ранніх етапах розвитку Інтернету здійснювався з допомогою командного рядка і мережевої служби Telnet, яка встановлювала пряме з’єднання з комп’ютером, де знаходився потрібний файл. На цьому етапі лише налагоджувався зв’язок, передачу файлів ще не винайшли. І лише згодом за допомогою спеціальної служби FTP можна було цей файл завантажити й переслати.

Archie

Мережі розросталися, а файлів більшало. Було створено безліч FTP-серверів, які виступали електронним сховищем файлів, організованих в директоріях, за принципом зберігання інформації на персональному комп’ютері. У 1990 році групою системних адміністраторів та студентів Університету Мак Джил (McGill) у Монреалі був створений “Archie” – інструмент для індексації FTP-серверів та файлових сховищ. “Арчі” був прототипом сьогоднішніх пошукових систем, але значно примітивнішим і обмеженішим у своїх можливостях. Він «блукав Інтернетом», розшукував файли на різних FTP-серверах і завантажував список директорій кожного знайденого сервера у власний публічний каталог. Цей каталог потім оброблявся та зберігався у централізованій базі даних, усередині якої можна було здійснювати пошук.

Gopher

У 1991 році команда Марка Мак-Кахілла (Mark McCahill) з Університету Міннесоти створила власний інтернет-протокол “Gopher”, який поєднував в собі обидва протоколи — Telnet і FTP, а також включав пошуковий індекс Archie, WAIS та інших систем. Доступ відбувався через веб-інтерфейс. Таким чином, пошуковою системою могли користуватись люди без підготовки. Екосистему Gopher часто вважають ефективним попередником Всесвітньої мережі.

Wanderer

У 1993 році студент-фізик Массачусетського технологічного інституту Метью Грей (Mathew Gray) створив перший широко відомий пошуковий робот (бот), названий “World Wide Web Wanderer” або просто “Wanderer”, що в перекладі з англійської означає “блукач” або “мандрівник”. Винахід був покликаний допомогти студенту проаналізувати розміри мережі Інтернет та швидкість її зростання. “Wanderer” відвідував веб-сторінки та заносив їх у свою базу – індекс.

WebCrawler

1994 рік став переломним в історії створення пошукових машин. Студент випускного курсу Вашингтонського університету Браян Пінкертон (Brian Pinkerton) втомився від нескінченної низки електронних листів, які надсилали йому друзі, з інформацією про сайти, знайдені в інтернеті. Відвідування сторінок забирало чимало часу й Пінкертон створив бота, якого назвав “WebCrawler” (Веб-краулер). Як і “Wanderer”, він індексував інтернет, зберігаючи також текстові дані.

Розробник представив своє дітище у квітні 1994 року. База даних на той час містила інформацію про 6000 знайдених серверів. Вже за тиждень вона почала розширюватися – щоденний приріст становив понад 100 нових серверів. Так фактично народилася перша пошукова машина. З’явився термін — “інтернет-павук” або “краулер” (crawler) — той, що сканує, парсить інтернет.

Yahoo

У січні 1994 року аспірантами з електротехніки Стенфордського університету Джеррі Янг і Девід Філо був створений сайт-каталог під назвою «Посібник Джеррі та Девіда до всесвітньої мережі». У березні того ж року його було перейменовано на “Yahoo”. Домен “yahoo.com” був зареєстрований 18 січня 1995 року. 2 березня була заснована пошукова система під назвою “Yahoo!”. Саме слово розшифровується з англійської як “Yet Another Hierarchically Organized Oracle” (укр. “Ще один ієрархічно організований оракул).

AltaVista

Однак, фактично першими, хто заснував повнофункціональну пошукову систему — були дослідники Digital Equipment Corporation з Пало-Альто, Каліфорнія (США). Ними розроблено інноваційний веб-сканер і сервер, який мав власні центри обробки даних та сервери баз даних. Пошукова система “AltaVista” стала шалено популярною, адже першою надавала послуги для пошуку матеріалів у загальнодоступній мережі. Запущена вона 15 грудня 1995 року на домені altavista.digital.com.

За даними Media Metrix, у 2000 році пошукову систему “AltaVista” використовували 17,7% користувачів Інтернету, тоді як Google використовували лише 7% користувачів. AltaVista довгий час була постачальником Yahoo!, й у 2003 році була продана їм.

Надалі, протягом 1995–1997 років почали з’являтися інші пошукові системи, відомі і маловідомі: Lycos, Infoseek, SavySearch, MetCrawler, Excite, HotBot, LookSmart, NorthernLight тощо.

Створення Google

Лише у 1998 році студентом Стенфордського університету Ларрі Пейджем був заснований Google, який початково являв собою внутрішній пошук університетською мережею, доступний за URL-адресою: http://google.stanford.edu/

Вже тоді його пошукова база складалася приблизно з 25 мільйонів сторінок. Про що говорив напис — “Index contains ~25 million pages (soon to be much bigger)”. Сама структура пошуковика складалася зі стандартних елементів: меню сервісів Google, пошукового рядка, інструментів пошуку та навігації. Серед спецелементів пошукової видачі: новини, зображення, карти, пов’язані ключові слова. Пізніше почали з’являтися різні блоки (“колдунщики”): каруселі, Knowledge Graph (графа знань), погода, новини та інші.

На сьогодні, Google — одна з найпотужніших пошукових систем, гегемон веб-пошуку, який володіє колосальними потужностями. Це гігантська розгалужена система, яка присутня на різних регіональних доменах й включає такі програмні рішення як Youtube та Android.

Однак, попри це, існує велика кількість альтернативних пошукових систем. Про них можете прочитати в статті: ТОП пошукових систем для OSINT.

Поява альтернативних пошукових систем робить Інтернет ще більш насиченішим і різноманітнішим, дає нові можливості для ефективного пошуку інформації.