14. Поиск в Интернете. (История, развитие поисковых систем, крушение иерархической и каталогизированной структуры)

И хоть родоначальником идеи Интернета и технологий поиска является Вэннивер Буш, но на практике реализовали его идеи другие ученые. В 1958 г. в США при Министерстве обороны создано Агентство Передовых Исследовательских Проектов (Advanced Research Projects Agency - ARPA), где с 1963 по 1969 года ученые работают над новой предложенной концепцией передачи информации посредством компьютерной сети.  Изначально соединение для передачи зашифрованных данных планировалось использовать в военных целях, но низкий уровень безопасности передачи информации заставили военных отказаться от продолжения разработок. И только к концу 1980-х гг. идею создания компьютерной сети воскресили в своих разработках несколько университетов США, объединив свою библиотеку образовательной информации посредством соединения сетями. В 90-х гг. началось бурное развитие Интернета, а с февраля 1993 года как только Марк Андрессен (Mark Andressen) из NCSA (Национальный Центр Суперкомпьютерных приложений США) закончил начальную версию программы визуализации гипертекста Mosaic под UNIX, которая имела удобный графический интерфейс и стала прототипом современных браузеров, интернет начал входить в массы. В середине 90-х годов поиск нужной информации осуществлялся посредством размещения сайтов в каталогах, которых на тот момент было не много, да и не блистали изобилием сайтов, но тем не менее информация была упорядочена по тематиками и рубрикам. Кстати, в 1993 г. в сети уже имелись три бота поисковых систем. Это были некоммерческие разработки и с наплывом огромного количества информации они не справились и исчезли в водовороте бурного развития интернета.  С 1995 года свое верхоправие в глобальном интернете взяли на себя, ставшие впоследствии крупными, поисковые системы Google, Yachoo, Alta Vista в западном Интернете и Yandex, Rambler, Aport в рунете. 

Немного википедии о каталогах в интернете.

Каталог сайтов Интернета, или каталог Интернет-ресурсов, или просто Интернет-каталог — структурированный набор ссылок на сайты с кратким их описанием. Сайты внутри каталога разбиваются по темам, а внутри тем могут быть ранжированы или по индексу цитирования (как в каталогах Яндекса или Google), или по дате добавления, или по алфавиту, или по другому параметру. Подавляющее большинство рейтингов посещаемости ресурсов имеют классификатор сайтов, но ранжирование всегда основано на посещаемости сайтов. В зависимости от широты тематики ссылок каталоги могут быть общими и специализированными (тематическими).

И уточнения о самих поисковых системах.

Первой полнотекстовой (т. н. «crawler-based», то есть индексирующей ресурсы при помощи робота) поисковой системой стала «WebCrawler», запущенная в 1994. В отличие от своих предшественников, она позволяла пользователям искать по любым ключевым словам на любой веб-странице — с тех пор это стало стандартом во всех основных поисковых системах. Кроме того, это был первый поисковик, о котором было известно в широких кругах. В 1994 был запущен «Lycos», разработанный в университете Карнеги Мелона.

Вскоре появилось множество других конкурирующих поисковых машин, таких как «Excite», «Infoseek», «Inktomi», «Northern Light» и «AltaVista». В некотором смысле они конкурировали с популярными интернет-каталогами, такими, как «Yahoo!». Позже каталоги соединились или добавили к себе поисковые машины, чтобы увеличить функциональность. В 1996 году русскоязычным пользователям интернета стало доступно морфологическое расширение к поисковой машине Altavista и оригинальные российские поисковые машины «Рамблер» и «Апорт». 23 сентября 1997 была открыта поисковая машина Яндекс.

В последнее время завоёвывает всё большую популярность практика применения методов кластерного анализа и поиска по метаданным. Из международных машин такого плана наибольшую известность получила «Clusty» компании Vivísimo. В 2005 году на российских просторах при поддержке МГУ запущен поисковик «Нигма», поддерживающий автоматическую кластеризацию. В 2006 году открылась российская метамашина Quintura, предлагающая визуальную кластеризацию в виде облака тегов. «Нигма» тоже экспериментировала с визуальной кластеризацией.

Последний абзац может быть использован в следующем билете.