WebCrawler

WebCrawler — это поисковая система, работающая в сети Интернет, которая была одной из первых, обеспечивших полнотекстовый поиск по содержимому веб-страниц. Запущенная в 1994 году, она считается первым общедоступным поисковым роботом, индексировавшим весь текст документов, а не только их заголовки или метаданные. Название системы происходит от термина «веб-краулер» (web crawler), обозначающего программу-робота, автоматически обходящую веб-сайты для сбора информации.

История

Создание и запуск

WebCrawler был создан в 1994 году студентом Вашингтонского университета Брайаном Пинкертоном. Изначально проект разрабатывался как часть исследовательской работы по распределённым вычислительным системам. Пинкертон написал программу-робота на языке C, которая обходила веб-страницы, извлекала из них текст и сохраняла его в базе данных для последующего поиска. 20 апреля 1994 года система была запущена в эксплуатацию.

Ключевым нововведением WebCrawler стало то, что он индексировал не только заголовки и URL-адреса, как это делали предшественники (например, Aliweb или JumpStation), а всё содержимое веб-страницы. Это позволило пользователям находить документы по любому слову, встречающемуся в тексте, что существенно повысило релевантность поиска.

Коммерциализация и смена владельцев

В 1995 году, осознав коммерческий потенциал поисковой системы, Пинкертон продал WebCrawler компании AOL (America Online) за сумму, по разным данным, около 1 миллиона долларов. Под управлением AOL WebCrawler стал одним из популярнейших поисковых сервисов в интернете, особенно в 1995–1996 годах. Однако с появлением более мощных и быстрых конкурентов, таких как AltaVista (1995) и Google (1998), его популярность начала снижаться.

В 1997 году AOL продала WebCrawler компании Excite, которая в то время владела одноимённой поисковой системой. Excite использовала WebCrawler как один из своих брендов, но постепенно перевела его на собственный поисковый движок. В 2001 году Excite обанкротилась, и её активы, включая WebCrawler, были приобретены компанией InfoSpace (позже переименованной в Blucora).

Современное состояние

В настоящее время WebCrawler принадлежит компании System1, которая специализируется на управлении поисковыми сервисами и рекламных технологиях. Система больше не имеет собственного поискового робота и индекса. Вместо этого она агрегирует результаты поиска от других крупных поисковых систем, таких как Google, Yahoo! и Bing. Таким образом, современный WebCrawler является мета-поисковой системой, а не самостоятельным поисковым движком. Несмотря на утрату технологической уникальности, бренд WebCrawler сохраняется и используется как один из сервисов в портфеле компании System1.

Технология

Принцип работы

В первоначальной версии WebCrawler работал по следующей схеме:

1. Обход (Crawling): Программа-робот начинала с заданного списка URL-адресов. Она загружала веб-страницу, извлекала из неё все гиперссылки и добавляла их в очередь для дальнейшего обхода.
2. Индексация (Indexing): Из каждой загруженной страницы извлекался видимый пользователю текст. Этот текст разбивался на отдельные слова (токены), которые затем заносились в инвертированный индекс. Индекс представлял собой базу данных, где каждому слову сопоставлялся список страниц, на которых оно встречается, с указанием позиции.
3. Поиск (Searching): Когда пользователь вводил поисковый запрос, система находила в индексе все страницы, содержащие слова из запроса. Результаты ранжировались по простому алгоритму, учитывающему частоту встречаемости слова на странице (TF — Term Frequency) и количество ссылок на страницу с других сайтов.

Отличия от предшественников

Главным технологическим отличием WebCrawler от более ранних систем (например, Wandex, Aliweb) была именно полнотекстовая индексация. Предшественники либо индексировали только URL и заголовки, либо полагались на ручное описание страниц авторами. WebCrawler автоматизировал процесс сбора и анализа всего содержимого, что стало стандартом для всех последующих поисковых систем.

Значение и влияние

Вклад в развитие поисковых систем

WebCrawler сыграл ключевую роль в становлении современного веб-поиска. Он продемонстрировал практическую возможность и эффективность полнотекстового поиска в масштабах растущей Всемирной паутины. Многие концепции, впервые реализованные в WebCrawler (автоматический обход, инвертированный индекс, ранжирование по частоте слов), легли в основу более поздних и мощных систем.

Влияние на интернет-культуру

В середине 1990-х годов WebCrawler был одним из самых узнаваемых брендов в интернете. Его простой и понятный интерфейс (строка поиска и кнопка) стал образцом для подражания. Для многих пользователей того времени WebCrawler был первым опытом использования поисковой системы, что сформировало их представление о том, как должен работать поиск в интернете.

Критика

Основная критика в адрес WebCrawler в его пиковый период была связана с ограниченным объёмом индекса. Поскольку система работала на одном сервере и не имела мощных вычислительных ресурсов, она могла проиндексировать лишь небольшую часть существовавших на тот момент веб-страниц. По оценкам, к концу 1994 года индекс WebCrawler содержал около 10–15 тысяч документов, что было ничтожно мало по сравнению с общим объёмом интернета. Это приводило к тому, что многие релевантные страницы просто не находились. С появлением AltaVista, которая могла индексировать миллионы страниц, недостаток WebCrawler стал критическим.

Интересные факты

• Изначально WebCrawler назывался просто «WebCrawler» и не имел коммерческого названия.
• В 1995 году WebCrawler стал первой поисковой системой, которая начала показывать рекламу в результатах поиска, что положило начало индустрии контекстной рекламы.
• Логотип WebCrawler — паук — стал одним из самых узнаваемых символов раннего интернета.
• Несмотря на то, что WebCrawler перестал быть самостоятельным поисковым движком, его домен (webcrawler.com) продолжает работать и привлекать трафик, в основном за счёт узнаваемости бренда.

Источники

• Pinkerton, B. (1994). «Finding What People Want: Experiences with the WebCrawler». Proceedings of the Second International World Wide Web Conference.
• Schwartz, E. I. (1998). Webonomics: Nine Essential Principles for Growing Your Business on the World Wide Web. Broadway Books.
• Battelle, J. (2005). The Search: How Google and Its Rivals Rewrote the Rules of Business and Transformed Our Culture. Portfolio.
• Архивные материалы сайта WebCrawler (webcrawler.com) за 1996–1999 годы, сохранённые в Internet Archive Wayback Machine.