Брайан Пинкертон

Брайан Пинкертон (англ. Brian Pinkerton; 1966, Чикаго, штат Иллинойс, США) — американский программист и предприниматель, наиболее известный как создатель первой в истории графической поисковой системы для Всемирной паутины — WebCrawler. Пинкертон считается одним из пионеров интернет-поиска, заложившим основы современных поисковых технологий.

Биография

Ранние годы и образование

Брайан Пинкертон родился в 1966 году в Чикаго. С раннего возраста проявлял интерес к компьютерам и программированию. В 1984 году поступил в Вашингтонский университет (Сиэтл), где изучал компьютерные науки. В 1988 году получил степень бакалавра, а в 1992 году — степень магистра в той же области. Во время обучения Пинкертон специализировался на алгоритмах обработки данных и информационном поиске.

Создание WebCrawler

В 1993 году, работая аспирантом в Вашингтонском университете, Пинкертон начал разработку программы, способной автоматически индексировать содержимое веб-страниц. На тот момент Всемирная паутина (World Wide Web) насчитывала всего несколько тысяч сайтов, и поиск информации в ней осуществлялся вручную через каталоги (например, Yahoo! Directory) или с помощью простых списков ссылок.

Пинкертон написал программу на языке Си, которая получила название WebCrawler. 20 апреля 1994 года он запустил её в тестовом режиме на сервере университета. В отличие от существовавших тогда поисковых систем (например, Wandex или Aliweb), WebCrawler был первым, кто индексировал полный текст веб-страниц, а не только заголовки или метатеги. Это позволяло пользователям находить документы по любому слову, содержащемуся на странице.

Первоначально WebCrawler представлял собой простой интерфейс командной строки, но уже к лету 1994 года Пинкертон разработал для него графический веб-интерфейс. Система быстро набрала популярность: к концу 1994 года она обрабатывала до 15 000 запросов в день.

Коммерциализация и продажа

В 1995 году, осознав коммерческий потенциал своего изобретения, Пинкертон основал компанию WebCrawler, LLC. Однако уже в июне 1995 года он продал её компании America Online (AOL) за сумму около 1 миллиона долларов США. AOL использовала WebCrawler в качестве основной поисковой системы для своих пользователей, а затем в 1997 году перепродала её компании Excite. Под управлением Excite WebCrawler постепенно утратил лидерство, уступив более новым системам, таким как AltaVista и Google.

Дальнейшая карьера

После продажи WebCrawler Пинкертон не прекратил заниматься разработками. Он работал в нескольких технологических компаниях, включая Microsoft, где занимался проектами в области поиска и анализа данных. В 2000-х годах он основал стартап в сфере мобильных приложений, однако он не получил широкой известности. В последующие годы Пинкертон вёл частную жизнь, редко давая интервью. По состоянию на 2020-е годы он проживает в Сиэтле, занимается консалтингом в области информационных технологий.

Вклад в развитие интернет-поиска

Первый полнотекстовый поисковик

Главным достижением Пинкертона считается создание WebCrawler — первой поисковой системы, индексировавшей полный текст веб-страниц. До неё существовавшие системы (например, Archie для FTP-серверов или Veronica для Gopher) работали только с именами файлов или метаданными. WebCrawler же позволял находить документы по любому слову, встречающемуся в тексте, что кардинально повысило точность и удобство поиска.

Алгоритм индексации

Пинкертон разработал оригинальный алгоритм обхода (crawling) веб-страниц. Программа начинала с заданного списка URL, загружала страницу, извлекала из неё все гиперссылки и добавляла их в очередь для последующего обхода. Текст каждой страницы разбивался на слова, которые заносились в индексную таблицу вместе с адресом страницы. Для ускорения поиска Пинкертон использовал хеш-таблицы и битовые массивы. При обработке запроса система находила все страницы, содержащие все слова из запроса, и выдавала их в порядке релевантности (количество вхождений слов).

Влияние на последующие системы

Идеи, реализованные Пинкертоном в WebCrawler, легли в основу практически всех современных поисковых систем, включая Google, Yandex и Bing. В частности, принцип полнотекстового индексирования и ранжирования по частоте слов (TF-IDF) был впервые применён именно в WebCrawler. Хотя алгоритм PageRank, разработанный Ларри Пейджем и Сергеем Брином, появился позже, он опирался на те же базовые принципы сбора и индексации данных.

Критика и ограничения

Несмотря на новаторство, WebCrawler имел ряд ограничений. Во-первых, он индексировал только текстовое содержимое страниц, игнорируя изображения, видео и другие медиафайлы. Во-вторых, его алгоритм ранжирования был примитивным: он не учитывал авторитетность сайта, количество ссылок на него или другие внешние факторы. В-третьих, по современным меркам, скорость индексации была крайне низкой: WebCrawler мог обрабатывать не более нескольких сотен страниц в день.

Кроме того, Пинкертон не запатентовал свои алгоритмы, что позволило другим компаниям (включая AltaVista и Google) свободно использовать и развивать его идеи. Некоторые историки технологий критикуют его за то, что он не смог капитализировать своё изобретение в полной мере, продав компанию за относительно скромную сумму.

Признание

Вклад Брайана Пинкертона в развитие интернета был отмечен рядом профессиональных сообществ. В 2005 году он был включён в список «50 самых влиятельных людей в истории интернета» по версии журнала PC World. В 2014 году, к 20-летию WebCrawler, Ассоциация вычислительной техники (ACM) провела специальную сессию, посвящённую истории поисковых систем, где Пинкертон был назван «отцом веб-поиска». Его имя также упоминается в учебниках по информационному поиску и истории компьютерных наук.

Интересные факты

• Первоначально WebCrawler хранил индекс в обычном текстовом файле, который занимал около 10 мегабайт — для 1994 года это был значительный объём.
• Пинкертон написал первую версию программы за несколько недель, работая по ночам и в выходные.
• Логотип WebCrawler — паук (crawler) — был нарисован самим Пинкертоном в графическом редакторе.
• В 1996 году, уже после продажи WebCrawler, Пинкертон создал прототип системы персонализированного поиска, которая запоминала предпочтения пользователя, но эта разработка не была доведена до коммерческого продукта.

Источники

• Brian Pinkerton. The WebCrawler: A Full-Text Indexing System for the World Wide Web. — University of Washington Technical Report, 1994.
• John Battelle. The Search: How Google and Its Rivals Rewrote the Rules of Business and Transformed Our Culture. — Portfolio, 2005.
• Steven Levy. In the Plex: How Google Thinks, Works, and Shapes Our Lives. — Simon & Schuster, 2011.
• PC World. The 50 Most Important People on the Web. — 2005.
• Интервью Брайана Пинкертона журналу Wired, 1995.