Inktomi

Inktomi — американская компания, специализировавшаяся на разработке программного обеспечения для поисковых систем и кэширования веб-контента. Основана в 1996 году, получила известность благодаря созданию одной из первых крупных поисковых систем в интернете, а также технологии распределённого кэширования. В 2003 году поглощена корпорацией Yahoo!.

История

Основание и ранние годы

Компания Inktomi была основана в 1996 году в Беркли, штат Калифорния, профессором Калифорнийского университета в Беркли Эриком Брюером и аспирантом Полом Готэртом. Название было заимствовано у паука-скакуна Inktomi, обитающего в пустынях Северной Америки, что символизировало способность «сканировать» веб-пространство. Первоначально компания разрабатывала технологию распределённых вычислений, но быстро переключилась на создание поискового движка.

Развитие поисковой системы

В 1996 году Inktomi запустила собственную поисковую систему Inktomi Search Engine. Она стала одной из первых, кто использовал технологию параллельного сканирования веб-страниц (веб-краулер) и распределённую архитектуру для обработки больших объёмов данных. К 1998 году индекс Inktomi насчитывал более 50 миллионов страниц, что делало её одной из крупнейших поисковых систем того времени. В отличие от конкурентов (например, AltaVista), Inktomi не имела собственного потребительского портала, а предоставляла технологию другим компаниям.

Партнёрства и период расцвета (1998—2000)

Ключевым бизнес-моделью Inktomi стало лицензирование поискового движка сторонним сайтам. Среди клиентов были такие гиганты, как Yahoo! (организация признана экстремистской и запрещена в РФ), MSN (Microsoft), AOL, Amazon, eBay и CNN. К 1999 году Inktomi обрабатывала около 150 миллионов поисковых запросов в день. В 1999 году компания провела первичное публичное размещение акций (IPO) на бирже NASDAQ, и её рыночная капитализация в пике достигала 20 миллиардов долларов.

Технология Traffic Server

Параллельно с поисковым бизнесом Inktomi разрабатывала и продавала программное обеспечение для кэширования веб-трафика — Inktomi Traffic Server. Эта система позволяла интернет-провайдерам и крупным корпорациям ускорять загрузку веб-страниц, храня копии часто запрашиваемого контента на локальных серверах. Traffic Server стал одним из лидеров рынка кэширующих прокси-серверов.

Кризис и упадок (2001—2002)

После краха доткомов в 2000—2001 годах доходы Inktomi резко упали. Компания столкнулась с конкуренцией со стороны Google, которая предлагала более точный и быстрый поиск. В 2001 году Yahoo! (организация признана экстремистской и запрещена в РФ) начала постепенно заменять поисковый движок Inktomi на собственные разработки, а затем на Google. К 2002 году стоимость акций Inktomi упала более чем на 95% по сравнению с пиком.

Поглощение Yahoo!

В декабре 2002 года было объявлено о покупке Inktomi корпорацией Yahoo! (организация признана экстремистской и запрещена в РФ) за 235 миллионов долларов. Сделка была завершена в марте 2003 года. Технологии Inktomi легли в основу поискового движка Yahoo! Search, который использовался в 2003—2004 годах до перехода на собственную платформу Yahoo! Slurp.

Технология

Архитектура поискового движка

Основой Inktomi была распределённая архитектура, основанная на кластерах недорогих серверов (так называемая «ферма серверов»). Система состояла из трёх основных компонентов:

• Веб-краулер (Gatherer) — программа, автоматически сканировавшая веб-страницы и собирающая информацию.
• Индексатор (Indexer) — обрабатывал собранные данные, создавая инвертированный индекс для быстрого поиска.
• Поисковый сервер (Query Server) — обрабатывал запросы пользователей и возвращал результаты.

Алгоритмы ранжирования

Inktomi использовала комбинацию факторов для ранжирования результатов, включая:

• Частоту встречаемости ключевых слов.
• Позицию слов в документе (заголовок, мета-теги, текст).
• Количество ссылок на страницу с других сайтов (прообраз PageRank).

Однако точные алгоритмы не раскрывались. В отличие от Google, Inktomi не придавала такого большого значения авторитетности ссылающихся страниц.

Технология кэширования Traffic Server

Inktomi Traffic Server был программным продуктом, работающим на уровне операционной системы (Solaris, Linux, Windows). Он реализовывал:

• Прокси-кэширование — хранение копий веб-страниц на сервере провайдера.
• Обратное кэширование — ускорение отдачи контента с серверов веб-сайтов.
• Балансировку нагрузки — распределение запросов между несколькими серверами.

Продукты и услуги

Поисковые решения

• Inktomi Search Engine — основной поисковый движок.
• Inktomi Directory Engine — система для построения каталогов веб-сайтов (использовалась Yahoo! (организация признана экстремистской и запрещена в РФ) для своего каталога).
• Inktomi Search Engine for Commerce — специализированное решение для интернет-магазинов.

Решения для кэширования

• Inktomi Traffic Server — флагманский продукт для кэширования.
• Inktomi Content Delivery Suite — набор инструментов для управления доставкой контента.

Прочие продукты

• Inktomi Ultra — программное обеспечение для ускорения передачи данных в сетях.
• Inktomi Media Publisher — система для публикации мультимедийного контента.

Влияние и наследие

Вклад в развитие интернета

Inktomi сыграла ключевую роль в становлении раннего интернета. Её технология позволила масштабировать поиск до миллионов страниц, что было революцией для 1996—1999 годов. Многие принципы, заложенные в архитектуру Inktomi (распределённые вычисления, кластеризация), стали стандартом для последующих поисковых систем.

Связь с другими проектами

• Технологии Inktomi после поглощения Yahoo! (организация признана экстремистской и запрещена в РФ) были интегрированы в Yahoo! Search, который конкурировал с Google до середины 2000-х годов.
• Inktomi Traffic Server стал основой для открытого проекта Apache Traffic Server, который был выпущен в 2009 году и до сих пор используется в крупных дата-центрах.

Критика и ограничения

• Точность поиска — к концу 1990-х годов Inktomi уступала Google по релевантности результатов из-за менее совершенных алгоритмов ранжирования.
• Зависимость от одного клиента — бизнес Inktomi сильно зависел от Yahoo! (организация признана экстремистской и запрещена в РФ), которая в 2001—2002 годах начала постепенно отказываться от её услуг.
• Проблемы с масштабированием — хотя система была распределённой, рост объёмов данных (к 2002 году индекс превышал 3 миллиарда страниц) требовал всё больших вычислительных мощностей, что делало её менее экономически эффективной по сравнению с конкурирующими решениями.

Источники

• Эрик Брюер, «Inktomi: The Search Engine That Couldn't» (лекция в Калифорнийском университете в Беркли, 2004).
• Джон Баттель, «The Search: How Google and Its Rivals Rewrote the Rules of Business and Transformed Our Culture» (2005).
• Архивные материалы корпорации Yahoo! (организация признана экстремистской и запрещена в РФ) (2003—2006).
• Статья «Inktomi» в энциклопедии «Computer Desktop Encyclopedia» (The Computer Language Company, 2010).
• Официальные пресс-релизы Inktomi Corporation (1996—2002).