Deep web: структура, содержание и доступ¶

Deep web (глубокая сеть, невидимый веб) — совокупность веб-страниц и данных в интернете, которые не индексируются стандартными поисковыми системами (Google, Яндекс, Bing). В отличие от поверхностного веба (surface web), составляющего лишь небольшую видимую часть сети, deep web включает динамические страницы, закрытые базы данных, приватные ресурсы и контент, требующий авторизации. Термин не следует путать с dark web — небольшой частью deep web, доступной только через специальное программное обеспечение, например Tor.

¶Определение и соотношение с поверхностным вебом

Чёткой границы между поверхностным и глубоким вебом не существует, поскольку один и тот же ресурс может быть частично проиндексирован, а частично скрыт. Ключевое отличие — доступность для поисковых роботов. Если страница не имеет прямых ссылок с других проиндексированных страниц, требует входа в систему или формируется динамически в ответ на запрос пользователя, она автоматически попадает в категорию deep web.

Оценки размеров deep web сильно разнятся. Согласно исследованию Майкла Бергмана 2001 года, объём глубокого веба в 400–550 раз превышал объём поверхностного. Современные оценки, учитывающие рост динамического контента и API, предполагают, что на deep web приходится свыше 90 % всех данных в интернете, однако точное измерение невозможно из-за самой природы скрытых ресурсов.

¶Содержимое deep web

Большинство ресурсов глубокой сети — легальные и рутинные сервисы, которыми люди пользуются ежедневно, не задумываясь об их «скрытости»:

• Личные кабинеты — банковские аккаунты, почтовые ящики (Gmail, Яндекс.Почта), страницы в социальных сетях, доступные только владельцу.
• Базы данных — научные журналы (PubMed, Scopus), правительственные реестры, статистические порталы, каталоги библиотек. Поисковые системы видят лишь форму запроса, но не содержимое ответов.
• Динамические страницы — результаты поиска на сайтах, страницы, генерируемые скриптами (AJAX, JavaScript), которые не сохраняются как статические HTML-файлы.
• Архивы и файлообменники — закрытые торрент-трекеры, корпоративные хранилища документов.
• Интранет-ресурсы — внутренние порталы компаний и государственных учреждений, недоступные из общего интернета.

¶Dark web как часть deep web

Dark web (тёмная сеть) — сегмент глубокого веба, размещённый в анонимных сетях (Tor, I2P, Freenet) и требующий специального ПО для доступа. Сайты в таких сетях используют псевдодомены верхнего уровня: .onion в Tor, .i2p в I2P. В отличие от обычного deep web, dark web обеспечивает высокий уровень анонимности как для владельцев сайтов, так и для посетителей, что делает его привлекательным для различных видов деятельности.

¶Легальное использование dark web

Значительная часть контента тёмной сети не связана с преступностью. К легальным применениям относятся:

• защищённая коммуникация для журналистов, работающих в странах с цензурой;
• анонимное информирование властей (например, платформа SecureDrop);
• обход государственных блокировок;
• приватные форумы и чаты для обсуждения чувствительных тем.

¶Нелегальный контент

Тёмная сеть также используется для противоправной деятельности: торговля наркотиками (крупнейшая закрытая площадка Silk Road действовала с 2011 по 2013 год, её создатель Росс Ульбрихт осуждён пожизненно), продажа украденных данных, оружия, поддельных документов. На площадках dark web действуют сервисы заказных кибератак и распространения вредоносного ПО. Значительную долю трафика составляют сайты с детской порнографией, борьба с которыми ведётся правоохранительными органами разных стран.

¶Технологии доступа

Для входа в dark web используются анонимные сети. Наиболее распространена Tor (The Onion Router) — технология, разработанная в 1990-х годах в Исследовательской лаборатории Военно-морских сил США. Принцип работы Tor основан на многослойном шифровании и маршрутизации трафика через цепочку из трёх случайных узлов (нод), что скрывает IP-адрес пользователя. Доступ к сети осуществляется через браузер Tor Browser, основанный на Mozilla Firefox.

Сеть I2P (Invisible Internet Project) использует иной принцип — «луковую маршрутизацию» с постоянными туннелями, что обеспечивает более высокую скорость, но меньшую совместимость с обычными протоколами. Freenet — пиринговая сеть для распределённого хранения данных, устойчивая к цензуре.

¶Правовое регулирование в России

В Российской Федерации доступ к отдельным ресурсам deep web ограничивается в соответствии с законодательством. Деятельность, связанная с распространением наркотиков, оружия, порнографических материалов с участием несовершеннолетних, а также экстремистских материалов, преследуется по Уголовному кодексу РФ независимо от того, в каком сегменте сети она ведётся. Сам по себе факт использования Tor или иных анонимайзеров не является правонарушением, однако может привлекать внимание правоохранительных органов в контексте расследования конкретных преступлений.

Роскомнадзор ведёт реестр запрещённых сайтов, в который включаются и ресурсы, расположенные в анонимных сетях, при обнаружении противоправного контента. Операторы связи обязаны блокировать доступ к таким ресурсам в пределах технической возможности.

¶Поиск в deep web

Стандартные поисковые системы не охватывают глубокую сеть. Для поиска используются специализированные инструменты:

• Научные агрегаторы — Google Scholar, Scopus, Web of Science индексируют академические базы данных.
• Каталоги баз данных — CompletePlanet, Directory of Open Access Journals (DOAJ).
• Поисковики dark web — Ahmia, DuckDuckGo (в версии для Tor), Grams (закрыт в 2018 году). Качество поиска в тёмной сети значительно ниже из-за малого числа индексируемых сайтов и их нестабильности.

¶Критика и заблуждения

В массовом сознании deep web часто отождествляется с тёмной сетью и нелегальным контентом, что не соответствует действительности. Подобные представления активно тиражируются СМИ и художественными произведениями. Фактически доля противоправного контента в deep web ничтожна по сравнению с объёмом легальных данных, а сама глубокая сеть является неотъемлемой частью повседневного интернета: любой защищённый паролем аккаунт — элемент deep web.

Другое распространённое заблуждение — утверждение, что deep web составляет «95–99 % интернета». Эти цифры не подкреплены надёжными исследованиями и основаны на устаревших оценках, не учитывающих развитие облачных технологий и API, которые изменили структуру веба.

¶Источники

• Bergman M. K. The Deep Web: Surfacing Hidden Value // The Journal of Electronic Publishing. — 2001. — Vol. 7, № 1.
• Dark Web / The Tor Project — официальная документация.
• Федеральный закон от 27.07.2006 № 149-ФЗ «Об информации, информационных технологиях и о защите информации».