Глубокий веб¶

Глубокий веб (также глубинный интернет, невидимый интернет, англ. Deep Web, Invisible Web, Hidden Web) — это часть Всемирной паутины, страницы которой не индексируются стандартными поисковыми системами (Google, Яндекс, Bing и другими). В отличие от поверхностного веба (Surface Web), доступного для поиска и просмотра через обычные браузеры, содержимое глубокого веба скрыто за различными техническими барьерами: динамическими страницами, формами авторизации, паролями, нестандартными протоколами или отсутствием ссылок с индексируемых сайтов. Термин «глубокий веб» не следует путать с «тёмным вебом» (Dark Web), который является лишь его небольшой частью, доступной через специальные анонимные сети (например, Tor).

¶История

Концепция неиндексируемого интернета возникла практически одновременно с появлением первых поисковых систем. В 1994 году, когда поисковики начали активно обходить веб-страницы, стало очевидно, что значительная часть контента остаётся вне их досягаемости. Термин «глубокий веб» ввёл в широкий обиход американский специалист по информационным технологиям Майкл Бергман в 2001 году в статье «The Deep Web: Surfacing Hidden Value», опубликованной в журнале «The Journal of Electronic Publishing». Бергман оценил, что глубокий веб в 400–550 раз больше поверхностного по объёму информации и содержит до 7500 терабайт данных.

В 2000-е годы развитие технологий веб-приложений (AJAX, JavaScript, базы данных) привело к резкому росту доли динамического контента, который поисковые системы не могли обрабатывать. Это сделало глубокий веб ещё более значимым. В 2010-е годы с появлением облачных сервисов, социальных сетей с закрытыми профилями и корпоративных порталов проблема индексации усугубилась, однако поисковые системы (Google, Bing) начали частично индексировать некоторые динамические страницы через специальные протоколы (например, через карты сайта).

¶Классификация

Глубокий веб неоднороден и включает несколько категорий контента, различающихся по способу доступа и назначению.

¶Динамический контент

Страницы, генерируемые сервером в реальном времени по запросу пользователя. Например, результаты поиска на сайтах авиабилетов, интернет-магазинов, банковских систем. Поисковые роботы не могут воспроизвести все возможные комбинации запросов, поэтому такие страницы остаются неиндексированными.

¶Контент с ограниченным доступом

Сайты, требующие регистрации, авторизации или оплаты. К ним относятся:

• Корпоративные порталы и интранет-сети.
• Электронные библиотеки с платным доступом (например, JSTOR, научные журналы).
• Социальные сети с настройками приватности (закрытые профили, группы).
• Форумы и блоги, требующие входа.
• Облачные хранилища (Google Drive, Dropbox) с приватными файлами.

¶Нестандартные форматы и протоколы

Файлы, которые поисковые системы не могут обработать напрямую: мультимедиа (видео, аудио), архивы (ZIP, RAR), базы данных, изображения в высоком разрешении, а также страницы, доступные через протоколы, отличные от HTTP/HTTPS (например, FTP, Gopher).

¶Контент, не имеющий ссылок

Страницы, на которые не ведут гиперссылки с других сайтов. Поисковые роботы находят новые страницы, переходя по ссылкам, поэтому изолированные документы остаются невидимыми.

¶Тёмный веб (Dark Web)

Небольшая часть глубокого веба, скрытая за анонимными сетями (Tor, I2P, Freenet). Доступ к ней возможен только через специальное программное обеспечение. Тёмный веб часто ассоциируется с нелегальной деятельностью (торговля наркотиками, оружием, данными), но также используется для легальных целей: анонимная коммуникация, обход цензуры, защита правозащитников и журналистов.

¶Устройство и принципы доступа

¶Технические барьеры

Основные причины, по которым контент глубокого веба не индексируется:

• Динамические URL-адреса с параметрами, которые поисковые системы не могут перебрать.
• Формы ввода (логин/пароль, капча), которые роботы не могут заполнить.
• JavaScript-зависимость — многие современные сайты загружают контент только после выполнения скриптов, что затрудняет индексацию.
• Файлы robots.txt — владельцы сайтов могут запретить поисковым системам индексировать определённые страницы.
• Протоколы, отличные от HTTP — например, FTP-серверы, базы данных SQL.

¶Инструменты доступа

Для обычного пользователя доступ к глубокому вебу не требует специальных знаний — он использует его ежедневно, заходя в личный кабинет банка, читая электронную почту или просматривая закрытые группы в соцсетях. Для доступа к тёмному вебу требуется установка браузера Tor (The Onion Router), который маршрутизирует трафик через несколько серверов, скрывая IP-адрес пользователя. Также существуют альтернативные сети: I2P (Invisible Internet Project) и Freenet.

¶Применение и значение

Глубокий веб имеет огромное значение для современного интернета, так как содержит основную массу данных, используемых в повседневной жизни.

¶Научные и образовательные ресурсы

Значительная часть научных публикаций, диссертаций, статистических данных и архивов находится в глубоком вебе. Например, базы данных PubMed, Scopus, Web of Science, а также корпоративные репозитории университетов. Доступ к ним часто платный или требует регистрации.

¶Государственные и корпоративные системы

Порталы государственных услуг (например, «Госуслуги» в России), системы электронного документооборота, базы данных налоговых служб, судебные реестры — все они относятся к глубокому вебу, так как требуют авторизации.

¶Коммерческие платформы

Интернет-магазины с персонализированными ценами, банковские онлайн-сервисы, биржи, трейдинговые платформы — их содержимое генерируется индивидуально для каждого пользователя и не индексируется.

¶Анонимность и обход цензуры

Тёмный веб используется диссидентами, журналистами и активистами в странах с жёсткой интернет-цензурой (например, в Китае, Иране, Северной Корее) для безопасной коммуникации. В России Tor официально не запрещён, но его использование может быть ограничено в рамках борьбы с экстремизмом.

¶Критика и риски

Глубокий веб, особенно его тёмная часть, вызывает обеспокоенность у правоохранительных органов и общества. Основные риски:

• Нелегальная торговля — на теневых рынках (например, Silk Road, Hydra — последняя была заблокирована в РФ в 2022 году) продаются наркотики, оружие, поддельные документы, украденные данные.
• Киберпреступность — хакерские форумы, продажа вредоносного ПО, услуг DDoS-атак.
• Экстремистский контент — распространение материалов, запрещённых в РФ (террористические организации, признанные таковыми в РФ, например, ИГИЛ, «Аль-Каида»).
• Нарушение авторских прав — пиратские копии фильмов, музыки, программного обеспечения.

В России законодательство (Федеральный закон № 149-ФЗ «Об информации, информационных технологиях и о защите информации») обязывает провайдеров блокировать доступ к сайтам, содержащим запрещённую информацию, в том числе на тёмном вебе. Однако из-за анонимности сети Tor блокировка затруднена.

¶Интересные факты

• По оценкам исследователей, глубокий веб составляет от 90% до 96% всего объёма интернета, тогда как поверхностный — лишь 4–10%.
• Крупнейший поисковик Google индексирует около 4–5 миллиардов страниц, но это лишь малая часть всех существующих веб-страниц.
• Первым известным теневым рынком в тёмном вебе стал Silk Road, запущенный в 2011 году и закрытый ФБР в 2013 году. Его основатель Росс Ульбрихт был приговорён к пожизненному заключению.
• В 2015 году в России был заблокирован сайт «Русский маршрут» (RAMP), крупнейший русскоязычный теневой рынок, работавший через Tor.
• Технология Tor изначально разрабатывалась в 1990-х годах в Военно-морской исследовательской лаборатории США для защиты правительственных коммуникаций.

¶Источники

• Bergman, M. K. (2001). The Deep Web: Surfacing Hidden Value. The Journal of Electronic Publishing.
• Wright, A. (2009). The Deep Web: The Internet You Can’t See. The New York Times.
• Федеральный закон от 27.07.2006 № 149-ФЗ «Об информации, информационных технологиях и о защите информации».
• Официальный сайт проекта Tor Project.
• Материалы Роскомнадзора о блокировке запрещённых сайтов.