Открыть сервисСервис

Токен — понятие и виды

Токен — термин, используемый в нескольких областях: информационной безопасности, компьютерной лингвистике и криптовалютной индустрии. В общем смысле токен — это цифровой или физический объект, служащий носителем определённого значения, прав доступа или подтверждения подлинности. В зависимости от контекста токеном называют также единицу криптовалюты, выпущенную поверх блокчейна, и минимальную единицу текста, обрабатываемую алгоритмом.

Токен в информационной безопасности

В информационной безопасности токен — это физическое устройство или программный объект, подтверждающий личность пользователя при аутентификации. Токены бывают аппаратными (USB-ключи, смарт-карты, криптографические токены) и программными (одноразовые коды, сессионные маркеры).

Аппаратные токены

Аппаратный токен — это небольшое устройство, содержащее криптографический модуль и генератор одноразовых паролей (OTP). Наиболее распространены токены стандарта OATH (TOTP и HOTP), а также устройства на базе криптографии PKI. Примеры — токены YubiKey, Рутокен, JaCarta, eToken. Такие устройства используются для двухфакторной аутентификации в корпоративных системах, интернет-банках и государственных сервисах.

Программные токены

Программные токены реализуются в виде одноразовых паролей, отправляемых по SMS или формируемых мобильным приложением, а также в виде сессионных токенов — маркеров, выдаваемых сервером после успешной аутентификации. Сессионные токены (например, JWT — JSON Web Token) широко применяются в веб-приложениях для управления доступом и хранения состояния пользователя.

Токен в криптовалютах

В блокчейн-индустрии токен — это цифровой актив, выпущенный поверх существующего блокчейна с помощью смарт-контракта. В отличие от криптовалюты, которая имеет собственный блокчейн (например, биткойн), токен функционирует на блокчейне другой платформы — чаще всего Ethereum, Solana, Tron или BNB Chain.

Стандарты токенов

Наиболее распространённые стандарты токенов на Ethereum — ERC-20 (fungible, взаимозаменяемые) и ERC-721 (non-fungible, невзаимозаменяемые, NFT). Стандарт ERC-20 описывает интерфейс, который позволяет токенам взаимодействовать с кошельками, биржами и децентрализованными приложениями.

Классификация токенов

Токены в криптовалютной индустрии классифицируют по назначению:

  • Платёжные токены — служат средством расчётов (USDT, USDC).
  • Утилитарные токены — дают доступ к функциям децентрализованной платформы.
  • Токены управления (governance) — предоставляют право голоса в управлении протоколом.
  • Токены, обеспеченные активами (asset-backed) — привязаны к реальным активам: фиатным валютам, золоту, недвижимости.
  • NFT — уникальные цифровые объекты, подтверждающие право собственности на цифровой или реальный актив.

Токен в компьютерной лингвистике

В обработке естественного языка (NLP) токен — это минимальная единица текста, на которую разбивается документ перед анализом. Токенизация — процесс разбиения текста на токены — является первым шагом в большинстве NLP-пайплайнов. Токеном может быть слово, часть слова, знак препинания или специальный символ.

Токенизация и BPE

Современные языковые модели используют алгоритмы субсловной токенизации, такие как Byte Pair Encoding (BPE) и WordPiece. Эти алгоритмы разбивают редкие слова на более мелкие подсловные единицы, что позволяет модели эффективнее работать с большим словарём. Именно поэтому в языковых моделях токен часто не совпадает со словом: одно слово может занимать несколько токенов, а несколько коротких слов — один.

Токены и стоимость LLM

В языковых моделях (ChatGPT, GigaChat, YandexGPT) токен является единицей измерения объёма текста и, как правило, единицей тарификации. Стоимость запроса к API обычно исчисляется в токенах: за входной и выходной текст отдельно. Средняя длина токена в английском тексте — около 4 символов, в русском — около 3–4.

Токен в других областях

Термин «токен» используется и в других контекстах:

  • Токен доступа (access token) — в протоколах OAuth 2.0 и OpenID Connect служит подтверждением прав пользователя при обращении к защищённым ресурсам.
  • Токен в сетевых технологиях — в локальных сетях с доступом по токену (Token Ring, Token Bus) — специальный кадр, дающий право передачи данных.
  • Токен в лингвистике и семиотике — знак, обозначающий объект или понятие.

Применение

Токены в информационной безопасности применяются в корпоративной аутентификации, электронном документообороте и государственных информационных системах. Криптовалютные токены используются в децентрализованных финансах (DeFi), цифровых коллекциях и системах лояльности. Токенизация текста является основой машинного перевода, анализа тональности, чат-ботов и генеративных языковых моделей.

Источники:

  • RFC 6749 — The OAuth 2.0 Authorization Framework
  • ERC-20 Token Standard, Ethereum Improvement Proposals
  • Jurafsky D., Martin J. H. Speech and Language Processing
  • NIST SP 800-63B — Digital Identity Guidelines
Заметили ошибку или не согласны с информацией в статье? Напишите нам support@bfometr.ru