Индекс Симпсона

Индекс Симпсона — это количественный показатель, используемый для измерения степени разнообразия (гетерогенности) или концентрации (доминирования) в наборе данных. В экологии он применяется для оценки биоразнообразия сообществ, в экономике — для анализа рыночной концентрации, а в социологии и лингвистике — для оценки равномерности распределения категорий. Индекс был предложен британским статистиком Эдвардом Хью Симпсоном в 1949 году.

История возникновения

В 1949 году Эдвард Хью Симпсон опубликовал статью «Measurement of Diversity» в журнале Nature, где впервые описал меру, позволяющую оценить вероятность того, что две случайно выбранные особи из сообщества принадлежат к одному и тому же виду. Первоначально индекс разрабатывался для экологических исследований, где требовалось количественно сравнивать видовое богатство разных территорий. Позднее, в 1950-х годах, экономист Альберт Хиршман независимо предложил аналогичный показатель для измерения концентрации рынка, который получил название индекс Херфиндаля — Хиршмана (HHI). В современной науке оба индекса считаются математически идентичными, но применяются в разных контекстах.

Определение и формула

Индекс Симпсона измеряет вероятность того, что два случайно взятых элемента (например, особи, фирмы, слова) принадлежат к одной категории. Чем выше значение индекса, тем ниже разнообразие и выше концентрация (доминирование одного или нескольких видов).

Базовая формула (для бесконечной генеральной совокупности)

\[ D = \sum_{i=1}^{S} p_i^2 \]

Где:

• \( D \) — индекс Симпсона (вероятность совпадения);
• \( S \) — общее количество категорий (видов);
• \( p_i \) — доля \( i \)-й категории в общем объёме выборки (относительная численность).

Формула для конечной выборки (с поправкой на малый объём)

Для выборок, где объём данных невелик, используется несмещённая оценка:

\[ D = \sum_{i=1}^{S} \frac{n_i (n_i - 1)}{N (N - 1)} \]

Где:

• \( n_i \) — количество элементов в \( i \)-й категории;
• \( N \) — общее количество элементов в выборке.

Индекс разнообразия Симпсона (обратная величина)

Часто для удобства интерпретации используют обратную величину — индекс разнообразия Симпсона (Simpson's Diversity Index), который растёт с увеличением разнообразия:

\[ 1 - D \]

Или индекс обратной концентрации:

\[ \frac{1}{D} \]

Значение \( 1 - D \) лежит в диапазоне от 0 (максимальная концентрация, один вид доминирует) до 1 (максимальное разнообразие, все виды равномерно распределены).

Классификация и интерпретация

Индекс Симпсона интерпретируется в зависимости от контекста применения:

• Экология: \( D \) близкое к 1 указывает на доминирование одного вида (низкое биоразнообразие); \( D \) близкое к 0 — на равномерное распределение множества видов (высокое разнообразие). Индекс \( 1 - D \) (или \( 1/D \)) показывает, насколько сообщество разнообразно.
• Экономика: индекс Херфиндаля — Хиршмана (HHI) — аналог \( D \), умноженный на 10000. Значение HHI < 1000 указывает на низкую концентрацию рынка (конкурентный рынок), HHI > 2500 — на высокую концентрацию (олигополия или монополия).
• Социология: индекс позволяет оценить этническое, языковое или религиозное разнообразие региона. Например, в странах с высокой этнической гомогенностью (Япония) \( D \) будет близок к 1, а в мультикультурных обществах (США, Канада) — ниже.

Применение

Экология и биология

Индекс Симпсона — один из основных инструментов для оценки биоразнообразия. Он используется при:

• Мониторинге состояния экосистем (например, после загрязнения или восстановления);
• Сравнении видового состава разных местообитаний;
• Оценке влияния инвазивных видов на аборигенную флору и фауну.

Пример: в тропическом лесу \( 1 - D \) может составлять 0,95–0,99, что указывает на высокое разнообразие, а в монокультурном поле пшеницы — 0,1–0,3.

Экономика и антимонопольное регулирование

В экономике индекс Херфиндаля — Хиршмана (HHI) применяется для оценки рыночной концентрации. Антимонопольные органы (Федеральная торговая комиссия США, ФАС России) используют HHI при анализе слияний и поглощений. Например, если после слияния двух компаний HHI превышает 2500, сделка может быть признана ограничивающей конкуренцию.

Социология и лингвистика

• Этническое разнообразие: индекс используется для расчёта вероятности того, что два случайных жителя региона принадлежат к разным этническим группам.
• Лингвистика: индекс Симпсона применяется для оценки лексического разнообразия текста — чем больше уникальных слов и равномернее их распределение, тем выше значение \( 1 - D \).

Медицина и эпидемиология

В эпидемиологии индекс может использоваться для оценки разнообразия штаммов патогенов в популяции. Например, высокое разнообразие вируса гриппа может указывать на активную циркуляцию различных подтипов.

Сравнение с другими индексами

Индекс Симпсона часто сравнивают с индексом Шеннона (Shannon Index), который также измеряет разнообразие, но чувствителен к редким видам. Индекс Симпсона, напротив, более чувствителен к доминирующим видам. Выбор между ними зависит от задачи:

• Если важно учитывать все виды, включая редкие, — предпочтителен индекс Шеннона.
• Если необходимо подчеркнуть вклад наиболее распространённых видов — индекс Симпсона.

Критика и ограничения

1. Чувствительность к объёму выборки: при малых \( N \) индекс может давать смещённые оценки, особенно если выборка не репрезентативна.
2. Нечувствительность к видовому богатству: индекс Симпсона не различает сообщества с одинаковым доминированием, но разным количеством редких видов. Например, сообщество из 10 видов (один доминирует, 9 редких) и сообщество из 100 видов (один доминирует, 99 редких) могут иметь одинаковый \( D \).
3. Зависимость от масштаба: индекс может варьироваться в зависимости от пространственного масштаба исследования (локальный vs. региональный).

Интересные факты

• Индекс Симпсона является частным случаем обобщённого индекса разнообразия Хилла (Hill numbers), где параметр \( q = 2 \).
• В 2020 году исследователи из Университета Калифорнии применили индекс Симпсона для анализа разнообразия мемов в социальных сетях, выявив, что вирусные мемы снижают общее разнообразие контента.
• В России индекс Симпсона используется Росстатом для оценки этнического разнообразия регионов, а Федеральная антимонопольная служба (ФАС) применяет HHI при анализе рынков.

Источники

• Simpson, E. H. (1949). Measurement of diversity. Nature, 163(4148), 688.
• Hill, M. O. (1973). Diversity and evenness: a unifying notation and its consequences. Ecology, 54(2), 427–432.
• Методические рекомендации ФАС России по анализу состояния конкуренции на товарных рынках (утв. Приказом ФАС России от 28.04.2010 № 220).
• Magurran, A. E. (2004). Measuring Biological Diversity. Blackwell Publishing.
• Росстат. (2021). Этнический состав населения Российской Федерации по данным переписи 2020 года.