Стандартное отклонение

Стандартное отклонение (среднеквадратическое отклонение, среднеквадратичное отклонение) — это наиболее распространённый показатель рассеивания (вариации) значений случайной величины относительно её математического ожидания (среднего арифметического). В статистике и теории вероятностей стандартное отклонение характеризует, насколько в среднем каждое отдельное значение в наборе данных отклоняется от среднего значения по выборке или генеральной совокупности. Чем больше стандартное отклонение, тем шире разброс данных; чем оно меньше, тем значения более сконцентрированы вокруг среднего.

Определение и обозначение

Стандартное отклонение обозначается греческой буквой σ (сигма) для генеральной совокупности и латинской буквой s для выборочного стандартного отклонения. Математически стандартное отклонение определяется как квадратный корень из дисперсии — среднего арифметического квадратов отклонений отдельных значений от их среднего. Таким образом, стандартное отклонение выражается в тех же единицах измерения, что и исходные данные, в отличие от дисперсии, которая выражается в квадратных единицах.

Формально для набора значений \( x_1, x_2, \dots, x_n \) стандартное отклонение вычисляется по формуле:

\[ \sigma = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (x_i - \mu)^2} \]

где \(\mu\) — среднее арифметическое значений, \(n\) — количество значений. Для выборочного стандартного отклонения используется поправка Бесселя (деление на \(n-1\) вместо \(n\)), чтобы получить несмещённую оценку дисперсии генеральной совокупности:

\[ s = \sqrt{\frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})^2} \]

где \(\bar{x}\) — выборочное среднее.

История

Понятие стандартного отклонения было введено в статистическую практику в конце XIX века. В 1893 году английский статистик Карл Пирсон в своей работе «Contributions to the Mathematical Theory of Evolution» впервые использовал термин «стандартное отклонение» (standard deviation) и предложил обозначение σ. До этого для описания разброса данных применялись другие меры, такие как среднее абсолютное отклонение, предложенное ещё в XVIII веке Пьером-Симоном Лапласом. Пирсон также ввёл понятие дисперсии как квадрата стандартного отклонения. Развитие теории стандартного отклонения тесно связано с работами Фрэнсиса Гальтона, который изучал изменчивость биологических признаков, и Рональда Фишера, разработавшего основы дисперсионного анализа.

Свойства

Стандартное отклонение обладает рядом важных свойств:

• Неотрицательность: σ ≥ 0. Равенство нулю достигается только в случае, когда все значения в наборе данных одинаковы.
• Чувствительность к выбросам: стандартное отклонение сильно зависит от экстремальных значений, так как в его вычислении используются квадраты отклонений.
• Масштабная инвариантность: если все значения умножить на константу c, то стандартное отклонение умножится на |c|.
• Инвариантность к сдвигу: если ко всем значениям прибавить константу, стандартное отклонение не изменится.
• Связь с дисперсией: σ = √D, где D — дисперсия.

Интерпретация

Правило трёх сигм

Для нормального распределения справедливо эмпирическое правило трёх сигм: около 68,27 % всех значений лежат в интервале μ ± σ, около 95,45 % — в интервале μ ± 2σ, и около 99,73 % — в интервале μ ± 3σ. Это правило широко используется в статистическом контроле качества и при анализе данных для обнаружения выбросов.

Коэффициент вариации

Для сравнения изменчивости наборов данных с разными средними значениями или единицами измерения используется коэффициент вариации, который вычисляется как отношение стандартного отклонения к среднему арифметическому (выраженное в процентах). Коэффициент вариации позволяет оценить относительный разброс данных.

Применение

Статистический контроль качества

В промышленности стандартное отклонение используется для оценки стабильности технологических процессов. Контрольные карты Шухарта строятся на основе среднего и стандартного отклонения: если значения выходят за пределы μ ± 3σ, процесс считается вышедшим из-под контроля. В России и странах бывшего СССР этот метод широко применяется в машиностроении, металлургии и пищевой промышленности.

Финансы и инвестиции

В финансовом анализе стандартное отклонение доходности актива или портфеля является мерой волатильности (риска). Чем выше стандартное отклонение, тем более рискованным считается вложение. Например, для российских акций (индекс Мосбиржи) стандартное отклонение дневной доходности за 2020–2023 годы составляло около 1,5–2 %, что выше, чем для американского индекса S&P 500 (около 1–1,2 %). Инвесторы используют стандартное отклонение для расчёта коэффициента Шарпа, который показывает доходность на единицу риска.

Науки о жизни

В биологии и медицине стандартное отклонение применяется при анализе результатов экспериментов, измерений физиологических показателей (рост, вес, давление) и в эпидемиологических исследованиях. Например, в педиатрии стандартное отклонение используется для построения центильных таблиц и оценки физического развития детей.

Психология и социология

В психометрике стандартное отклонение используется для интерпретации результатов тестов (например, IQ-тестов, где среднее равно 100, а стандартное отклонение — 15). В социологических опросах стандартное отклонение позволяет оценить степень согласия или разногласия респондентов по тому или иному вопросу.

Критика и ограничения

Стандартное отклонение, будучи квадратичной мерой, чувствительно к выбросам, что может искажать реальную картину разброса данных в выборках с аномальными значениями. В таких случаях предпочтительнее использовать медианное абсолютное отклонение (MAD) или межквартильный размах. Кроме того, стандартное отклонение не даёт информации о форме распределения — два набора данных с одинаковым средним и стандартным отклонением могут иметь совершенно разное распределение (например, симметричное или асимметричное). Для нормального распределения стандартное отклонение является естественной мерой разброса, но для распределений с тяжёлыми хвостами (например, распределение Коши) оно может быть бесконечным или неопределённым.

Вычисление

Ручной расчёт

Для небольшого набора данных стандартное отклонение можно вычислить вручную по шагам:

1. Найти среднее арифметическое.
2. Для каждого значения вычислить отклонение от среднего.
3. Возвести каждое отклонение в квадрат.
4. Найти среднее арифметическое квадратов отклонений (дисперсию).
5. Извлечь квадратный корень из дисперсии.

Программные средства

В современных статистических пакетах и языках программирования стандартное отклонение вычисляется встроенными функциями:

• В Microsoft Excel: функция СТАНДОТКЛОН.В (для выборки) или СТАНДОТКЛОН.Г (для генеральной совокупности).
• В Python (библиотека NumPy): numpy.std().
• В R: функция sd().
• В SPSS: команда DESCRIPTIVES с опцией STDDEV.

Пример

Рассмотрим набор данных: рост пяти человек (в сантиметрах): 170, 175, 180, 185, 190. Среднее арифметическое: (170+175+180+185+190)/5 = 180 см. Отклонения: -10, -5, 0, 5, 10. Квадраты отклонений: 100, 25, 0, 25, 100. Дисперсия: (100+25+0+25+100)/5 = 50. Стандартное отклонение: √50 ≈ 7,07 см. Это означает, что в среднем рост каждого человека отклоняется от среднего (180 см) примерно на 7 см.

Источники

• Гмурман В. Е. Теория вероятностей и математическая статистика. — М.: Высшая школа, 2003.
• Кендалл М., Стьюарт А. Статистические выводы и связи. — М.: Наука, 1973.
• Пирсон К. Contributions to the Mathematical Theory of Evolution. — Philosophical Transactions of the Royal Society A, 1893.
• ГОСТ Р ИСО 5725-1-2002 «Точность (правильность и прецизионность) методов и результатов измерений».
• Документация NumPy (numpy.std) и Microsoft Excel.