Средняя квадратическая ошибка¶

Средняя квадратическая ошибка (СКО; также среднеквадратическое отклонение оценки, root mean square error, RMSE) — статистический показатель, характеризующий меру расхождения между значениями величины, полученными в результате измерений или прогноза, и её истинными (эталонными) значениями. Вычисляется как квадратный корень из среднего арифметического квадратов разностей между сравниваемыми парами значений. В математической статистике и теории вероятностей термин часто используется для обозначения выборочного стандартного отклонения, однако в прикладных задачах (эконометрика, машинное обучение, обработка сигналов) под СКО понимают именно метрику точности модели, а не характеристику разброса данных.

¶Определение и формула

Для набора из n наблюдений, где \( y_i \) — фактические (истинные) значения, а \( \hat{y}_i \) — предсказанные (оценочные) значения, средняя квадратическая ошибка определяется формулой:

\[ RMSE = \sqrt{\frac{1}{n}\sum_{i=1}^{n}(y_i — \hat{y}_i)^2} \]

Иными словами, алгоритм расчёта включает три шага: вычисление остатков (разностей), их возведение в квадрат (для устранения знака и придания большего веса крупным отклонениям), усреднение суммы квадратов и извлечение квадратного корня. Возврат к исходным единицам измерения отличает RMSE от дисперсии ошибки и делает показатель интерпретируемым.

В отличие от средней абсолютной ошибки (MAE), которая использует модуль разности, СКО штрафует большие ошибки непропорционально сильнее. Например, при наличии одной ошибки в 10 единиц и девяти нулевых ошибок MAE составит 1,0, тогда как RMSE будет равен примерно 3,16. Это свойство делает RMSE чувствительной к выбросам.

¶Связь со стандартным отклонением

В статистике существует различие между СКО как мерой точности и стандартным отклонением как мерой изменчивости. Если оценивается качество несмещённой оценки параметра, то RMSE раскладывается на два компонента — дисперсию оценки и квадрат смещения:

\[ RMSE^2 = \text{Var}(\hat{\theta}) + \text{Bias}^2(\hat{\theta}) \]

Для несмещённых оценок RMSE совпадает со стандартной ошибкой. В случае, когда модель прогнозирует среднее значение зависимой переменной, RMSE численно близка к выборочному стандартному отклонению остатков. Однако для данных с ненулевым средним остатков СКО будет выше, что сигнализирует о систематической ошибке модели.

В статистическом контроле качества и метрологии термин «средняя квадратическая ошибка» используется как характеристика точности измерительного прибора. Здесь СКО результата измерений определяется по формуле Бесселя через сумму квадратов отклонений от среднего арифметического, делённую на n-1 (для несмещённой оценки дисперсии).

¶Применение в регрессионном анализе

В регрессионном анализе RMSE служит основной метрикой качества подгонки модели. Она показывает, насколько сильно фактические значения зависимой переменной отклоняются от линии регрессии в среднем. Чем меньше значение RMSE, тем лучше модель объясняет данные. Однако интерпретация абсолютной величины RMSE затруднена без сравнения с масштабом зависимой переменной. Поэтому часто используют нормализованные варианты — NRMSE (отношение RMSE к размаху или среднему значению) или коэффициент детерминации R², который выражает долю объяснённой дисперсии.

Сравнение альтернативных моделей по RMSE позволяет выбрать наилучшую, но требует осторожности: метрика чувствительна к выбросам и может быть смещена при малых выборках. В таких случаях предпочтительнее использовать скорректированные критерии (например, информационный критерий Акаике) или перекрёстную проверку.

¶Использование в машинном обучении

В задачах регрессии машинного обучения RMSE входит в число стандартных функций потерь и метрик оценки. Библиотеки scikit-learn, TensorFlow и PyTorch содержат встроенные реализации RMSE. При обучении нейронных сетей часто минимизируют именно средний квадрат ошибки (MSE) как функцию потерь, а RMSE используют на этапе валидации для наглядной интерпретации.

Особенность RMSE в машинном обучении — её чувствительность к масштабу признаков. При наличии признаков с разными единицами измерения требуется нормализация. Также метрика предполагает, что ошибки распределены нормально и имеют постоянную дисперсию (гомоскедастичность). Нарушение этих допущений может привести к неоптимальному выбору модели.

¶СКО в геодезии и навигации

В геодезии и системах глобального позиционирования СКО используется для оценки точности определения координат. Например, для GPS-приёмников указывается плановая ошибка (2–5 метров) и высотная ошибка (в 1,5–2 раза больше). Расчёт ведётся по результатам многократных измерений относительно контрольных точек с известными координатами. В картографии нормативными документами устанавливаются допустимые значения СКО для топографических съёмок разных масштабов.

В спутниковой навигации RMSE применяется для оценки точности определения местоположения в реальном времени (DOP-факторы и их производные). Для дифференциальных режимов коррекции (DGPS, RTK) характерны значения СКО в сантиметровом диапазоне, тогда как автономный режим даёт ошибку в несколько метров.

¶СКО в обработке сигналов и изображений

При оценке качества сжатия изображений и видео используется метрика RMSE между исходным и восстановленным сигналом. Она лежит в основе вычисления пикового отношения сигнала к шуму (PSNR), которое выражается в децибелах как логарифмическая функция от RMSE. Чем выше PSNR, тем ниже RMSE и тем лучше качество реконструкции.

В задачах фильтрации сигналов СКО позволяет оценить эффективность подавления шума. Сравнивая RMSE до и после фильтрации, можно количественно определить улучшение отношения сигнал/шум. Аналогичный подход применяется в медицинской визуализации (МРТ, КТ) для контроля качества реконструкции томографических изображений.

¶Ограничения и альтернативы

Основные недостатки RMSE: чувствительность к выбросам, зависимость от масштаба данных и сложность интерпретации при ненормальном распределении ошибок. В таких случаях применяют устойчивые альтернативы: медианную абсолютную ошибку (MedAE), среднюю абсолютную процентную ошибку (MAPE) или логарифмическую функцию потерь. Для задач с асимметричной стоимостью ошибок (например, в финансах) используют взвешенные варианты СКО, где большим отклонениям в определённую сторону присваивается больший вес.

В статистической теории оценивания RMSE не всегда является оптимальным критерием: при наличии выбросов более эффективными могут быть оценки на основе модуля отклонения (L1-норма). Выбор между RMSE и альтернативами определяется конкретной прикладной задачей и требованиями к устойчивости результата.

¶См. также

• Средняя абсолютная ошибка
• Дисперсия случайной величины
• Коэффициент детерминации
• Метод наименьших квадратов