Метод Бенфорда

Метод Бенфорда — это статистический закон, описывающий распределение вероятностей первой значащей цифры в числовых данных, взятых из реальных источников. Согласно этому закону, цифра «1» встречается в качестве первой значащей цифры значительно чаще, чем «9», и частота появления каждой последующей цифры убывает логарифмически. Метод Бенфорда применяется для выявления аномалий в данных, в частности, для обнаружения фальсификаций в бухгалтерской отчётности, финансовых документах и результатах выборов.

История

Закономерность, впоследствии названная законом Бенфорда, была впервые замечена американским астрономом и математиком Саймоном Ньюкомом в 1881 году. Ньюком обнаружил, что в таблицах логарифмов первые страницы, содержащие логарифмы чисел, начинающихся с единицы, изнашиваются значительно быстрее, чем страницы, соответствующие числам, начинающимся с девятки. Он опубликовал краткую заметку, в которой сформулировал эмпирическое правило: вероятность того, что число начинается с цифры \(d\), равна \(\log_{10}(1 + 1/d)\). Однако работа Ньюкома не привлекла широкого внимания.

В 1938 году физик Фрэнк Бенфорд, работавший в компании General Electric, независимо переоткрыл эту закономерность. Он проанализировал более 20 тысяч различных наборов данных, включая площади рек, физические константы, номера домов в справочниках и атомные веса элементов. Бенфорд подтвердил, что распределение первых цифр во всех этих наборах данных подчиняется логарифмическому закону, и опубликовал свою работу «Закон аномальных чисел». С этого момента закон получил имя Бенфорда.

Долгое время закон Бенфорда считался математическим курьёзом без практического применения. Теоретическое обоснование закона было дано в 1990-х годах, когда математики показали, что он является следствием масштабной инвариантности (scale invariance) — свойства, при котором распределение первых цифр не зависит от единиц измерения данных. В 1996 году американский бухгалтер Марк Нигрини впервые предложил использовать закон Бенфорда для выявления бухгалтерских фальсификаций, что положило начало его широкому практическому применению.

Математическая формулировка

Закон Бенфорда утверждает, что для набора чисел, взятых из реальных источников, вероятность того, что первая значащая цифра равна \(d\) (где \(d\) — целое число от 1 до 9), определяется формулой:

\[ P(d) = \log_{10}\left(1 + \frac{1}{d}\right) \]

Вероятности для каждой цифры составляют:

Закон также может быть обобщён на вторую, третью и последующие значащие цифры, а также на комбинации цифр. Например, вероятность того, что первые две цифры числа равны \(10\), составляет \(\log_{10}(1 + 1/10) \approx 0,0414\), а для \(99\) — \(\log_{10}(1 + 1/99) \approx 0,0044\).

Условия применимости

Закон Бенфорда выполняется не для всех числовых наборов, а только для тех, которые удовлетворяют определённым условиям:

• Широкий диапазон значений: данные должны охватывать несколько порядков величины (например, от 1 до 100 000). Если данные сконцентрированы в узком диапазоне (например, рост людей от 1,5 до 2 метров), закон не работает.
• Отсутствие искусственных ограничений: данные не должны быть обрезаны или ограничены по максимуму или минимуму. Например, номера домов на улице часто не подчиняются закону, так как они ограничены длиной улицы.
• Естественное происхождение: данные должны быть порождены некоторым естественным процессом, а не быть результатом произвольного выбора или комбинации случайных чисел.
• Масштабная инвариантность: распределение первых цифр не должно зависеть от единиц измерения (например, перевод из дюймов в сантиметры не меняет распределение).

Наборы данных, которые часто подчиняются закону Бенфорда, включают: площади стран, численность населения городов, физические константы, длины рек, рыночные капитализации компаний, объёмы продаж, счета за коммунальные услуги и номера страховых полисов. Наборы, которые не подчиняются закону: случайные числа, сгенерированные компьютером (с равномерным распределением), номера телефонов, почтовые индексы, даты, цены с фиксированными окончаниями (например, 99,99 рублей).

Применение метода Бенфорда

Обнаружение финансовых фальсификаций

Наиболее известное применение метода Бенфорда — аудит бухгалтерской отчётности. Если в финансовых документах компании распределение первых цифр сумм счетов, налоговых деклараций или других числовых показателей существенно отклоняется от закона Бенфорда, это может свидетельствовать о фальсификации данных. Например, если в отчёте слишком много цифр «5» и «6» и слишком мало «1», это может указывать на то, что данные были подогнаны под определённые значения.

Однако метод Бенфорда не является доказательством мошенничества, а лишь указывает на аномалии, требующие дальнейшей проверки. Он наиболее эффективен при анализе больших массивов данных (от нескольких сотен до тысяч записей). В 2001 году компания Enron использовала подтасованные финансовые отчёты, и анализ их данных по методу Бенфорда показал значительные отклонения от ожидаемого распределения.

Контроль налоговых деклараций

Налоговые службы ряда стран, включая США (IRS) и Германию, используют метод Бенфорда для выявления подозрительных налоговых деклараций. Анализируются суммы доходов, вычетов и налоговых льгот. Если распределение первых цифр в декларации налогоплательщика существенно отличается от закона, это может стать основанием для более детальной проверки.

Выявление фальсификаций в научных данных

В научных исследованиях метод Бенфорда применяется для проверки достоверности опубликованных данных. Например, если в статье, содержащей результаты измерений, распределение первых цифр не соответствует закону, это может указывать на подтасовку или фабрикацию данных. В 2012 году метод Бенфорда был использован для анализа данных по климатическим изменениям, однако его применение в этой области остаётся спорным.

Анализ выборов

Метод Бенфорда иногда применяется для выявления возможных фальсификаций на выборах. Анализируются данные о явке избирателей по участкам, количестве голосов за кандидатов или партий. Если распределение первых цифр в этих данных существенно отклоняется от закона, это может указывать на манипуляции. Однако интерпретация таких результатов требует осторожности, так как на распределение могут влиять особенности избирательной системы, размер участков и другие факторы.

Другие области применения

• Криминалистика: проверка достоверности финансовых данных в расследованиях экономических преступлений.
• Медицина: выявление ошибок ввода данных в медицинских записях и страховых документах.
• Социология: анализ данных опросов и переписей населения.
• Информатика: проверка качества генераторов случайных чисел и тестирование баз данных.

Критика и ограничения

Метод Бенфорда имеет ряд ограничений, которые необходимо учитывать при его применении:

• Необходимость большого объёма данных: для статистически значимых выводов требуется не менее 500–1000 записей. При малом объёме данных отклонения от закона могут быть случайными.
• Чувствительность к структуре данных: закон не работает для данных, которые имеют искусственные ограничения (например, цены, заканчивающиеся на 99 копеек) или являются результатом вычислений с фиксированной точностью.
• Ложные срабатывания: даже в честных данных могут наблюдаться отклонения от закона Бенфорда, вызванные естественными причинами (например, сезонные колебания в продажах). Поэтому метод используется только как индикатор, а не как доказательство.
• Неприменимость к некоторым типам данных: закон не выполняется для данных, которые имеют нормальное или равномерное распределение, а также для данных, сгенерированных искусственно (например, номера телефонов, идентификаторы).

Источники

1. Бенфорд Ф. «Закон аномальных чисел» (1938).
2. Ньюком С. «Заметка о частоте использования различных цифр в натуральных логарифмах» (1881).
3. Нигрини М. «Использование закона Бенфорда в аудите» (1996).
4. Хилл Т. «Статистическая механика и закон Бенфорда» (1995).
5. Пинкус С. «Закон Бенфорда в финансовом аудите» (2004).