Сигмоида

Сигмоида — это гладкая монотонная нелинейная функция с S-образной формой графика, которая отображает множество действительных чисел в интервал (0, 1) или, в частных случаях, в (−1, 1). Сигмоида является одной из базовых функций активации в искусственных нейронных сетях, а также широко используется в математической статистике, теории вероятностей и машинном обучении для моделирования вероятностей и логистической регрессии. Название происходит от греческой буквы «сигма» (σ), так как форма графика напоминает букву сигма в её строчном начертании.

Математическое определение

Классическая сигмоида (логистическая функция) задаётся формулой:

\[ \sigma(x) = \frac{1}{1 + e^{-x}} \]

где \( e \) — основание натурального логарифма, а \( x \) — входное значение (действительное число). График функции симметричен относительно точки (0, 0.5) и имеет горизонтальные асимптоты: при \( x \to -\infty \) функция стремится к 0, при \( x \to +\infty \) — к 1.

Производная логистической сигмоиды выражается через саму функцию:

\[ \sigma'(x) = \sigma(x) \cdot (1 - \sigma(x)) \]

Это свойство делает её удобной для градиентных методов оптимизации, так как производная легко вычисляется на основе значения функции.

Другие формы сигмоиды

Помимо логистической, к сигмоидам относят несколько родственных функций:

• Гиперболический тангенс (tanh): \( \tanh(x) = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}} \). Отображает числа в интервал (−1, 1). Часто используется в нейронных сетях как альтернатива логистической сигмоиде.
• Арктангенс: \( \arctan(x) \). Принимает значения от \( -\pi/2 \) до \( \pi/2 \).
• Функция Гаусса (сигмоида ошибок): \( \text{erf}(x) = \frac{2}{\sqrt{\pi}} \int_0^x e^{-t^2} dt \). Используется в теории вероятностей и статистике.
• Сигмоида с параметром наклона: \( \sigma(kx) \), где \( k \) — коэффициент, регулирующий крутизну перехода от 0 к 1.

История

Первые описания S-образных кривых встречаются в работах математиков XVIII века, в частности, Пьера-Симона Лапласа, изучавшего логистическую кривую в контексте роста популяций. В 1838 году бельгийский математик Пьер-Франсуа Ферхюльст предложил логистическую функцию для моделирования роста населения с учётом ограниченности ресурсов. Он назвал её «логистической» от греческого λογιστικός (logistikos) — «вычислительный» или «относящийся к расчётам».

В середине XX века сигмоида была введена в теорию нейронных сетей как функция активации для искусственных нейронов. В 1986 году в работе Румельхарта, Хинтона и Уильямса «Learning representations by back-propagating errors» была показана эффективность сигмоиды для обучения многослойных перцептронов методом обратного распространения ошибки. В конце 1990-х — начале 2000-х годов сигмоида стала одной из стандартных функций активации, однако с развитием глубокого обучения её начали вытеснять функции ReLU и её модификации из-за проблемы «исчезающего градиента».

Свойства

• Монотонность: функция строго возрастает на всей области определения.
• Гладкость: бесконечно дифференцируема.
• Ограниченность: значения лежат в конечном интервале (0, 1) для логистической сигмоиды.
• Симметричность: логистическая сигмоида симметрична относительно точки (0, 0.5), а гиперболический тангенс — относительно начала координат.
• Насыщение: при больших по модулю значениях \( x \) функция приближается к горизонтальным асимптотам, что приводит к малым значениям производной (проблема исчезающего градиента).

Применение

Искусственные нейронные сети

Сигмоида исторически была одной из первых функций активации, используемых в многослойных перцептронах. Она применялась в скрытых слоях для привнесения нелинейности в модель. Однако с 2010-х годов в глубоких сетях её вытеснили функции ReLU (Rectified Linear Unit) и их варианты, так как сигмоида вызывает затухание градиента при обучении сетей с большим числом слоёв. Тем не менее, сигмоида продолжает использоваться:

• В выходном слое для задач бинарной классификации (логистическая регрессия), где требуется получить вероятность принадлежности к классу.
• В рекуррентных нейронных сетях (LSTM, GRU) в качестве функций активации для вентилей (забывания, входа, выхода).

Логистическая регрессия

В статистике и машинном обучении логистическая регрессия использует сигмоиду для моделирования вероятности бинарного исхода. Модель имеет вид:

\[ P(y=1|x) = \frac{1}{1 + e^{-(\beta_0 + \beta_1 x_1 + \dots + \beta_n x_n)}} \]

где \( \beta_i \) — коэффициенты регрессии. Сигмоида обеспечивает интерпретацию результата как вероятности.

Другие области

• Биология и экология: логистическая кривая используется для описания роста популяций, распространения эпидемий и насыщения ресурсов.
• Экономика: моделирование распространения инноваций, кривые спроса и предложения.
• Теория вероятностей: функция распределения логистического распределения.
• Обработка сигналов: S-образные кривые применяются для нелинейного сжатия динамического диапазона (например, в аудио и видео).

Критика и ограничения

Основной недостаток сигмоиды в контексте нейронных сетей — проблема исчезающего градиента. При больших положительных или отрицательных значениях \( x \) производная функции становится близкой к нулю, что замедляет или полностью останавливает обучение глубоких сетей. Кроме того, сигмоида не центрирована относительно нуля (для логистической функции), что может приводить к нежелательным смещениям в градиентах при обратном распространении ошибки. Гиперболический тангенс лишён этого недостатка, но также страдает от насыщения.

Альтернативы, такие как ReLU, ELU, Swish, позволяют избежать исчезающего градиента и обеспечивают более быстрое обучение, но могут быть менее стабильными или требовать дополнительных механизмов регуляризации.

Интересные факты

• Сигмоида является частным случаем более общего семейства функций — обобщённых логистических функций, которые могут иметь произвольные асимптоты и точку перегиба.
• В психофизике сигмоидная кривая используется для описания зависимости восприятия стимула от его интенсивности (закон Вебера — Фехнера).
• В теории нейронных сетей сигмоида иногда называется «логистическим нейроном» из-за её связи с логистической регрессией.

Источники

• Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536.
• Verhulst, P.-F. (1838). Notice sur la loi que la population suit dans son accroissement. Correspondance Mathématique et Physique, 10, 113–121.
• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
• Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.