Правила обучения персептрона¶

Правила обучения персептрона — совокупность математических правил и алгоритмов коррекции весовых коэффициентов нейрона (персептрона), используемых для настройки модели на решение задач классификации или регрессии. Персептрон — простейшая нейронная сеть, предложенная Фрэнком Розенблаттом в 1957 году, состоит из линейного комбинатора, функции активации и правила обучения. Ключевое отличие персептрона от линейного классификатора — наличие механизма адаптации весов на основе ошибки предсказания.

¶Устройство персептрона

Персептрон вычисляет взвешенную сумму входных сигналов:

$$y = f\left(\sum_{i=1}^{n} w_i x_i - \theta\right)$$

где $x_i$ — входные признаки, $w_i$ — веса, $\theta$ — порог (смещение), $f$ — функция активации (чаще всего сигмоида или ступенчатая функция). Задача обучения — подобрать вектор весов $\mathbf{w}$ так, чтобы выход персептрона соответствовал целевым значениям на обучающей выборке.

¶Правило Хеппа

Исторически первым правилом обучения стало правило Хеппа (1949), сформулированное в контексте нейробиологии. Его суть: если нейрон $i$ способствовал активации нейрона $j$, то связь $w_{ij}$ должна усиливаться; если не способствовал — ослабляться. Математически:

$$\Delta w_{ij} = \eta \cdot x_i \cdot y$$

где $\eta > 0$ — скорость обучения. Правило не требует внешнего учителя (обучение без учителя), но не гарантирует сходимости к правильному решению.

¶Правило Розенблатта (дельта-правило для персептрона)

Фрэнк Розенблатт предложил обучающее правило для персептрона с пороговой функцией активации. Если на предъявленном примере $\mathbf{x}$ персептрон дал неверный ответ, веса корректируются:

$$\Delta w_i = \eta \cdot (d - y) \cdot x_i$$

где $d$ — желаемый (целевой) выход, $y$ — фактический выход. Если ответ верный, веса не меняются. Розенблатт доказал теорему сходимости: для линейно разделимой выборки это правило за конечное число шагов приводит к правильному классификатору.

¶Дельта-правило ( Widrow–Hoff, LMS)

Обобщение правила Розенблатта на произвольную дифференцируемую функцию активации — дельта-правило Видроу–Хоффа (1960), также известное как правило наименьших квадратов (LMS). Градиент функции ошибки $E = \frac{1}{2}(d - y)^2$ по весу $w_i$:

$$\Delta w_i = \eta \cdot (d - y) \cdot f'(a) \cdot x_i$$

где $a$ — взвешенная сумма, $f'$ — производная функции активации. Правило является частным случаем градиентного спуска.

¶Правило обратного распространения ошибки (Backpropagation)

Для многослойных персептронов используется алгоритм обратного распространения ошибки (Румельхарт, Хинтон, Уильямс, 1986). Ошибка на выходном слое распространяется назад через сеть, и веса каждого слоя корректируются пропорционально вкладу данного веса в общую ошибку:

$$\Delta w_{ij}^{(l)} = \eta \cdot \delta_j^{(l)} \cdot y_i^{(l-1)}$$

где $\delta_j^{(l)}$ — локальный градиент («дельта») нейрона $j$ на слое $l$. Для выходного слоя $\delta_j = (d_j - y_j) f'(a_j)$, для скрытых слоёв — через суммирование ошибок, «пропущенных» через веса следующего слоя.

¶Правило Гроссберга (полярное)

Стивен Гроссберг предложил правило обучения персептрона, работающее с полярными (центрированными) кодировками: выходы и веса могут принимать значения $+1$ и $-1$. Коррекция:

$$\Delta w_i = \eta \cdot (d - y) \cdot x_i$$

но с ограничением $|w_i| \leq w_{\max}$ и нормализацией вектора весов. Правило демонстрирует устойчивость к зашумлённым обучающим данным.

¶Критерии остановки и регуляризация

Помимо правил коррекции весов, при обучении персептрона используются критерии остановки: достижение заданной ошибки, отсутствие изменений ошибки в течение нескольких эпох (early stopping), ограничение числа эпох. Для предотвращения переобучения применяются регуляризация (L1, L2), дропаут, а также нормализация весов.

¶Сравнительная таблица правил

¶Ограничения

Однослойный персептрон с пороговой функцией активации решает только линейно разделимые задачи, что было доказано Минским и Папертом в 1969 году («Перцептроны», 1969). Пример неразделимой задачи — функция XOR. Преодоление ограничения стало возможным с внедрением многослойных персептронов и алгоритма backpropagation.

¶Применение

Правила обучения персептрона лежат в основе современного глубокого обучения. Дельта-правило и backpropagation используются при обучении свёрточных нейронных сетей, рекуррентных сетей, трансформеров. Модификации правил (Adam, RMSProp, AdaGrad) представляют собой адаптивные алгоритмы градиентного спуска, сочетающие идеи дельта-правила с моментом и нормировкой градиентов.

¶Источники

• Розенблатт Ф. «Принципы нейродинамики: перцептроны и теория механизмов мозга». 1961.
• Мински М., Паперт С. «Перцептроны». 1969.
• Румельхарт Д., Хинтон Д., Уильямс Р. «Learning representations by back-propagating errors». Nature, 1986.
• Хайкин С. «Нейронные сети: полный курс». 2006.
• Гроссберг С. «Adaptive Pattern Classification and Universal Recurrent Dynamic Networks». 1976.