Модели Хопфилда

Модель Хопфилда — это рекуррентная искусственная нейронная сеть, служащая моделью ассоциативной памяти и способная решать задачи оптимизации. Она была предложена американским физиком Джоном Хопфилдом в 1982 году. Сеть Хопфилда представляет собой полносвязную систему бинарных нейронов, где каждый нейрон соединён со всеми остальными, но не имеет связи с самим собой. Основное свойство сети — способность сходиться к одному из устойчивых состояний (аттракторов), которые соответствуют запомненным образам, даже если на вход подаётся искажённый или неполный образец.

История

Идея использования нейронных сетей для моделирования памяти возникла задолго до работы Хопфилда. В 1943 году Уоррен Мак-Каллок и Уолтер Питтс создали первую математическую модель нейрона. В 1950-х годах Фрэнк Розенблатт разработал перцептрон, однако его возможности были ограничены. В 1969 году Марвин Минский и Сеймур Пейперт в книге «Перцептроны» показали фундаментальные ограничения однослойных сетей, что привело к временному спаду интереса к нейросетям.

Джон Хопфилд, физик-теоретик, известный работами в области статистической физики, в 1982 году опубликовал статью «Нейронные сети и физические системы с возникающими коллективными вычислительными способностями». В ней он предложил рассматривать нейронную сеть как физическую систему с энергией, аналогичную спиновым стёклам. Это позволило применить математический аппарат статистической физики для анализа динамики сети. Работа Хопфилда возродила интерес к нейронным сетям и стала основой для развития многих современных архитектур, включая машины Больцмана и глубокие сети.

Устройство и принцип работы

Архитектура

Сеть Хопфилда состоит из \( N \) бинарных нейронов. Каждый нейрон может находиться в одном из двух состояний: активном (1) или неактивном (-1). Все нейроны соединены друг с другом симметричными связями, причём вес связи между нейронами \( i \) и \( j \) обозначается как \( w_{ij} \). Важное условие: \( w_{ij} = w_{ji} \) (симметрия) и \( w_{ii} = 0 \) (отсутствие самосвязей).

Динамика

Сеть работает в дискретном времени. На каждом шаге выбирается нейрон \( i \) и обновляется его состояние по правилу:

\[ s_i(t+1) = \text{sign}\left( \sum_{j=1}^{N} w_{ij} s_j(t) - \theta_i \right) \]

где \( s_i(t) \) — состояние нейрона \( i \) в момент времени \( t \), \( \theta_i \) — порог активации нейрона (часто принимается равным нулю), а функция sign возвращает 1, если аргумент больше нуля, и -1 в противном случае. Обновление может происходить асинхронно (по одному нейрону за раз) или синхронно (все нейроны одновременно). Асинхронный режим чаще используется, так как он гарантирует сходимость к устойчивому состоянию.

Энергетическая функция

Хопфилд ввёл понятие энергии сети, аналогичное энергии в физических системах:

\[ E = -\frac{1}{2} \sum_{i,j} w_{ij} s_i s_j + \sum_i \theta_i s_i \]

При асинхронном обновлении энергия сети никогда не возрастает. Каждое изменение состояния нейрона либо уменьшает энергию, либо оставляет её неизменной. Это свойство гарантирует, что сеть обязательно сойдётся к одному из локальных минимумов энергетической функции, которые и являются запомненными образами (аттракторами).

Обучение

Обучение сети Хопфилда заключается в настройке весов связей таким образом, чтобы заданные образы стали устойчивыми состояниями (аттракторами). Наиболее распространённый метод — правило Хебба, основанное на принципе Дональда Хебба: «нейроны, которые возбуждаются вместе, связываются вместе».

Для набора из \( M \) образов \( \{\xi^{(1)}, \xi^{(2)}, \dots, \xi^{(M)}\} \), где каждый образ — вектор длины \( N \) с элементами \( \pm 1 \), веса вычисляются по формуле:

\[ w_{ij} = \frac{1}{N} \sum_{\mu=1}^{M} \xi_i^{(\mu)} \xi_j^{(\mu)} \]

При этом \( w_{ii} = 0 \). Это правило гарантирует, что каждый запомненный образ является локальным минимумом энергетической функции, если количество образов \( M \) не превышает определённого предела.

Ограничения и ёмкость

Ёмкость памяти

Ёмкость сети Хопфилда — это максимальное количество образов, которое может быть надёжно запомнено. Теоретически, для сети из \( N \) нейронов ёмкость составляет примерно \( 0.14N \) образов. Если запомнить больше, то образы перестают быть устойчивыми аттракторами, и сеть начинает сходиться к ложным состояниям (спуриозным аттракторам), которые являются комбинациями запомненных образов. При \( M > 0.14N \) возникает так называемый «коллапс памяти».

Ложные аттракторы

Помимо запомненных образов, в сети могут существовать дополнительные устойчивые состояния, не соответствующие ни одному из запомненных образов. Это могут быть:

• Смешанные состояния — комбинации нескольких образов.
• Инвертированные образы — противоположные запомненным.
• Случайные состояния — не связанные с запомненными.

Наличие ложных аттракторов снижает надёжность сети как ассоциативной памяти.

Влияние шума

Сеть Хопфилда устойчива к небольшим искажениям входного образа. Если на вход подаётся образ, отличающийся от запомненного в нескольких битах, сеть, как правило, сходится к правильному аттрактору. Однако при большом уровне шума или при переполнении памяти сеть может сойтись к ложному состоянию.

Применение

Ассоциативная память

Основное применение модели Хопфилда — реализация ассоциативной памяти. Сеть способна восстанавливать полный образ по его фрагменту или искажённой версии. Это свойство используется в задачах распознавания образов, восстановления изображений и исправления ошибок.

Задачи оптимизации

Сеть Хопфилда может быть использована для решения комбинаторных задач оптимизации, таких как задача коммивояжёра. Для этого энергетическая функция сети строится таким образом, чтобы её минимум соответствовал оптимальному решению задачи. Однако на практике сеть часто сходится к локальным, а не глобальным минимумам, что ограничивает её применение.

Нейробиология

Модель Хопфилда используется как упрощённая модель работы памяти в биологических нейронных сетях. Она демонстрирует такие свойства, как ассоциативное вспоминание, устойчивость к повреждениям и способность к обобщению.

Модификации и развитие

Непрерывная модель Хопфилда

В 1984 году Хопфилд предложил непрерывную версию сети, где нейроны имеют непрерывные значения активации (например, от 0 до 1). Динамика такой сети описывается дифференциальными уравнениями, что позволяет моделировать более реалистичные нейронные процессы.

Машина Больцмана

Машина Больцмана, разработанная Джеффри Хинтоном и Терри Сейновски в 1985 году, является стохастическим обобщением модели Хопфилда. В ней нейроны обновляются с вероятностью, зависящей от температуры, что позволяет избегать застревания в локальных минимумах и обучаться на неполных данных.

Современные нейросети

Идеи, заложенные в модели Хопфилда, оказали влияние на развитие современных нейронных сетей, включая сети с долгой краткосрочной памятью (LSTM) и трансформеры. В частности, механизм внимания в трансформерах можно интерпретировать как аналог ассоциативной памяти.

Интересные факты

• Джон Хопфилд получил за свою работу множество наград, включая премию Хопкинса (2001) и премию по физике фундаментальных исследований (2019).
• Модель Хопфилда является одной из немногих нейросетевых архитектур, для которой существует строгое математическое доказательство сходимости.
• В 1980-х годах сеть Хопфилда использовалась для распознавания рукописных цифр и букв, но из-за ограниченной ёмкости была вытеснена более эффективными алгоритмами, такими как свёрточные нейронные сети.

Источники

• Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences, 79(8), 2554–2558.
• Хопфилд, Дж. (1984). Нейроны с непрерывной функцией активации. Proceedings of the National Academy of Sciences, 81(10), 3088–3092.
• Хайкин, С. (2006). Нейронные сети: полный курс. 2-е издание. М.: Вильямс.
• Амит, Д. (1989). Моделирование мозга: нейронные сети и ассоциативная память. М.: Мир.