Intel ETANN

Intel ETANN (Electrically Trainable Analog Neural Network) — это семейство аналоговых нейронных сетей, реализованных в виде интегральных микросхем (чипов), разработанных корпорацией Intel в конце 1980-х — начале 1990-х годов. Представляли собой одни из первых коммерческих попыток создания аппаратного ускорителя для нейросетевых вычислений, работающих на аналоговых, а не цифровых принципах. Основное отличие от цифровых процессоров заключалось в том, что обучение и функционирование сети происходили за счет изменения физических параметров (проводимости) аналоговых синапсов, что позволяло достигать высокой скорости обработки при низком энергопотреблении.

История создания

Разработка Intel ETANN началась в середине 1980-х годов в рамках исследовательского подразделения Intel, занимавшегося нейроморфными вычислениями. Проект возглавлял доктор Марк Холлер (Mark Holler) и его команда. Ключевой задачей было создание микросхемы, способной обучаться «на лету» (on-chip learning) без необходимости внешнего цифрового компьютера для пересчета весов. В 1989 году Intel представила первую версию чипа — Intel 80170NX, которая стала первой коммерчески доступной аналоговой нейронной сетью с электрическим обучением.

Технология основывалась на использовании плавающих затворов (floating-gate transistors) — элементов, которые Intel ранее применяла в энергонезависимой памяти (EEPROM). В ETANN эти транзисторы служили аналоговыми синапсами, где вес связи хранился в виде заряда на плавающем затворе. Обучение осуществлялось путем подачи на затворы коротких импульсов напряжения, изменяющих проводимость канала.

Первые образцы чипов были выпущены в 1990 году, а к 1992 году Intel начала их ограниченное коммерческое производство. Несмотря на технологическую новизну, ETANN не получили широкого распространения из-за сложности калибровки, чувствительности к шумам и ограниченной точности аналоговых вычислений. К середине 1990-х годов проект был свернут в пользу цифровых нейропроцессоров, таких как Intel i860.

Архитектура и устройство

Аналоговые синапсы

Каждый синапс в ETANN представлял собой пару транзисторов с плавающим затвором, работающих в дифференциальном режиме. Вес синапса (от -1 до +1) кодировался разностью токов через эти транзисторы. Обучение изменяло заряд на затворах, что позволяло адаптировать сеть под конкретную задачу.

Нейроны

Нейроны реализовывались на основе операционных усилителей с нелинейной функцией активации (сигмоида). Входные сигналы суммировались аналоговым способом, после чего проходили через усилитель-ограничитель. Выходной сигнал нейрона представлял собой напряжение, пропорциональное результату.

Структура сети

Чип Intel 80170NX содержал:

• 64 входных нейрона (входной слой)
• 64 скрытых нейрона (один скрытый слой)
• 64 выходных нейрона (выходной слой)
• 10240 аналоговых синапсов (полносвязная матрица 64×64×2,5)

Общая архитектура была полносвязной, но с возможностью программирования топологии (например, исключение обратных связей). Каждый синапс мог быть настроен индивидуально, что позволяло реализовывать различные типы нейронных сетей: многослойные перцептроны, сети с обратным распространением ошибки и даже некоторые рекуррентные конфигурации.

Обучение

Обучение происходило по алгоритму обратного распространения ошибки, адаптированному для аналоговой реализации. Для этого на чипе имелись дополнительные цепи, позволяющие вычислять градиенты ошибки и подавать корректирующие импульсы на синапсы. Процесс обучения был медленнее цифрового (из-за необходимости точной калибровки), но после обучения сеть работала в десятки раз быстрее цифровых аналогов.

Характеристики

Производительность

• Тактовая частота: до 10 МГц (для цифровой части управления)
• Скорость обработки: до 2 миллиардов синаптических операций в секунду (2 GOPS) при полной загрузке
• Время срабатывания: менее 100 нс на один проход сети (forward pass)
• Энергопотребление: около 1 Вт (в рабочем режиме), что значительно ниже, чем у цифровых процессоров того времени

Точность

• Разрядность весов: 6-8 бит (эффективная, из-за аналогового шума)
• Разрядность вычислений: 8-10 бит (с учетом нелинейности)
• Максимальная ошибка: 1-2% от полного диапазона

Технология изготовления

• Техпроцесс: 1,0 мкм (CMOS)
• Количество транзисторов: около 1,5 млн
• Размер кристалла: 6,5×6,5 мм
• Корпус: 84-контактный PLCC

Применение

Intel ETANN нашли ограниченное применение в следующих областях:

Распознавание образов

• Распознавание рукописных цифр: Использовались в экспериментальных системах для банковских чеков (например, в проекте Intel с компанией NCR).
• Распознавание речи: Применялись в прототипах систем голосового управления (например, в автомобильной электронике).
• Обработка изображений: Использовались для фильтрации и сжатия изображений в реальном времени.

Управление и робототехника

• Управление манипуляторами: Чипы ETANN использовались в роботах для обучения обратной кинематике (например, в проекте MIT).
• Автономные системы: Применялись в прототипах беспилотных автомобилей для обработки сенсорных данных.

Научные исследования

• Моделирование нейронных сетей: Использовались в университетах (Стэнфорд, Калифорнийский университет в Беркли) для изучения аналоговых вычислений.
• Обработка сигналов: Применялись в системах сжатия и фильтрации аудио- и видеоданных.

Ограничения и недостатки

Несмотря на инновационность, ETANN имели ряд существенных недостатков, которые помешали их коммерческому успеху:

1. Чувствительность к шуму: Аналоговые вычисления подвержены влиянию теплового шума, флуктуаций напряжения и температуры, что снижало точность.
2. Сложность калибровки: Каждый чип требовал индивидуальной калибровки, что делало производство дорогим и нетехнологичным.
3. Ограниченная точность: Эффективная разрядность (6-8 бит) была недостаточна для многих задач, требующих высокой точности (например, финансовых расчетов).
4. Сложность обучения: Процесс обучения на чипе был медленным и требовал точного управления импульсами, что усложняло интеграцию в системы.
5. Отсутствие стандартизации: Не было единого программного интерфейса, что затрудняло разработку приложений.

Влияние и наследие

Intel ETANN стали важной вехой в истории нейроморфных вычислений. Они продемонстрировали, что аналоговые нейронные сети могут работать в реальном времени с низким энергопотреблением, что впоследствии повлияло на разработку современных нейроморфных процессоров, таких как Intel Loihi (2018). Концепция плавающих затворов для хранения весов была использована в более поздних аналоговых нейрочипах, а также в некоторых цифровых нейропроцессорах.

В России интерес к ETANN проявился в начале 1990-х годов в рамках исследований по нейрокомпьютерам в Московском государственном университете и Институте проблем управления РАН. Однако из-за экономических трудностей и отсутствия доступа к технологиям Intel, проекты не получили развития.

Источники

• Holler, M., et al. "An Electrically Trainable Artificial Neural Network (ETANN) with 10240 'Floating Gate' Synapses." Proceedings of the International Joint Conference on Neural Networks, 1989.
• Mead, C. Analog VLSI and Neural Systems. Addison-Wesley, 1989.
• Intel Corporation. Intel 80170NX ETANN Data Sheet. 1991.
• Hasler, P., et al. "Floating-Gate Analog Synaptic Circuits." IEEE Transactions on Circuits and Systems, 1995.
• "Нейроморфные вычисления: от ETANN до Loihi." Журнал «Электроника: наука, технология, бизнес», 2020.