Презентация на тему Нейронные сети Хопфилда и Хэмминга

Она состоит из единственного слоя нейронов, число которых является

одновременно числом входов и выходов сети. Каждый нейрон связан синапсами со всеми остальными нейронами, а также имеет один входной синапс, через который осуществляется ввод сигнала. Выходные сигналы, как обычно, образуются на аксонах.

Рис. 1. Структурная схема сети Хопфилда.

как правило, формулируется следующим образом.

Известен некоторый набор двоичных

сигналов (изображений, звуковых оцифровок, прочих данных, описывающих некие объекты или характеристики процессов), которые считаются образцовыми.
Сеть должна уметь из произвольного неидеального сигнала, поданного на ее вход, выделить ("вспомнить" по частичной информации) соответствующий образец (если такой есть) или "дать заключение" о том, что входные данные не соответствуют ни одному из образцов.

вектором

, n – число нейронов в сети и размерность входных и выходных векторов. Каждый элемент равен либо +1, либо -1.

Обозначим вектор, описывающий k-ый образец, через , а его компоненты, соответственно, – , k=0...m-1, m – число образцов.

Когда сеть распознaет (или "вспомнит") какой-либо образец на основе предъявленных ей данных, ее выходы будут содержать именно его, то есть
, где y – вектор выходных значений сети:
.
В противном случае, выходной вектор не совпадет ни с одним образцовым.

следующим образом:
(1)
Здесь i и j – индексы, соответственно,

предсинаптического и постсинаптического нейронов; – i-ый и j-ый элементы вектора k-го образца.

входы сети подается неизвестный сигнал. Фактически его ввод осуществляется

непосредственной установкой значений аксонов:

(2)

поэтому обозначение на схеме сети входных синапсов в явном виде носит
чисто условный характер. Ноль в скобке справа от означает нулевую
итерацию в цикле работы сети.

функция в виде скачка, приведенная на Рис. 2а.
2.

Рассчитывается новое состояние нейронов

Рис. 2

последнюю итерацию.

Если да – переход к пункту 2,

иначе (если выходы застабилизировались) – конец.

При этом выходной вектор представляет собой образец, наилучшим образом сочетающийся с входными данными.

выдавала образец, то есть достаточно, скажем, получать номер образца,

ассоциативную память успешно реализует сеть Хэмминга.

Данная сеть характеризуется, по сравнению с сетью Хопфилда, меньшими затратами на память и объемом вычислений, что становится очевидным из ее структуры (Рис. 3).

Сеть состоит из двух слоев. Первый и второй слои имеют по m нейронов, где m – число образцов. Нейроны первого слоя имеют по n синапсов, соединенных со входами сети (образующими фиктивный нулевой слой). Нейроны второго слоя связаны между собой ингибиторными (отрицательными обратными) синаптическими связями. Единственный синапс с положительной обратной связью для каждого нейрона соединен с его же аксоном.

порогу активационной функции присваиваются следующие значения:
(5)
(6)
Здесь

– i-ый элемент k-ого образца.
Весовые коэффициенты тормозящих синапсов во втором слое берут равными некоторой величине 0 < e < 1/m.
Синапс нейрона, связанный с его же аксоном имеет вес +1.

Идея работы сети состоит в нахождении расстояния Хэмминга от тестируемого образа до всех образцов. Расстоянием Хэмминга называется число отличающихся битов в двух бинарных векторах. Сеть должна выбрать образец с минимальным расстоянием Хэмминга до неизвестного входного сигнала, в результате чего будет активизирован только один выход сети, соответствующий этому образцу.

подается неизвестный вектор

, исходя из которого рассчитываются состояния нейронов первого слоя (верхний индекс в скобках указывает номер слоя):

(7)

После этого полученными значениями инициализируются значения аксонов второго слоя:

(8)