Нейронные сети Хопфилда и Хемминга. Назначение, архитектура, принципы работы, достоинства и недостатки

Содержание:

Введение

В области искусственного интеллекта нейронные сети являются одним из направлений исследований, которое основывается на попытках воспроизвести нервную систему человека. Особенно ценной видится способность нервной системы обучаться и исправлять ошибки, что должно приблизить возможность имитации работы человеческого мозга.

На сегодняшний момент они стали важным инструментом решения проблем в обширных областях деятельности. Однако для более широкого применения нейронных сетей и поручения им нахождения решений для проблем более глобального уровня, необходимо удостовериться в надежности их работы относительно поставленных перед ними задач, и провести черту относительно характера ошибок, допущение которых возможно в конкретно разбираемой задаче. Ситуация складывается таким образом, что ввиду увеличения доверия к работе компьютерных систем, возможно пренебрежение бдительностью в вопросах анализа надежности искусственных нейронных сетей, даже несмотря на принятие во внимание факта о том, что плод их труда может являться недостаточно точным даже при адекватном функционировании. В действительности же вероятность ошибочности выводов компьютерных технологий возможна, так же как и работы человеческого мозга. Технические проблемы могут допустить появление ошибочных результатов в работе компьютерных технологий, наравне с недочетами в коде программ, человеческий мозг может ошибаться из-за внешних факторов, состояния на момент совершения действия, или уровня предыдущей подготовки. Однако при совместной работе и учете особенностей каждого, с достаточным уровнем совместной поддержки, они имеют шанс на успешное решение критических задач. В решении подобных задач нейронные сети не должны рассматриваться как единственное средство, но они могут принять не себя управление, или же быть дополняющим, предупреждающим экстренные ситуации орудием, когда ситуация не может быть разрешена стандартным способом и замедление способно привести к серьезным последствиям.

Также видится некоторая проблематичность в работе с традиционными нейронными сетями относительно их неспособности дать разъяснения о том, каким образом ими решена та или иная задача. Результаты обучения, являющиеся плодом происходящего внутри сети, не могут дать представления, которое способно оказаться по уровню сложности не поддающемуся анализу, в отличие от некоторых случаев, достаточно простых для того, чтобы не представлять интереса.

Затруднительную ситуацию с несовершенством нейронных сетей в недавнее время могут несколько упростить попытки объединения с экспертными системами. В таком симбиозе большинство простых случаев будет частью работы искусственной нейронной сети, а более сложные перейдут под рассмотрение экспертной системой. Более высокий уровень принятия сложных случаев даст результат, а также вероятность сборов дополнительных данных.

Компании, разрабатывающие нейросетевые пакеты, дают обширному кругу пользователей доступность работы с разнообразием видов нейронных сетей и способам их обучения. Они могут иметь узкую специализацию (например, отдельные моменты работы биржевых брокеров), или же быть универсальными.

Текущее применение нейронных сетей разнообразно в множестве областей. С их помощью происходит распознавание речи и текстовой информации, поиск, их используют системы поддержки принятия решений, системы безопасности.

Целью данной работы является рассмотрение нейронных сетей Хопфилда и Хэмминга.

Объектом работы являются нейронные сети Хопфилда и Хэмминга.

Предметом являются принципы функционирования данных сетей, их достоинства и недостатки.

Работа является актуальной по той причине, что в последние несколько лет нейронные сети стали широко использоваться во множестве областей, и знание основных принципов их работы является очень желательным для любого человека, даже имеющего очень опосредованное отношение к компьютерам.

Для достижения поставленной цели необходимо решить следующие задачи:

• Рассмотреть нейронные сети в общем;
• Рассмотреть нейронные сети Хопфилда и Хэмминга;
• Рассмотреть архитектуру этих сетей;
• Описать принципы работы этих сетей;
• Выделить достоинства и недостатки работы этих сетей.

В работе будут использованы отечественные и зарубежные источники.

1. Нейронные сети хопфилда и хэмминга

1.1. Нейронные сети

Искусственные нейронные сети прочно вошли в нашу жизнь и сейчас широко используются в решении самых различных задач и особенно активно там, где обычные алгоритмические решения являются неэффективными или совершенно невозможными. Среди задач, поиск решения которых предоставляют нейронным сетям, можно считать следующие: биржевые игры, распознавание текстов, системы видеонаблюдения, контекстная реклама, фильтрация ненужной информации, проверка операций по банковским картам - и это лишь немногочисленные примеры их применения.

Понятно, что свои возможности нейронные сети берут из двух вещей: из распараллеливания обработки информации и из создания обобщений, т.е. они способны самообучаться. Под обобщением следует понимать способность получения обоснованных результатов на основании данных, не встречаемых в процессе обучения. Такие свойства дают нейронным сетям возможность находить решение сложных задач, трудная решаемость которых может стать простой в ближайшем будущем. Однако нейронные сети в практической автономной работе не могут гарантировать готовые решения. Решением может служить интеграция их в сложные системы. [1]

Итак, приведем некоторые преимущества и достоинства нейронных сетей перед традиционными вычислительными системами:

1. Решение задач при неизвестных закономерностях.

Используя способность обучения на множестве примеров, нейронная сеть способная решать задачи, в которых неизвестны закономерности развития ситуации и зависимости между входными и выходными данными. Традиционные математические методы и экспертные системы в таких случаях проигрывают.

1. Устойчивость к шумам во входных данных.

Возможность работы при наличии большого числа неинформативных, шумовых входных сигналов. Нет необходимости делать их предварительный отсев, нейронная сеть сама определит их малопригодность для решения задачи и отбросит их.

1. Адаптация к изменениям окружающей среды.

Нейронные сети могут адаптироваться. Нейронные сети, настроенные на конкретные действия в определенной среде, способны быть легко переучены для работы в условиях незначительных колебаний параметров среды. Более того, для работы в нестационарной среде (где статистика изменяется с течением времени) могут быть созданы нейронные сети, переучивающиеся в реальном времени. Чем выше адаптивные способности системы, тем более устойчивой будет ее работа в нестационарной среде. При этом следует заметить, что адаптивность не всегда ведет к устойчивости; иногда она приводит к совершенно противоположному результату. Например, адаптивная система с параметрами, быстро изменяющимися во времени, может также быстро реагировать и на посторонние возбуждения, что вызовет потерю производительности. Для того чтобы использовать все достоинства адаптивности, основные параметры системы должны быть достаточно стабильными, чтобы можно было не учитывать внешние помехи, и достаточно гибкими, чтобы обеспечить реакцию на существенные изменения среды.

1. Потенциальное сверхвысокое быстродействие.

Нейронные сети обладают потенциальным сверхвысоким быстродействием за счет использования массового параллелизма обработки информации.

1. Отказоустойчивость при аппаратной реализации нейронной сети.

Нейронные сети потенциально отказоустойчивы. Это значит, что при неблагоприятных условиях их производительность падает незначительно. Например, если поврежден какой-то нейрон или его связи, извлечение запомненной информации затрудняется. Однако, принимая в расчет распределенный характер хранения информации в нейронной сети, можно утверждать, что только серьезные повреждения структуры нейронной сети существенно повлияют на ее работоспособность. Поэтому снижение качества работы нейронной сети происходит медленно. [10]

Как метод представления знаний, нейронные сети обладают некоторыми недостатками:

1. Затруднения в вербализации результатов нейронной сети и дачи пояснительных объяснений о принятом решении;
2. Отсутствие гарантии о повторении и однозначности окончательных результатов.

Однако в области представления и обработки знаний у нейронных сетей есть и преимущества:

1. Формализация знаний не является необходимой, может быть заменена обучением на примерах;
2. Естественность обработки и представления нечетких знаний, сходны с осуществлением в мозге;
3. Параллельная обработка с надлежащей аппаратной поддержкой создает условия для работы в реальном времени;
4. Аппаратная реализация способна обеспечить отказоустойчивость;
5. Обработка многомерных данных (более трех) без увеличения трудоемкости, так же как и знаний.

В современной науке существует сфера искусственного интеллекта, главным инструментом которой, инструментом, имеющим особую важность, являются нейронные сети. Строение искусственной нейронной сети во многом схоже со строением нервной системы человеческого мозга, в котором нейроны представляют собой многочисленные элементарные объекты, принимающие важное участие в процессе мышления человека. Здесь необходимо понять принципы, по которым происходит процесс мышления, каким образом происходит обучение мозга, и делаются выводы. Основная цель нейронной сети в том, чтобы учиться и адаптироваться.

Мозг – это сеть нейронов, которые соединены друг с другом. Нейрон реализует довольно простую передаточную функцию, способную позволить преобразовывать возбуждения на входах с принятием в расчет входных весов, в величину возбуждения на выходе. Функционально завершенный фрагмент имеет входной слой рецепторных нейронов, возбужденных внешней средой, и выходной слой нейронов, которые возбуждаются в зависимости от величины возбуждения нейронов входного слоя. Нейронная сеть, имитирующая работу мозга, обрабатывает не сами данные, а их достоверность, или, в общепринятом смысле, вес, оценку этих данных. [7]

Существуют релаксационные нейронные сети, в которых информация циркулирует до тех пор, пока выходные значения нейронной сети (равновесное состояние) не перестанут меняться.

Релаксационные нейронные сети характеризуются прямым и обратным распространением информации между слоями нейронной сети. В основе работы таких сетей лежит итерационный принцип работы. Она заключается в том, что на каждой итерации процесса обрабатываются данные, полученные на предыдущем шаге. Этот круговорот информации продолжается до установления состояния равновесия. При этом состояния нейронных элементов перестают изменяться и характеризуются стационарными значениями. Поскольку релаксация является процессом установления равновесия, такие сети называются релаксационными. Эти сети используются как ассоциативная память, и для решения комбинаторных задач оптимизации. Релаксационные сети включают нейронные сети Хопфилда и Хэмминга.

1.2. Нейронные сети Хопфилда

Есть сети, не имеющие обратных связей, т. е. связей, идущих от выходов сетей к их входам. Отсутствие обратной связи гарантирует безусловную устойчивость сетей. Они не могут войти в режим, когда выход беспрерывно блуждает от состояния к состоянию, и не пригоден к использованию. Но это весьма желательное свойство достигается не бесплатно, сети без обратных связей обладают более ограниченными возможностями по сравнению с сетями с обратными связями. Так как сети с обратными связями имеют пути, передающие сигналы от выходов к входам, то отклик таких сетей является динамическим, т. е. после приложения нового входа вычисляется выход и, передаваясь по сети обратной связи, модифицирует вход. Затем выход повторно вычисляется, и процесс повторяется снова и снова. Для устойчивой сети последовательные итерации приводят к все меньшим изменениям выхода, пока, в конце концов, выход не становится постоянным. Для многих сетей процесс никогда не заканчивается, такие сети называют неустойчивыми. Неустойчивые сети обладают интересными свойствами и изучались в качестве примера хаотических систем, в отличие от устойчивых сетей, т. е. тех, которые в итоге дают постоянный выход. Проблема устойчивости ставила в тупик первых исследователей нейронных сетей. Никто не был в состоянии предсказать, какие из сетей будут устойчивыми, а какие будут находиться в постоянном изменении. Более того, проблема представлялась столь трудной, что многие исследователи были настроены пессимистически относительно возможности решения. К счастью, была получена теорема, описавшая подмножество сетей с обратными связями, выходы которых достигают устойчивого состояния. Это замечательное достижение открыло дорогу дальнейшим исследованиям и сегодня многие ученые занимаются исследованием сложного поведения и возможностей этих систем. Дж. Хопфилд сделал важный вклад, как в теорию, так и в применение систем с обратными связями. Поэтому некоторые из конфигураций известны как сети Хопфилда. [4]

1.3. Нейронные сети Хэмминга

Нейронная сеть Хэмминга (Hamming network) представляет собой релаксационную многослойную сеть, в которой применяются обратные связи между слоями. Сеть используется как ассоциативная память. В работе по распознаванию образов в ней, в качестве меры близости, применяют расстояние Хэмминга. Весовые коэффициенты и пороги сети Хэмминга определяются из условия задачи. Что определяет ее как сеть с фиксированными связями.

Для решения задач классификации бинарных входных векторов используется искусственная нейронная сеть Хэмминга. Его работа основана на процедурах, которые созданы стремиться к выбору одного из изображений из классификации, наиболее близких к зашумленному входному изображению, подаваемому на вход сети, и отнесения изображения к соответствующему классу. Для оценки меры близости к каждому классу используется критерий, учитывающий расстояние Хэмминга - количество различных переменных на зашумленных и эталонных входных изображениях.

Нейронная сеть Хемминга - это вид нейронной сети, важным критерием которой можно считать расстояние Хэмминга, использующийся для классификации бинарных векторов. Представляет собой модификацию сети Хопфилда.

Использование сети заключается в соотношении бинарного вектора с одним из эталонных образов, или же решении о том, что вектор не соответствует рассмотренным эталонам. Однако отличие от сети Хопфилда в том, что результатом работы является не сам эталон, а его номер.

Ричард Липпман предложил эту сеть в 1987 году. Она была представлена как специализированное запоминающее устройство с гетероассоциацией.

1.4.Архитектура нейронных сетей Хопфилда и Хэмминга

На рис. 1.1 показана сеть с обратными связями, состоящая из двух слоев. Способ представления несколько отличается от использованного в работе Хопфилда, но с функциональной точки зрения является эквивалентом. Нулевой слой распределяет выходы сети обратно на входы, но не выполняет вычислительной функции.

Рис. 1.1. Однослойная сеть с обратными связями. Пунктирные линии обозначают нулевые веса

Каждый нейрон первого слоя вычисляет взвешенную сумму своих входов, давая сигнал NET, который затем с помощью нелинейной функции F преобразуется в сигнал OUT. Эти операции сходны с нейронами других сетей.

Бинарные системы

В первой работе Хопфилда функция F была просто пороговой функцией. Выход такого нейрона равен единице, если взвешенная сумма выходов с других нейронов больше порога T_j, в противном случае она равна нулю. Он вычисляется следующим образом:

(1.1)

Состояние сети – это просто множество текущих значений сигналов OUT от всех нейронов. В первоначальной сети Хопфилда состояние каждого нейрона менялось в дискретные случайные моменты времени, в последующей работе состояния нейронов могли меняться одновременно. Так как выходом бинарного нейрона может быть только ноль или единица (промежуточных уровней нет), то текущее состояние сети является двоичным числом, каждый бит которого является сигналом OUT некоторого нейрона. [3]

Рис. 1.2. Структурная схема нейронной сети Хопфилда

Сеть Хэмминга многослойная и состоит из различных классов нейронных сетей. Пусть задано m образов, каждый из которых имеет размерность n:

(1.2)

Тогда нейронная сеть Хэмминга будет состоять из сети с прямыми связями, сети Хопфилда и слоя выходных нейронов (рис. 1.3).

Рис. 1.3. Архитектура нейронной сети Хэмминга

Сеть с прямыми связями состоит из n входных распределительных и m выходных нейронных элементов. Она вычисляет меру подобия между входным и эталонным образом, хранящимся в сети. В качестве меры подобия используется количество одинаковых разрядов между входным и эталонным образом. Тогда выходное значение i-го нейрона второго слоя представляет собой меру подобия P_i между входным и i-м эталонным образом: [2]

(1.3)

где d_i – расстояние Хэмминга между входным и i-м эталонным паттерном.

Сеть Хопфилда используется для разрешения возникающих конфликтов, когда входной паттерн подобен нескольким эталонным образам, хранящимся в сети. В процессе релаксации сети Хопфилда на ее выходе остается только один нейронный элемент с положительной выходной активностью.

Выходной слой нейронной сети состоит из m нейронов, каждый из которых имеет пороговую функцию активации. Он предназначен для преобразования положительной выходной активности нейрона сети Хэмминга в единичное значение. При этом значения всех остальных нейронов выходного слоя устанавливаются в нулевое состояние. Таким образом, происходит идентификация входного паттерна, который кодируется номером нейрона выходного слоя, имеющим единичное значение. Если входной образ не совпадает с эталонным, то на выходе сети Хэмминга будет формироваться эталонный паттерн с минимальным расстоянием Хэмминга по отношению к выходному образу.

2. Принципы работы, достоинства и недостатки

2.1 Принципы работы нейронных сетей Хопфилда и Хэмминга

Функционирование сети Хопфилда легко визуализируется геометрически. На рис. 2.1 показан случай двух нейронов в выходном слое, причем каждой вершине квадрата соответствует одно из четырех состояний системы (00, 01, 10, 11). На рис. 2.2 показана трехнейронная система, представленная кубом (в трехмерном пространстве), имеющим восемь вершин, каждая из которых помечена трехбитовым бинарным числом. В общем случае система с n нейронами имеет 2ⁿ различных состояний и представляется n-мерным гиперкубом.

Рис. 2.1. Два нейрона порождают систему с четырьмя состояниями

Рис. 2.2. Три нейрона порождают систему с восемью состояниями

Когда подается новый входной вектор, сеть переходит из вершины в вершину, пока не стабилизируется. Устойчивая вершина определяется сетевыми весами, текущими входами и величиной порога. Если входной вектор частично неправилен или неполон, то сеть стабилизируется в вершине, ближайшей к желаемой.

Устойчивость

Как и в других сетях, веса между слоями в этой сети могут рассматриваться в виде матрицы W. Сеть с обратными связями является устойчивой, если ее матрица симметрична и имеет нули на главной диагонали, т. е. если w_ij = w_ji и w_ii = 0 для всех i. [9]

Устойчивость такой сети может быть доказана с помощью математического метода. Допустим, что найдена функция, которая всегда убывает при изменении состояния сети. В конце эта функция должна достичь минимума и прекратить изменение, гарантируя тем самым устойчивость сети. Такая функция для рассматриваемых сетей с обратными связями может быть введена следующим образом:

(2.1)

где Е – искусственная энергия сети; w_ij – вес от выхода нейрона i к входу нейрона j; OUT_j – выход нейрона j; I_j – внешний вход нейрона j; Т_j – порог нейрона j.

Изменение энергии Е, вызванное изменением состояния j-нейрона, есть

(2.2)

где δOUT_j – изменение выхода j-го нейрона.

Допустим, что величина NET нейрона j больше порога. Тогда выражение в скобках будет положительным, а из уравнения (1.1) следует, что выход нейрона j должен измениться в положительную сторону (или остаться без изменения). Это значит, что δOUT может быть только положительным или нулем и δЕ должно быть отрицательным. Следовательно, энергия сети должна либо уменьшиться, либо остаться без изменения.

Далее, допустим, что величина NET меньше порога. Тогда величина δOUT_j  может быть только отрицательной или нулем. Следовательно, опять энергия должна уменьшиться или остаться без изменения.

И окончательно, если величина NET равна порогу, δ_j равна нулю и энергия остается без изменения.

Это показывает, что любое изменение состояния нейрона либо уменьшит энергию, либо оставит ее без изменения. Благодаря такому непрерывному стремлению к уменьшению, энергия в конце должна достигнуть минимума и прекратить изменение. По определению такая сеть является устойчивой.

Симметрия сети является достаточным, но не необходимым условием для устойчивости системы. Имеется много устойчивых систем (например, все сети прямого действия), которые ему не удовлетворяют. Можно продемонстрировать примеры, в которых незначительное отклонение от симметрии может приводить к непрерывным осцилляциям. Однако приближенной симметрии обычно достаточно для устойчивости систем.

Ассоциативная память

Память человека ассоциативна, то есть некоторая память может генерировать большую область, связанную с ней. Например, несколько музыкальных тактов могут вызвать целую гамму чувственных воспоминаний, включая пейзажи, звуки и запахи. В отличие от этого, обычная память компьютера локально адресуема, отображается адрес и извлекается информация по этому адресу.

Замкнутая сеть формирует ассоциативную память. Как и память человека, для данной части необходимой информации вся информация извлекается из "памяти". Чтобы организовать ассоциативную память с помощью сети с обратными связями, веса должны быть выбраны так, чтобы образовались энергетические минимумы в нужных вершинах одного гиперкуба.

Хопфилд разработал ассоциативную память с непрерывными выходами, изменяющимися в пределах от +1 до –1, соответствующих двоичным значениям 0 и 1. Запоминаемая информация кодируется двоичными векторами и хранится в весах согласно следующей формуле: [7]

(2.3)

где m - число запоминаемых выходных векторов; d – номер запоминаемого выходного вектора; OUT_i,_j – i-компонента запоминаемого выходного вектора.

Это выражение может стать более ясным, если заметить, что весовой массив W может быть найден вычислением внешнего произведения каждого запоминаемого вектора с самим собой (если требуемый вектор имеет n компонент, то эта операция образует матрицу размером n х n) и суммированием матриц, полученных таким образом. Это может быть записано в виде:

(2.4)

где D_i – i-й запоминаемый вектор-строка.

Как только веса заданы, сеть может быть использована для получения запомненного выходного вектора по данному входному вектору, который может быть частично неправильным или неполным. Для этого выходам сети сначала придают значения этого входного вектора. Затем входной вектор убирается, и сети предоставляется возможность «расслабиться», опустившись в ближайший глубокий минимум. Сеть, идущая по локальному наклону функции энергии, может быть захвачена локальным минимумом, не достигнув наилучшего в глобальном смысле решения.

Непрерывные системы

Рассмотрим модели с непрерывной активационной функцией F, точнее моделирующей биологический нейрон. В общем случае это S-образная или логистическая функция:

(2.5)

где λ – коэффициент, определяющий крутизну сигмоидальной функции. Если λ велико, F приближается к описанной ранее пороговой функции. Небольшие значения λ дают более пологий наклон.

Как и для бинарных систем, устойчивость гарантируется, если веса симметричны, т. е. w_ij = w_ji и w_ii = 0 при всех i. Функция энергии, доказывающая устойчивость подобных систем, была сконструирована, и имеет концептуальное сходство с дискретным случаем.

Если λ велико, непрерывные системы функционируют подобно дискретным бинарным системам, окончательно стабилизируясь со всеми выходами, близкими нулю или единице, т.е. в вершине единичного гиперкуба. С уменьшением λ устойчивые точки удаляются от вершин, последовательно исчезая по мере приближения λ к нулю. На рис. 2.3 показаны линии энергетических уровней непрерывной системы с двумя нейронами.

Сети Хопфилда и машина Больцмана

Недостатком сетей Хопфилда является их тенденция стабилизироваться в локальном, а не глобальном минимуме функции энергии. Эта трудность преодолевается в основном с помощью класса сетей, известных под названием машин Больцмана, в которых изменения состояний нейронов обусловлены статистическими, а не детерминированными закономерностями. Существует тесная аналогия между этими методами и отжигом металла, поэтому и сами методы часто называют имитацией отжига. [6]

Термодинамические системы

Металл отжигают, нагревая его до температуры, превышающей точку ею плавления, а затем давая ему медленно остыть. При высоких температурах атомы, обладая высокими энергиями и свободой перемещения, случайным образом принимают все возможные конфигурации. При постепенном снижении температуры энергии атомов уменьшаются, и система в целом стремится принять конфигурацию с минимальной энергией. Когда охлаждение завершено, достигается состояние глобального минимума энергии.

Рис. 2.3. Линии энергетических уровнен

При фиксированной температуре распределение энергий системы определяется вероятностным фактором Больцмана

(2.6)

где Е - энергия системы; к - постоянная Больцмана; Т- температура.

Отсюда можно видеть, что имеется конечная вероятность того, что система обладает высокой энергией даже при низких температурах. Сходным образом имеется небольшая, но вычисляемая вероятность, что чайник с водой на огне замерзнет, прежде чем закипеть.

Статистическое распределение энергий позволяет системе выходить из локальных минимумов энергии. В то же время вероятность высокоэнергетических состояний быстро уменьшается со снижением температуры. Следовательно, при низких температурах имеется сильная тенденция занять низкоэнергетическое состояние. [2]

Статистичекие сети Хопфилда

Если правила изменения состояний для бинарной сети Хопфилда заданы статистически, а не детерминировано, как в уравнении (1.1), то возникает система, имитирующая отжиг. Для ее реализации вводится вероятность изменения веса как функция от величины, на которую выход нейрона OUT превышает его порог. Пусть

(2.7)

где NET_k - выход NET нейрона к; θ - порог нейрона к, и

(2.8)

(отметьте вероятностную функцию Больцмана в знаменателе), где Т - искусственная температура.

В стадии функционирования искусственной температуре Т приписывается большое значение, нейроны устанавливаются в начальном состоянии, определяемом входным вектором, и сети предоставляется возможность искать минимум энергии в соответствии с нижеследующей процедурой:

1. Приписать состоянию каждого нейрона с вероятностью р_к значение единица, а с вероятностью 1- р_к - ноль.
2. Постепенно уменьшать искусственную температуру и повторять шаг 1, пока не будет достигнуто равновесие.

Обобщенные сети

Принцип машины Больцмана может быть перенесен на сети практически любой конфигурации, хотя устойчивость не гарантируется. Для этого достаточно выбрать одно множество нейронов в качестве входов и другое множество в качестве выходов. Затем придать входному множеству значения входного вектора и предоставить сети возможность релаксировать в соответствии с описанными выше правилами 1 и 2.

Процедура обучения для такой сети, состоит из следующих шагов:

1. Вычислить закрепленные вероятности.

а) придать входным и выходным нейронам значения обучающего вектора;

б) предоставить сети возможность искать равновесие;

в) записать выходные значения для всех нейронов;

г) повторить шаги от а до в для всех обучающих векторов;

д) вычислить вероятность P_ij⁺ , т. е. по всему множеству обучающих векторов вычислить вероятность того, что значения обоих нейронов равны единице.

1. Вычислить незакрепленные вероятности.

а) предоставить сети возможность «свободного движения» без закрепления входов или выходов, начав со случайного состояния;

б) повторить шаг 2а много раз, регистрируя значения всех нейронов;

в) вычислить вероятность P_ij^-, т. е. вероятность того, что значения обоих нейронов равны единице.

1. Скорректировать веса сети следующим образом:

(2.9)

где δw_ij - изменение веса w_ij, η| - коэффициент скорости обучения.

Для различных слоев нейронной сети Хэмминга применимы правила определения весовых коэффициентов. Весовые коэффициенты и пороги сети с прямыми связями настраиваются таким образом, чтобы выходное значение i-го нейронного элемента соответствовало i-й мере подобия P_i между входным и i-м эталонным образом. Для этого необходимо, чтобы

(2.10)

Где

Тогда выходная активность j-го нейронного элемента сети с прямыми связями определяется как:

(2.11)

Легко показать, что выражение (2.11) эквивалентно мере подобия между входным и j-м эталонным образом:

(2.12)

Сеть Хопфилда, как уже отмечалось, предназначена для устранения возможных конфликтов, когда входной паттерн похож на несколько эталонных образов, хранящихся в сети. Найдем для этого весовые коэффициенты сети Хопфилда:

(2.13)

где e = const. Параметр e обычно лежит в диапазоне

(2.14)

Таким образом, каждый нейрон связан с остальными нейронными элементами сети Хопфилда только тормозящими связями. Начальная инициализация сети Хопфилда происходит на основе нейронной сети с прямыми связями: [1]

(2.15)

В процессе релаксации сеть Хопфилда изменяет свое состояние:

(2.16)

Преобразуем данное выражение с учетом того, что при k = j, v_ji=1:(2.17)

где k ≠ j

В качестве функции активации нейронных элементов сети Хопфилда используется следующая функция:

(2.18)

Релаксационный процесс происходит до тех пор, пока только один нейронный элемент сети Хопфилда не останется с положительной активностью. Такой нейронный элемент является победителем в конкурентной борьбе. Выходной слой сети Хэмминга преобразует выходную активность нейрона-победителя в единичное значение, а остальных нейронов - в нулевое значение. Для этого нейроны выходного слоя используют пороговую функцию активации. Номер нейрона победителя идентифицирует распознанный образ. Количество образов, хранимых в сети, равняется количеству нейронных элементов выходного слоя.

Рассмотрим алгоритм функционирования нейронной сети Хэмминга. Он состоит из следующих шагов:

1. Определяются весовые коэффициенты и пороговые значения для соответствующих слоев нейронной сети.

2. На вход сети подается неизвестный образ и производится инициализация нейронных элементов сети Хопфилда в соответствии с выражениями (2.12).

3. Производится итерационная процедура расчета выходных значений сети Хопфилда до ее конечной стабилизации. В этом случае на выходе сети Хэмминга один нейронный элемент будет иметь единичное состояние, а остальные – нулевое состояние.

4. Если в выходном слое существует несколько нейронных элементов-победителей, то выбор одного из них производится случайным образом. [2]

2.2. Достоинства нейронных сетей Хопфилда и Хэмминга

Сеть Хопфилда обладает некоторыми достоинствами:

1. Сеть имеет весомое историческое значение.  Также имеющиеся модификации открыты к решению современных задач области применения данной сети.
2. Она является основой и составляющей частью для модифицированной и более узкоспециализированной сети Хэмминга.
3. Данная сеть стала важной ступенью в развитии интереса к искусственным нейронным сетям и их повсеместному использованию в современном мире. С этой модели началось возрождение интереса к нейронным сетям в середине 80-х годов.
4. Имеет высокую скорость при аппаратной реализации и довольно слабую зависимость сходимости от размеров сети.

Достоинства сети Хемминга:

1. Она не требует для обучения масштабных вычислительных процедур.
2. Также ее достоинством можно считать немногочисленность межнейронных связей.
3. Емкость нейронной сети Хемминга равна количеству нейронов рабочего слоя, что обуславливает отсутствие чрезмерного потребления ресурсов ввиду пассивности нерабочих слоев в данный момент времени.
4. В работе сети существует отсутствие зависимости емкости от размерности входного сигнала.
5. Обладает достаточно простым алгоритмом работы, так же как и простым алгоритмом обучения.

Сеть Хэмминга имеет важные преимущества по сравнению с сетью Хопфилда:

1. Сеть Хэмминга с одним слоем, работает намного быстрее подобной сети Хопфилда, потому что решение формируется однократным проходом через один слой;
2. Сеть Хэмминга имеет один из самых простых алгоритмов формирования весов и смещений;
3. Экспериментально доказано, что двухслойная сеть Хэмминга функционирует лучше, чем сеть Хопфилда при случайном наборе запоминаемых векторов.
4. Сравнительно меньшее, чем в сети Хопфилда, количество межнейронных связей.
5. Скорость работы сети, состоящей из одинарного рабочего слоя, у Хэмминга выше, чем у сети Хопфилда, т.к. поиск решения осуществляется однократным проходом по слою нейронов. [7]

2.3. Недостатки

К сожалению, у нейронной сети Хопфилда есть ряд недостатков:

1. Нейронная сеть обладает сравнительно небольшой емкостью имеющейся памяти. Попытки записи превышающего допустимое количество числа образов приводят к неспособности сети продолжать распознавать эти образы;
2. При достижении сетью состояния равновесия все еще не представляется возможным с полной уверенностью рассчитывать на получение правильного ответа. Результатом работы сети могут быть нежелательные ложные аттракторы, которые по сути своей являются склеенными из фрагментов различных образов;
3. В процессе сеть может прийти к цикличности, если были использованы коррелированные векторы-образцы;
4. Сеть хранит в себе не только образы, но и их негативы.

Однако и у сети Хэмминга, несмотря на ее кажущееся превосходство относительно сети Хопфилда, есть недостатки:

1. Плохая работа при сильно зашумленных входных сигналах. Если сигналы от двух или более эталонов находятся на одинаковом расстоянии Хэмминга, то выбор одного из эталонов становится совершенно случайным, что уменьшает уровень результативности и приводит к неопределенности результата, а также закономерной способности распознавать только слабозашумленные образы;
2. Сети Хэмминга рассчитаны на работу только с бинарными входными сигналами, они не способны справляться с более новыми форматами информации, что ограничивает варианты их применения, однако в целом сети могут успешно использоваться для решения задач распознавания образов, классификации, реализации ассоциативной и гетероассоциативной памяти, а также передачи сигналов в условиях помех;
3. Она не выделяет два и более эталонов, имеющих с предъявленным изображением одинаковые максимальные меры близости. [9]

Заключение

Данная курсовая работа дала представление о способности нейронных сетей, определенным образом, предоставить помощь людям в дальнейшем развитии, исходящем из учета первоначальных данных. Область нейронных сетей исследована достаточно наглядно для того, чтобы утверждать ее сравнительное превосходство над другими статистическими вычислительными методами. Модели, созданные на основе нейронных сетей, обладают гибкостью теоретических требований, помимо этого, они нуждаются в относительно меньших объемах изначальных данных формирования задачи.

Нейронные сети способны подстраиваться, но они не сообщают о необходимости принятия во внимание определенных критериев решения задачи на этапе сбора данных.

Таким образом, нейронные сети действительно могут быть рассмотрены, как средства для формализации мышления. Приемлемо понятие справедливости в уместности существования основы для исследования нейронных сетей, которой является математическая логика, и достижения которой с большим успехом могу объяснить внутренние процессы и принципы работы нейронных сетей, а также могут служить залогом улучшения выполняемости более сложных задач на данный момент времени и в будущем, при появлении таковых. Из чего можно сделать вывод, что сети, способные использовать в качестве инструмента обратные связи внутри себя, рассматриваются для дальнейших исследований перспективным объектом. Специфические проблемы могут найти свое решение, и новые интересные возможности могут быть открыты благодаря динамическому поведению подобных сетей.

Однако не следует минимизировать значение факта о том, что даже при текущем уровне работоспособности и полезности рассмотренных сетей, как и всех компьютерных технологий в целом, нейронные сети способны адаптироваться в силу своей структуры, могут имитировать человеческое решение, но ответственность за окончательное принятие и направленность действий для решений текущих задач, какой бы сложностью они не обладали и к каким бы последствиям не приводили, всегда должна оставаться результатом работы мозга.

Список использованных источников

1. Галушкин, А.И. Нейронные сети: история развития теории: Учебное пособие для вузов. / А.И. Галушкин, Я.З. Цыпкин. - М.: Альянс, 2015. - 840 c.
2. Короткий С. Нейронные сети. М.: Финансы и статистика, 2011. – 456 с.
3. Нейросетевые технологии обработки данных : учеб. пособие /. В. А. Головко, В. В. Краснопрошин. – Минск: БГУ, 2017. – 263 с
4. Нейронные сети: распознавание, управление, принятие решений. Барский А.Б. М.: Финансы и статистика, 2004. – 176 с.
5. Редько, В.Г. Эволюция, нейронные сети, интеллект: Модели и концепции эволюционной кибернетики / В.Г. Редько. - М.: Ленанд, 2015. - 224 c.
6. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская, М. Пилиньский, Л. Рутковский. - М.: РиС, 2013. - 384 c.
7. Тархов Д. А. Нейронные сети. Модели и алгоритмы. Книга 18; Радиотехника - Москва, 2005. - 256 c.
8. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика. Перевод на русский язык, Ю. А. Зуев, В. А. Точенов. – 184 с
9. Ширяев, В.И. Финансовые рынки: Нейронные сети, хаос и нелинейная динамика: Учебное пособие / В.И. Ширяев. - М.: ЛИБРОКОМ, 2013. - 232 c.
10. Яхъяева, Г.Э. Нечеткие множества и нейронные сети: Учебное пособие / Г.Э. Яхъяева. - М.: БИНОМ. ЛЗ, ИНТУИТ.РУ, 2012. - 316 c.