Cybernetics Wiki
Регистрация
Advertisement
Файл:DAP.png

Архитектура нейронной сети Коско

Нейронная сеть Коско (Двунаправленная ассоциативная память - ДАП) - нейронная сеть, разработанная Бартом Коско. Это однослойная нейронная сеть с обратными связями, базируется на двух идеях: адаптивной резонансной теории Стефана Гросберга и автоассоциативной памяти Хопфилда. Двунаправленная ассоциативная память (ДАП) является гетероассоциативной; входной вектор поступает на один набор нейронов, а соответствующий выходной вектор вырабатывается на другом наборе нейронов. Как и сеть Хопфилда, ДАП способна к обобщению, вырабатывая правильные реакции, несмотря на искаженные входы. Кроме того, могут быть реализованы адаптивные версии ДАП, выделяющие эталонный образ из зашумленных экземпляров. Эти возможности сильно напоминают процесс мышления человека и позволяют искусственным нейронным сетям сделать шаг в направлении моделирования мозга.

Синхронная ДАП[]

Сеть состоит из двух слоёв элементов между которыми имеют двухстороние связи соединенные с элементами по принципу все со всеми. Поэтому для описания сети может использоваться матрица весов. В случае когда эта матрица квадратная и симметричная - ДАП превращается в автоассоциативную сеть Хопфилда.

Когда на вход сети подается некий стимул, который является зашумленным, то передача сигналов внутри ДАП происходит так долго пока сеть не найдет наиболее близкий эталон (ассоциацию), которому ранее обучали сеть. Этот процесс можно интерпретировать как воспоминание и стабилизацию памяти.

Непрерывная ДАП[]

Непрерывные асинхронные ДАП отвергают синхронность и разрывность, но функционируют в основном аналогично дискретным версиям.

В синхронной ДАП формальные нейроны в слоях 1 и 2 синхронные, т.е. каждый нейрон обладает памятью, причем все нейроны изменяют состояния одновременно. В асинхронной системе любой нейрон свободен изменять состояние в любое время, когда его вход предписывает это сделать.

При определении функции активации нейрона использовался простой порог, тем самым образуя разрывность передаточной функции нейронов. К этому моменту становится известен метод обратного распространенния ошибки, поэтому появляется возможность создать непрерывную модификацию ДАП. Было показано, что сигмоида способна усиливать низкоуровневые сигналы, в то же время сжимая динамический диапазон нейронов. Непрерывная ДАП может иметь сигмоидальную функцию с величиной l, близкой к единице, образуя тем самым нейроны с плавной и непрерывной реакцией.

Адаптивная ДАП[]

Адаптивная ДАП изменяет свои веса в процессе функционирования. Это означает, что подача на вход сети обучающего набора входных векторов заставляет ее изменять энергетическое состояние до получения резонанса. Постепенно кратковременная память превращается в долговременную память, настраивая сеть в результате ее функционирования. В процессе обучения векторы подаются на слой А, а ассоциированные векторы на слой В. Один из них или оба вектора могут быть зашумленными версиями эталона; сеть обучается исходным векторам, свободным от шума. В этом случае она извлекает сущность ассоциаций, обучаясь эталонам, хотя «видела» только зашумленные аппроксимации.

Конкурирующая ДАП[]

Во многих конкурирующих нейронных системах наблюдаются некоторые виды конкуренции между нейронами. В нейронах, обрабатывающих сигналы от сетчатки, латеральное торможение приводит к увеличению выхода наиболее высокоактивных нейронов за счет соседних. Такие системы увеличивают контрастность, поднимая уровень активности нейронов, подсоединенных к яркой области сетчатки, в то же время еще более ослабляя выходы нейронов, подсоединенных к темным областям.

В ДАП конкуренция реализуется взаимным соединением нейронов внутри каждого слоя посредством дополнительных связей. Веса этих связей формируют другую весовую матрицу с положительными значениями элементов главной диагонали и отрицательными значениями остальных элементов.

См. также[]

Литература[]

  • Kosko B. Bi-directional associative memories // IEEE Transactions on Systems, Man and Cybernetics. — 1987. — С. 18(1):49-60.
  • Kosko B. Competitive adaptive bi-directional associative memories. // In Proceedings of the IEEE First International Conference on Neural Networks, eds. M.Caudill and C.Butler. — San Diego: 1987. — С. vol. 2, pp. 759-66.
  • Kosko B. Constructing an associative memory. — 1987. — С. pp. 137-44.
  • Kosko В., Guest С. Optical bi-directional associative memories. // Sosiety for Photo-optical and Instrumentation Engineers Proceedings: Image Understanding. — 1987. — С. 758:11-18.



Это основополагающая версия, написанная участниками этого проекта. Но содержимое этой страницы очень близкое по содержанию предоставлено для раздела Википедии на русском языке. Так же, как и в этом проекте, текст этой статьи, размещённый в Википедии, доступен на условиях GNU FDL. Статью, размещенную в Википедии можно найти по адресу: Нейронная сеть Коско.


Advertisement