ОПИС ДО ПАТЕНТУ НА КОРИСНУ МОДЕЛЬ

(19)

UA

(11)

62606

(13)

U

(51)

МПК

G06G 7/60 (2006.01)

ДЕРЖАВНА СЛУЖБА ІНТЕЛЕКТУАЛЬНОЇ ВЛАСНОСТІ УКРАЇНИ

_{ДО ПАТЕНТУ}

ОПИС

НА КОРИСНУ МОДЕЛЬ

видається під відповідальність власника патенту (1 9 )

UA

(1 1 )

626

06

(1 3 )

U

(54) ПРИСТРІЙ БЕЗПЕРЕРВНОЇ ДВОСПРЯМОВАНОЇ АСОЦІАТИВНОЇ ПАМ'ЯТІ 1 2 (21) u201015230 (22) 17.12.2010 (24) 12.09.2011 (46) 12.09.2011, Бюл.№ 17, 2011 р. (72) ДМИТРІЄНКО ВАЛЕРІЙ ДМИТРІЙОВИЧ, ЗА-КОВОРОТНИЙ ОЛЕКСАНДР ЮРІЙОВИЧ, БЄЛЄВ-ЦОВ ІГОР ОЛЕГОВИЧ (73) НАЦІОНАЛЬНИЙ ТЕХНІЧНИЙ УНІВЕРСИТЕТ "ХАРКІВСЬКИЙ ПОЛІТЕХНІЧНИЙ ІНСТИТУТ" (57) Пристрій безперервної двоспрямованої асоці-ативної пам'яті, який створений на основі нейрон-них мереж адаптивної резонансної теорії (APT), складається із сенсорного шару нейронів, проміж-ного шару нейронів, елементи якого зв'язані пара-ми бінарних двоспрямованих зважених зв'язків з усіма елементами шарів спільних вирішальних нейронів двох модулів, до складу першого з яких входять два паралельно працюючі підмодуля, зв'язані один з одним односпрямованими зв'язка-ми, і являють собою модифіковані безперервні нейронні мережі АРТ-2, кожна з яких включає в собі шар інтерфейсних елементів, нейрони якого пов'язані з відповідними їм елементами сенсорно-го шару нейронів модуля парами двоспрямованих зв'язків з безперервними ваговими коефіцієнтами, шар розпізнавальних елементів, нейрони якого зв'язані бінарними односпрямованими зв'язками з відповідними їм розпізнавальними нейронами ін-шого підмодуля нейронної мережі, з кожним з елементів інтерфейсного шару підмодуля парами двоспрямованих зважених зв'язків з безперервни-ми ваговибезперервни-ми коефіцієнтабезперервни-ми й з відповіднибезперервни-ми їм спільними розпізнавальними нейронами модуля безперервної нейронної мережі, парами двоспря-мованих зважених зв'язків з безперервними ваго-вими коефіцієнтами, вирішальний нейрон, що зв'я-заний збудливими й гальмуючими бінарними односпрямованими зв'язками з усіма елементами інтерфейсного й розпізнавального шарів підмоду-ля нейронної мережі й загальним вирішальним нейроном модуля, що, у свою чергу, зв'язаний бі-нарними односпрямованими вихідними зв'язками з усіма елементами загального розпізнавального шару нейронів модуля, а також нормуючий ней-рон, що зв'язаний безперервними односпрямова-ними вихідодноспрямова-ними зв'язками з усіма елементами ін-терфейсного шару нейронів підмодуля безперервної нейронної мережі й безперервними односпрямованими вхідними зв'язками з усіма елементами сенсорного шару нейронів, який від-різняється тим, що до його складу уведений мо-дуль, що являє собою базову архітектуру безпе-рервної нейронної мережі АРТ-2, що, у свою чергу, містить у собі шар сенсорних елементів, нейрони якого зв'язані парами двоспрямованих зв'язків з відповідними їм нейронами інтерфейсного шару, елементи якого зв'язані бінарними односпрямова-ними вхідодноспрямова-ними зв'язками з першим нормалізуючим модулем і відповідними їм нейронами першого обробного шару, елементи якого, у свою чергу, зв'язані бінарними односпрямованими вхідними зв'язками з першим нормалізуючим модулем та бінарними односпрямованими вихідними зв'язками з відповідними їм нейронами другого обробного шару, які, у свою чергу, зв'язані бінарними односп-рямованими вихідними зв'язками з другим норма-лізуючим модулем і відповідними їм нейронами четвертого обробного шару, елементи якого зані бінарними односпрямованими вихідними зв'я-зками з відповідними їм нейронами інтерфейсного та керуючого шарів, а також бінарними односпря-мованими вхідними зв'язками з другим нормалізу-ючим модулем, і парами двоспрямованих зваже-них зв'язків з безперервними ваговими коефіцієнтами з нейронами проміжного шару, при цьому кожний з нейронів керуючого шару зв'яза-ний бінарними односпрямованими вихідними зв'я-зками з керуючим нейроном, що, у свою чергу, зв'язаний бінарними односпрямованими вихідними зв'язками з кожним з нейронів розпізнавального шару, елементи якого зв'язані двоспрямованими зваженими зв'язками з безперервними ваговими коефіцієнтами з кожним з нейронів проміжного шару, відповідні елементи якого зв'язані бінарними односпрямованими вихідними зв'язками з відпові-дними їм нейронами керуючого шару елементів, третім нормалізуючим модулем, а також з відпові-дними їм нейронами третього обробного шару, елементи якого зв'язані бінарними односпрямова-ними вхідодноспрямова-ними зв'язками з третім нормалізуючим модулем, а також бінарними вихідними односпря-мованими зв'язками з відповідними їм нейронами другого обробного шару.

Корисна модель належить до обчислювальної техніки, зокрема, до області побудови інтелектуа-льних автоматизованих систем підтримки прийн-яття рішень, а саме до напрямку створення баз знань систем підтримки прийняття рішень. Корисна модель може бути використана при побудові системи підтримки прийняття рішень ма-шиністом такого складного технічного об'єкта, як дизель-поїзд із тяговим асинхронним електропри-водом. Відомий пристрій двоспрямованої асоціативної пам'яті, створеної на основі дискретних нейронних мереж адаптивної резонансної теорії (APT), скла-дається із двох сенсорних шарів нейронів і відріз-няється тим, що в нього введений проміжний шар нейронів, елементи якого зв'язані парами двосп-рямованих зважених зв'язків з відповідними їм елементами розпізнавальних шарів двох однотип-них паралельно працюючих модулів, кожний з яких являє собою дискретну нейронну мережу адапти-вної резонансної теорії, що містить у собі шари інтерфейсних елементів, нейрони яких пов'язані з відповідними їм елементами сенсорних шарів па-рами бінарних двоспрямованих зв'язків, шари роз-пізнавальних елементів, нейрони яких пов'язані з кожним з елементів у відповідних їм інтерфейсних шарах парами двоспрямованих зважених зв'язків з безперервними ваговими коефіцієнтами, виріша-льні нейрони, які зв'язані збудливими й гальмую-чими зв'язками з усіма елементами сенсорних, інтерфейсних і розпізнавальних шарів, і керуючі нейрони, які зв'язані збудливими й гальмуючими зв'язками з усіма елементами сенсорних, інтер-фейсних і розпізнавальних шарів, а також з відпо-відними керуючими нейронами, які, у свою чергу, зв'язані з усіма нейронами в проміжному шарі елементів нейронної мережі [1]. Недоліками відомого пристрою є відсутність можливості запам'ятовування й відновлення зі своєї пам'яті асоціативних зображень, які предста-влені у вигляді векторів з безперервними складо-вими. Відомий пристрій двоспрямованої аналого-дискретної асоціативної пам'яті, створений на ос-нові нейронних мереж адаптивної резонансної теорії, що складається із двох сенсорних шарів нейронів, проміжного шару нейронів, елементи якого зв'язані парами бінарних двоспрямованих зважених зв'язків з усіма елементами спільних вирішальних нейронів одного модуля й з усіма елементами розпізнавального шару іншого моду-ля, що являє собою дискретну нейронну мережу АРТ-1 і містить у собі шар інтерфейсних елемен-тів, нейрони якого пов'язані з відповідними їм еле-ментами сенсорного шару модуля парами двосп-рямованих зважених зв'язків з бінарними ваговими коефіцієнтами, шар розпізнавальних елементів, нейрони якого пов'язані з кожним з елементів в інтерфейсному шарі парами двоспрямованих зва-жених зв'язків з безперервними ваговими коефіці-єнтами, вирішальний нейрон, що зв'язаний збуд-ливими й гальмуючими зв'язками з усіма елемен-тами сенсорного, інтерфейсного й розпізнавально-го шарів і два керуючі нейрони, один із яких зв'я-заний збудливими й гальмуючими зв'язками з усіма елементами сенсорного, інтерфейсного й розпізнавальних шарів, а інший - зв'язаний збуд-ливими й гальмуючими зв'язками з усіма елемен-тами сенсорного й розпізнавального шару нейро-нів, а також з керуючим нейроном усього модуля, що, в свою чергу, зв'язаний вхідними зв'язками з усіма нейронами в проміжному шарі елементів нейронної мережі, і відрізняється тим, що в нього уведені два однотипних паралельно працюючих підмодуля, розпізнавальні нейрони яких пов'язані один з одним бінарними односпрямованими зв'яз-ками, і являють собою модифіковані безперервні нейронні мережі АРТ-2, кожна з яких включає у себе шар інтерфейсних елементів, нейрони якого пов'язані з відповідними їм елементами сенсорно-го шару нейронів модуля парами двоспрямованих зв'язків з безперервними ваговими коефіцієнтами, шар розпізнавальних елементів, нейрони якого зв'язані бінарними односпрямованими зв'язками з відповідними їм розпізнавальними нейронами ін-шого підмодуля нейронної мережі, з кожним з елементів інтерфейсного шару підмодуля парами двоспрямованих зважених зв'язків з безперервни-ми ваговибезперервни-ми коефіцієнтабезперервни-ми й з відповіднибезперервни-ми їм спільними розпізнавальними нейронами модуля безперервної нейронної мережі парами двоспря-мованих зважених зв'язків з безперервними ваго-вими коефіцієнтами, вирішальний нейрон, що зв'я-заний збудливими й гальмуючими бінарними односпрямованими зв'язками з усіма елементами інтерфейсного й розпізнавального шарів підмоду-ля й спільним вирішальним нейроном модупідмоду-ля, що, у свою чергу, зв'язаний бінарними односпрямова-ними вихідодноспрямова-ними зв'язками з усіма елементами спі-льного розпізнаваспі-льного шару нейронів модуля нейронної мережі, а також нормуючий нейрон, що зв'язаний безперервними односпрямованими ви-хідними зв'язками з усіма елементами інтерфейс-ного шару нейронів підмодуля безперервної ней-ронної мережі й безперервними односпрямованими вхідними зв'язками з усіма елементами сенсорного шару нейронів паралель-но працюючого модуля безперервпаралель-ної нейронпаралель-ної мережі [2]. При порівнянні з першим аналогом, двоспря-мована аналого-дискретна асоціативна пам'ять має можливість запам'ятовування в своїй пам'яті зображень, представлених у вигляді векторів з бінарними складовими і ставити їм в асоціацію зображення, представлені у вигляді векторів з безперервними складовими. Однак у розглянутого пристрою відсутня можливість запам'ятовування та відновлення з пам'яті пристрою асоціативних зображень, які представлені тільки у вигляді век-торів з безперервними складовими. Найбільш близьким до заявленого, є пристрій аналогової двоспрямованої асоціативної пам'яті,

створений на основі нейронних мереж адаптивної резонансної теорії, що складається з двох сенсор-них шарів нейронів, проміжного шару нейронів, елементи якого пов'язані парами бінарних двосп-рямованих зважених зв'язків з усіма елементами шару спільних вирішальних нейронів двох модулів, до складу першого з яких входять два паралельно працюючих підмодуля, пов'язаних один з одним односпрямованими зв'язками, і являють собою модифіковану безперервну нейронну мережу АРТ-2, що включає в себе шар інтерфейсних елемен-тів, нейрони якого пов'язані з відповідними їм еле-ментами сенсорного шару нейронів модуля пара-ми двоспрямованих зв'язків з безперервнипара-ми ваговими коефіцієнтами, шар розпізнавальних елементів, нейрони якого пов'язані бінарними од-носпрямованими зв'язками з відповідними їм роз-пізнавальними нейронами іншого підмодуля ней-ронної мережі, з кожним з елементів інтерфейсного шару підмодуля парами двоспря-мованих зважених зв'язків з безперервними ваго-вими коефіцієнтами і з відповідними їм спільними розпізнавальними нейронами модуля безперерв-ної нейронбезперерв-ної мережі парами двоспрямованих зважених зв'язків з безперервними ваговими кое-фіцієнтами, вирішальний нейрон, який пов'язаний збудливими і гальмуючими бінарними односпря-мованими зв'язками з усіма елементами інтер-фейсного і розпізнавального шару підмодуля ней-ронної мережі і спільним вирішальним нейроном модуля, який, у свою чергу, пов'язаний бінарними односпрямованими вихідними зв'язками з усіма елементами спільного розпізнавального шару нейронів модуля, а також нормуючий нейрон, який пов'язаний безперервними односпрямованими вихідними зв'язками з усіма елементами інтер-фейсного шару нейронів підмодуля безперервної нейронної мережі і безперервними односпрямова-ними вхідодноспрямова-ними зв'язками з усіма елементами сен-сорного шару нейронів, і відрізняється тим, що в нього введені два однотипних паралельно працю-ючих підмодуля, пов'язаних один з одним бінар-ними односпрямовабінар-ними зв'язками, і являють со-бою модифіковані безперервні нейронні мережі АРТ-2, кожна з яких включає в себе шар інтерфей-сних елементів, нейрони якого пов'язані з відпові-дними їм елементами сенсорного шару нейронів модуля парами двоспрямованих зв'язків з безпе-рервними ваговими коефіцієнтами, шар розпізна-вальних елементів, нейрони якого пов'язані бінар-ними односпрямовабінар-ними зв'язками з відповідбінар-ними їм розпізнавальними нейронами іншого підмодуля нейронної мережі, з кожним з елементів інтерфей-сного шару підмодуля парами двоспрямованих зважених зв'язків з безперервними ваговими кое-фіцієнтами і з відповідними їм спільними розпізна-вальними нейронами модуля безперервної ней-ронної мережі парами двоспрямованих зважених зв'язків з безперервними ваговими коефіцієнтами, вирішальний нейрон, який пов'язаний збудливими і гальмуючими бінарними односпрямованими зв'я-зками з усіма елементами інтерфейсного і розпі-знавального шару підмодуля і спільним вирішаль-ним нейроном модуля, який, у свою чергу, пов'язаний бінарними односпрямованими вихід-ними зв'язками з усіма елементами загального розпізнавального шару нейронів модуля нейронної мережі, а також нормуючий нейрон, який пов'яза-ний безперервними односпрямованими вихідними зв'язками з усіма елементами інтерфейсного шару нейронів підмодуля безперервної нейронної ме-режі і безперервними односпрямованими вхідними зв'язкам і з усіма елементами сенсорного шару нейронів паралельно працюючого модуля безпе-рервної нейронної мережі [3]. При порівнянні з розглянутими аналогами, пристрій-прототип дозволяє запам'ятовувати і від-новлювати зі своєї пам'яті асоціативні зображення, які представлені тільки у вигляді векторів з безпе-рервними складовими. Однак розглянутий пристрій-прототип не до-зволяє зберігати в своїй пам'яті класи процесів, інваріантних до амплітуди вхідних сигналів (зо-бражень). Таким чином, недоліком пристрою-прототипу є те, що він не дозволяє відносити до одного класу сигнали (процеси), однакові за формою, але різні за амплітудою. Задача корисної моделі - розробка пристрою безперервної двоспрямованої асоціативної пам'я-ті, що володіє можливістю запам'ятовування і від-новлення зі своєї пам'яті асоціативних процесів (сигналів), які інваріантні до амплітуди вхідних векторів. Задача вирішується завдяки тому, що пристрій двоспрямованої асоціативної пам'яті змінюється шляхом введення в його структуру модуля, що являє собою базову архітектуру безперервної нейронної мережі АРТ-2, що, у свою чергу, містить у собі шар сенсорних елементів, нейрони якого зв'язані парами двоспрямованих зв'язків з відпові-дними їм нейронами інтерфейсного шару, елемен-ти якого зв'язані бінарними односпрямованими вихідними зв'язками з першим нормалізуючим мо-дулем і відповідними їм нейронами першого обро-бного шару, елементи якого, у свою чергу, зв'язані бінарними односпрямованими вхідними зв'язками з першим нормалізуючим модулем та бінарними односпрямованими вихідними зв'язками з відпові-дними їм нейронами другого обробного шару, які, у свою чергу, зв'язані бінарними односпрямовани-ми вихідниодноспрямовани-ми зв'язкаодноспрямовани-ми з другим нормалізуючим модулем і відповідними їм нейронами четвертого обробного шару, елементи якого зв'язані бінарни-ми односпрямованибінарни-ми вихіднибінарни-ми зв'язкабінарни-ми з від-повідними їм нейронами інтерфейсного та керую-чого шарів, а також бінарними односпрямованими вхідними зв'язками з другим нормалізуючим моду-лем, і парами двоспрямованих зважених зв'язків з безперервними ваговими коефіцієнтами з нами проміжного шару, при цьому кожний з нейро-нів керуючого шару зв'язаний бінарними односп-рямованими вихідними зв'язками з керуючим нейроном, що, у свою чергу, зв'язаний бінарними односпрямованими вихідними зв'язками з кожним з нейронів розпізнавального шару, елементи якого зв'язані двоспрямованими зваженими зв'язками з безперервними ваговими коефіцієнтами з кожним з нейронів проміжного шару, відповідні елементи якого зв'язані бінарними односпрямованими

вихід-ними зв'язками з відповідвихід-ними їм нейронами керу-ючого шару елементів, третім нормалізуючим мо-дулем, а також з відповідними їм нейронами тре-тього обробного шару, елементи якого зв'язані бінарними односпрямованими вхідними зв'язками з третім нормалізуючим модулем, а також бінар-ними вихідбінар-ними односпрямовабінар-ними зв'язками з відповідними їм нейронами другого обробного шару. Корисна модель ілюструється кресленням, на якому наведена схема пристрою безперервної двоспрямованої асоціативної пам'яті, розробленої на основі нейронних мереж АРТ-2Д та АРТ-2. Корисна модель складається із двох парале-льно працюючих модулів M₁,M₂. Модуль M являє 1 собою безперервну нейронну мережу АРТ-2Д, а модуль M - базову архітектуру безперервної ₂ нейронної мережі АРТ-2. До складу модулів M і ₁ 2 M входять сенсорні шари елементів, відповідно 1 i S і S , _l2



i1,,n;l1,,k



, які приймають пари асоціативних вхідних зображень

 

 

2



q 1 q 2 2 1 2 2 1 1 1,S ,S ,S , ,S ,S S  . Елементи сенсорних S- шарів модулів M і ₁ M передають вхідні зобра-2 ження інтерфейсним нейронам 2 i 1 i,Z Z і Z , 3_l



i1,,n;l1,,k



, відповідно підмодулів M₁₁,M₁₂ і модуля M нейронної мережі. Поряд із встанов-₂ ленням значень нейронів інтерфейсних Z - шарів підмодулів M₁₁,M₁₂ і модуля M іде також активі-₂ зація вирішальних _{R і} 1 _{R нейронів модулів} 2 1 M і 2 M нейронної мережі. У підмодулях M і ₁₁ M₁₂ нейронної мережі елементи інтерфейсних шарів 2 i 1 i,Z Z ,



_i1,,n



пов'язані з елементами розпізнавальних шарів 2 j 1 j,Y Y ,



j1,,m



. З'єднання між елементами інтерфейсних і розпізнавальних шарів здійснюєть-ся зваженими зв'язками з ваговими 2 ji 2 ij 1 ji 1 ij,t ,b ,t b ,



i1,,n;j1,,m



коефіцієнтами, відповідно для 12 11,M M підмодулів нейронної мережі. У підмоду-лях M₁₁,M₁₂ і модулі M шари ₂ Y1_j,Y_j2 і Y , _g3



j1,,m;g1,,m



є шарами нейронів, які зма-гаються, у яких кожний елемент може перебувати в одному із трьох станів: активному, неактивному, загальмованому. У результаті розпізнавання вхід-них зображень у кожному модулі нейронної мережі залишається активним тільки один нейрон розпі-знавального шару 2 J 1 J,Y Y і Y у відповідних ним _G3 шарах 2 j 1 j,Y Y і Y , _g3



j1,,m;g1,,m



підмоду-лів M₁₁,M₁₂ і модуля M нейронної мережі. За ₂ допомогою вирішальних нейронів 1 2 1 1,R R визнача-ються відповідні параметри подібності 2 1 1 1,p p , від-повідно для підмодулів M₁₁,M₁₂, а за допомогою нейронів _{R і} 1 _{R визначаються відповідні загальні} 2 параметри подібності 1 p й p модулів 2 M і ₁ M 2 нейронної мережі. Модуль M нейронної мережі містить у собі ₂ три поля нейронів: поле вхідних обробних нейро-нів, що складається із шести шарів елементів 2 l l l l l 3 l,O,A,B,C,X Z ,



_l1,,k



і нормалізуючих мо-дулів G₁,G₂,G₃, поле розпізнавальних нейронів 3 g Y ,



g1,,m



і поле керуючих нейронів, до яких належать елементи R і ₂ R , 2_l



l1,,k



нейронної мережі. Нейрони 3 l Z ,



l1,,k



модуля M ней-₂ ронної мережі сприймають вхідні сигнали нейронів 2 l S ,



l1,,k



, рівні відповідним сигналам пропо-нованих зображень і підсумовують їх з вихідними сигналами нейронів O , _l



l1,,k



. Вихідні сигнали нейронів 3 l Z ,



l1,,k



надходять на входи еле-ментів A , _l



l1,,k



і нормалізуючого модуля G , _l що обчислює норму 2 3 k Z . вих 2 3 l Z . вих 3 _{U U} Z   вектора вихідних сигналів шару 3 l Z ,



l1,,k



. Вхідні сигнали нейронів A , _l



l1,,k



модуля M ₂ визначаються за співвідношенням: k , , 1 l , Z e U U 3 3 l Z . вих l А . вх     , де e - позитивна константа, що запобігає ді-ленню на нуль у випадках, коли Z3 0. При цьо-му функція активації нейронів 3 l Z і C , _l



l1,,k



модуля M нейронної мережі, задається співвід-₂ ношенням:          , U якщо , 0 , U якщо U U 3 l Z . вх 3 l Z . вх , 3 l Z . вх 3 l Z . вих де  - параметр, що визначає поріг для за-глушення шумових сигналів. Якщо величина вхід-ного сигналу ₃ l Z . вх U менше граничного значення , то він розглядається як шум і заглушується       _{ } 0 U і 0 U ₃ l Z . вих 3 l Z . вх . Аналогічним чином визначається функція ак-тивації для нейронів C , _l



l1,,k



модуля M ₂ нейронної мережі. Вихідні сигнали нейронів B , _l



l1,,k



моду-ля M нейронної мережі визначаються виразом: ₂ l C . вих l A . вих l B . вих U b U U    ,



l1,,k



, де b - пози-тивна константа; l C . вих U ,



l1,,k



- вихідні

сиг-нали нейронів C , _l



l1,,k



модуля M . Нейрони ₂ l O ,



l1,,k



модуля M , використовуючи відпо-₂ відно вихідні сигнали нейронів B , _l



l1,,k



і но-рмалізуючого модуля G , що обчислює норму B ₂ вектора вихідних сигналів шару B , _l



l1,,k



мо-дуля M нейронної мережі, визначають свої вихі-₂ дні сигнали по співвідношенню: k , , 1 l , B e U U вих.Bl l O . вих  _   . Якщо нейрон-переможець 3 G Y в Y - шарі мо-3 дуля _{M ще не визначений, то вихідні сигнали 2} нейронів O , _l



l1,,k



однозначно визначають вихідні сигнали нейронів 2 l X і C , _l



l1,,k



моду-ля M нейронної мережі: ₂ k , , 1 l , X e U U ; U U 2 2 l X . вих l С . вих l O . вих 2 l X . вих   _   , де _X2 _{- норма вектора вихідних сигналів} нейронів шару _{X .} 2 Сталий стан обробних нейронів у полі вхідних обробних нейронів модуля _{M при початкових 2} нульових вихідних сигналах нейронів 2 l l,X O і C , _l



l1,,k



досягається після двох модифікацій вихідних сигналів нейронів цього поля. Після дося-гнення рівноваги в даному полі нейрони 2 l X ,



l1,,k



посилають свої вихідні сигнали на входи нейронів 3 g Y ,



g1,,m



: m , , 1 g , U V U k 1 l 2 l X . вих 1 lg 3 g Y . вх 



_   , де 1 lg V ,



l1,,k;g1,,m



- ваги зв'язків від нейронів 2 l X ,



l1,,k



до нейронів 3 g Y ,



g1,,m



. Серед розпізнавальних нейронів 3 g Y ,



g1,,m



модуля M визначається нейрон-₂ переможець 3 G Y , що має найбільший вихідний сигнал: ₃ g Y . вих 3 G Y . вих U U  ,



_g1,,m



. Під час ви-значення нейрона-переможця 3 G Y вихідні сигнали всіх нейронів поля вхідних обробних нейронів за-лишаються незмінними доти, поки сигнал з виходу нейрона-переможця не надійде на входи нейронів 2 l X ,



l1,,k



. Після цього вихідними сигналами від нейронів 2 l X і O , _l



l1,,k



визначаються значення вихідних сигналів нейронів 2 l R ,



l1,,k



модуля M нейронної мережі: ₂ k , , 1 l , B e U U_вих.Ol вих.Bl     ; k , , 1 l , U V U U 3 G Y . вих 2 Gl l O . вих 2 l X . вих      ; k , , 1 l , X x O e U x U U 2 l 2 l X . вих l l O . вих 2 l R . вих _{  }      , де x - ваги зв'язків від нейронів _l X , 2_l



l1,,k



до нейронів R , l2



l1,,k



модуля M 2 нейронної мережі. Одержавши вихідні сигнали нейронів 2 l R ,



l1,,k



модуля M , елемент ₂ R 2 розраховує норму вектора вихідних сигналів 2 l R ,



l1,,k



: 2 l 2 l X . вих l l O . вих 2 X x O e U x U R       , і порівнює її з параметром подібності _{p між} 2 вхідним зображенням і зображенням, що зберіга-ється у вагах зв'язків нейрона-переможця 3 G Y мо-дуля M нейронної мережі. Якщо ₂ R2 p2, то нейрон 3 G Y загальмовується _      _ 1 U ₃ G Y . вих й на-далі не приймає участі в змаганнях при пред'яв-ленні поточного зображення. Якщо _R2 _p2_{, то} відбувається навчання ваг зв'язків нейрона-переможця 3 G Y . Двоспрямована асоціативна пам'ять, побудо-вана на нейронних мережах АРТ-2Д і АРТ-2, оріє-нтована на роботу з безперервними вхідними зо-браженнями, тому всі ваги зв'язків нейронів модулів M і ₁ M є безперервними. 2 Архітектуру нейронної мережі, крім двох моду-лів на основі нейронних мереж АРТ-2Д і АРТ-2, визначає шар проміжних нейронів _{P , d}



d1,,m



, що зв'язує модулі M й ₁ M . На етапі навчання ₂ модулі M й ₁ M нейронної мережі будуть запам'я-2 товувати пари асоціативних зображень. При цьому поряд із установленням значень ваг зв'язків усе-редині кожного з модулів, будуть встановлюватися й матриці вагових коефіцієнтів проміжного шару нейронів P , _d



d1,,m



, що зв'язує два модулі нейронної мережі. На основі цих вагових коефіціє-нтів буде здійснюватись асоціативний зв'язок між запам'ятованими зображеннями двох модулів. Процес навчання нейронної мережі вважається закінченим, коли по закінченню чергової епохи навчання відсутні зміни вагових коефіцієнтів: 1 lg 2 ij 1 ij,,b ,V b і t1_ji,t2_ji,V_gl2,



i1,,n;j1,,m;l1,,k;g1,,m



, відповідно ваг зв'язків від елементів інтерфейсного шару до

елементів розпізнавального шару і ваг зв'язків від елементів розпізнавального шару до елементів інтерфейсного шару, підмодулів _M11,M12 і модуля 2 M нейронної мережі. Матриці ваг зв'язків між елементами розпізна-вальних шарів модулів M і ₁ M нейронної мережі ₂ й елементами проміжного P , _d



d1,,m



шару на умову навчання не впливають. У режимі розпізнавання вхідних зображень і визначення їм асоціативних зображень n або k -мірні вхідні вектори можуть подаватись відповідно на входи 1 i S або S , l2



i1,,n;l1,,k



елемен-тів, відповідно модулів M і ₁ M нейронної мережі. 2 При роботі нейронної мережі не передбачається подача зображень на обидва поля вхідних елеме-нтів одночасно. Нейрон-переможець 1 J X модуля 1 M визначається сигналами нейронів-переможців 1 J Y і Y J2 розпізнавальних шарів Yj1,Yj2,



j1,,m



, відповідно підмодулів M₁₁,M₁₂ ней-ронної мережі. У свою чергу, нейрон-переможець 1 J Y вибирається в результаті змагання нейронів розпізнавального шару 1 j Y ,



j1,,m



, підмодуля 11 M нейронної мережі. Нейрон-переможець Y J2 підмодуля M₁₂ вибирається не в результаті зма-гання нейронів розпізнавального шару 2 j Y ,



j1,,m



підмодуля M12, а сигналом з відповід-ного нейрона-переможця 1 J Y підмодуля M після ₁₁ його перевірки за величиною параметра подібності 1 1 p . У зв'язку з цим уведені зв'язки між парами Y - нейронів 2 j 1 j,Y Y ,



_j1,,m



у модулі M нейрон-₁ ної мережі. Виділений у такий спосіб нейрон 2 J Y підмодуля M₁₂, також перевіряється по величині параметра подібності 1 2 p . Якщо нейрон Y ви-_J2 тримує цю перевірку й витримують наступну пере-вірку за величиною параметра подібності й пари нейронів 2 J 1 J,Y Y підмодулів M₁₁,M₁₂, то на виході розпізнавального нейрона 1 J X модуля M з'явля-₁ ється одиничний сигнал, що свідчить про розпі-знавання вхідного зображення. Якщо нейрон 2 J Y або пари елементів 2 J 1 J,Y Y підмодулів M₁₁,M₁₂ не витримують перевірку за величиною параметрів подібності, то нейрон 1 J Y підмодуля M загаль-₁₁ мовується _      _ 1 U ₁ J Y . вих , а нейрон 2 J Y підмодуля 12 M переводиться в неактивний стан       0 U 2 J Y . вих . У свою чергу, нейрон-переможець 3 G Y модуля M може визначатись в результаті ₂ змагання нейронів розпізнавального шару 3 g Y ,



g1,,m



, при цьому його вектор вагових коефі-цієнтів, відповідно до заданого значення парамет-ра подібності, повинен відповідати вхідному зо-браженню. Після вибору нейрона-переможця 1 J X або Y _G3 одного з модулів M або ₁ M , здійснюється вибір ₂ нейрона-переможця іншого модуля нейронної ме-режі. Він визначається не в результаті змагання нейронів розпізнавального шару, а активізується нейроном-переможцем першого модуля, через зв'язки елементів - P - шару. Цей нейрон-переможець за допомогою спадаючих зв'язків від-новить в інтерфейсному шарі Z - елементів зо-браження, що зберігається в його пам'яті. Віднов-лене зображення повториться на шарі сенсорних елементів і надійде на виходи модуля. Таким чи-ном, відбудеться вибір зображення асоціативного вхідному зображенню, що подається на вхід іншо-го модуля нейронної мережі. Пристрій безперервної двоспрямованої асоці-ативної пам'яті, на основі нейронних мереж АРТ-2Д і АРТ-2, функціонує відповідно до двох алгори-тмів: навчання й розпізнавання. В алгоритмах прийняті наступні позначення: m - максимальне число пар асоціативних зо-бражень, що запам'ятовуються, і число нейронів у шарах _{X і} 1 _{Y ;} 3 n і k - число компонентів у вхідному векторі (зображенні) відповідно для модуля M й ₁ M ; ₂ 1 p і p - параметри подібності модулів 2 M і ₁ 2 M , 0p1, p21; q - число пар асоціативних зображень, що за-пам'ятовуються; 1 2 1 1,p p - параметри подібності між вхідним век-тором і векторами, що зберігаються у вагах зв'яз-ків нейронів-переможців, відповідно 2 J 1 J,Y Y підмо-дулів M₁₁,M₁₂ нейронної мережі; діапазон припустимих значень параметрів подібності: 1 1 p 0 , p1₂1; 2 ij 1 ij,b b ,



i1,,n;j1,,m



- ваги зв'язків від елементів інтерфейсних шарів _{Z і} 1 _{Z до елемен-}2 тів розпізнавальних шарів _{Y і} 1 _{Y відповідно під-}2 модулів M₁₁,M₁₂; рекомендоване початкове зна-чення при навчанні: b1_ijb_ij21,



i1,,n;j1,,m



; 2 ji 1 ji,t t



j1,,m;i1,,n



- ваги зв'язків від елементів розпізнавальних шарів _{Y і} 1 _{Y до еле-}2 ментів інтерфейсних шарів _{Z і} 1 _{Z , відповідно} 2 підмодулів M₁₁,M₁₂; рекомендоване початкове значення при навчанні: t1_jit2_ji1,



j1,,m;i1,,n



; 3 l t і b , 3_l



l1,,k



- ваги зв'язків, відповідно від нейронів _{X - шару, до нейронів O - шару, і від} 2 нейронів O - шару, до нейронів _{X - шару модуля} 2 2 M ; 2 gl 1 lg,V V ,



_{l1,,k;g1,,m}



- ваги зв'язків від нейронів 2 l X ,



l1,,k



до елементів розпізнава-льного шару 3 g Y ,



g1,,m



модуля M ; 2 1 jd H і Q_dg2 ,



_{,jd,g1,,m}



- ваги зв'язків від ві-дповідно елементів розпізнавального шару модуля 1 M до елементів проміжного P - шару й від елеме-нтів проміжного P - шару до елемеелеме-нтів розпізнава-льного шару модуля M нейронної мережі; ₂ 1 gd Q і H , 2_dj



g,d,j1,,m



- ваги зв'язків від ві-дповідно елементів розпізнавального шару модуля 2 M до елементів проміжного P - шару й від еле-ментів проміжного P - шару до елееле-ментів розпі-знавального шару модуля M нейронної мережі; ₁ 2 l S . вих 1 i S . вих ,U U ,



_{i1,,n;l1,,k}



- вихідні си-гнали елементів сенсорних S- шарів, відповідно модулів M і ₁ M нейронної мережі; 2 p i Z . вих p i Z . вх ,U U і ₃ l Z . вих 3 l Z . вх ,U U ,



p1,2;i1,,n;l1,,k



- вхідні й вихідні сигнали елементів інтерфейсних Z - шарів, відповідно під-модулів M₁₁,M₁₂ і модуля M нейронної мережі; ₂ 2 j Y . вих 1 j Y . вих ,U U ,



j1,,m



- вихідні сигнали розпізнавальних елементів, відповідно підмодулів 12 11,M M нейронної мережі; 3 g Y . вих 1 j X . вих ,U U ,



,jg1,,m



- вихідні сигнали розпізнавальних елементів модулів M і ₁ M ней-2 ронної мережі; l R . вих l C . вих l B . вих l A . вих l O . вих ,U ,U ,U ,U U - вихідні сигнали нейронів відповідно шарів O_l,A_l,B_l,C_l,



l1,,k



і керуючих нейронів R , l2



l1,,k



мо-дуля M нейронної мережі; ₂





 

u2



q 1 u q 2 u 2 1 u 2 2 u 1 1 u 1,S ,S ,S , ,S ,S S  - пари асоціати-вних зображень, що належать до навчальної мно-жини



u



L u 2 u 1 u _{M,M, ,M} M   ; u h M ,



h1,,L



- вхідні зображення, що нале-жать до L образів (динамічних режимів), Lq;



S , ,S



,S



S , ,S



,



r 1, ,q



S_ru1 1_r1 1_{rn r}u2 _r2₁ 2_rk   - безперервні вхідні вектори r -ї пари асоціативних зображень, відповідно для модулів M і ₁ M ; 2 Y - норма вектора Y ; d P ,



d1,,m



- нейрони проміжного шару, які зв'язують модулі M й ₁ M асоціативний нейронної ₂ мережі;

 

t ,I

  

t ,h 1,,L;w 1,,K;t 0,1,2,



Ih_{wmin i} h_{wmax i}   _i - відповідно мінімальне й максимальне значення змінної I_w

 

t_i в h -м,



h1,,L



режимі функціону-вання об'єкта у враховуваній множині

   

 



Ihw1ti,Ihw2ti,,IhwMh ti



навчаючих процесів у мо-менти часу t ; _i K - число процесів у динамічному режимі; Алгоритм навчання двоспрямованої асоціати-вної пам'яті, побудованої на основі безперервних нейронних мереж АРТ-2Д і АРТ-2, передбачає виконання наступних кроків: Крок 1. Ініціюються параметри подібності й всі ваги зв'язків асоціативної нейронної мережі. Крок 2. Задаються нульові вихідні сигнали всіх розпізнавальних елементів підмодулів M₁₁,M₁₂ і модуля M нейронної мережі: ₂ m , , 1 g ,j ; 0 U ; 0 U ; 0 U ; 0 U ₃ g Y . вих 1 j X . вих 2 j Y . вих 1 j Y . вих       . Крок 3. Для кожної навчальної множини u h M ,



h1,,L



вхідних зображень, що належать до одного режиму функціонування об'єкта, викону-ються кроки 4 - 22. Крок 4. Для кожної множини u h M ,



h1,,L



вхідних зображень, що належать до одного режи-му функціонування об'єкта, визначається множина верхніх h

 

_i max w t I і нижніх Ih_wmin

 

t_i огинальних для кожного з K процесів:

 

t max



I

   

t ,I t , ,I

 

t



,h 1, ,L;w 1, ,K Iwhmax i  hw1 i hw2 i  hwM_h i     ; 1 n T , , 2 , 1 , 0 t_i    ,

 

t min



I

   

t ,I t , ,I

 

t



,h 1, ,L;q 1, ,K Iqhmin i  qh1 i hq2 i  hqM_h i     ; 1 n T , , 2 , 1 , 0 ti    . Отриманими огинальними активізуються ней-рони сенсорного шару 1 i S ,



i1,,n



модуля M : ₁ n , , 1 i , S U ₁ u_ri1 i S . вих    . Нейрони сенсорного шару 2 l S ,



l1,,k



мо-дуля M нейронної мережі активізуються безпе-₂ рервним вхідним вектором, що відповідає r -й парі асоціативних зображень: k , , 1 l , S U ₂ u_rl2 l S . вих    . Крок 5. Для двох вхідних зображень викону-ються кроки алгоритму 6-24. Крок 6. Формуються вхідні сигнали елементів інтерфейсних шарів 2 i 1 i,Z Z і Z , 3_l



i1,,n;l1,,k



підмодулів M₁₁,M₁₂ і модуля 2 M нейронної мережі: k , , 1 l ; n , , 1 i ; 2 , 1 p ; U U ; U U ₂ l S . вих 3 l Z . вх 1 i S . вих p i Z . вх        . Крок 7. Формуються вихідні сигнали елементів інтерфейсних шарів 2 i 1 i,Z Z і Z , 3_l



i1,,n;l1,,k



підмодулів M₁₁,M₁₂ і модуля 2 M асоціативної нейронної мережі. Для підмодулів M₁₁,M₁₂: n , , 1 i ; 2 , 1 p ; U U _p i Z . вх p i Z . вих     . Для модуля M : ₂ k , , 1 l , U a U U 3 вих.O_l l Z . вх 3 l Z . вих      , де a - ваговий коефіцієнт. Крок 8. Вихідні сигнали нейронів 3 l Z ,



l1,,k



модуля M надходять на вхід нормалі-₂ зуючого модуля G , що обчислює норму вектора ₁ вихідних сигналів ₃ l Z . вих U ,



l1,,k



: 2 3 k Z . вих 2 3 l Z . вих 3 _{U U} Z   . Крок 9. Вихідні сигнали елементів інтерфейс-ного шару 3 l Z ,



l1,,k



надходять на відповідні входи нейронів A , _l



l1,,k



модуля M нейрон-₂ ної мережі, вхідні сигнали яких визначаються за виразом: k , , 1 l , Z e U U 3 3 l Z . вих l А . вх     , де e - позитивна константа, що запобігає ді-ленню на нуль у випадках, коли Z3 0. Крок 10. Визначаються вихідні сигнали нейро-нів B , _l



l1,,k



модуля M нейронної мережі: ₂ l C . вих l A . вих l B . вих U b U U    ,



l1,,k



, де b - позитивна константа. Крок 11. Вихідні сигнали нейронів B , _l



l1,,k



модуля M надходять на входи норма-₂ лізуючого модуля G , що обчислює норму векто-₂ ра вихідних сигналів l B . вих U ,



l1,,k



: 2 k B . вих 2 1 B . вих U U B   . Крок 12. Вихідні сигнали нейронів O , _l



l1,,k



модуля M нейронної мережі визнача-₂ ються по вихідних сигналах нейронів B , _l



l1,,k



: k , , 1 l , B e U U вих.Bl l O . вих  _   . Крок 13. Якщо нейрон-переможець в _{Y - шарі} 3 модуля M ще не визначений, то вихідні сигнали ₂ нейронів O , _l



l1,,k



однозначно визначають вхідні сигнали нейронів 2 l X ,



l1,,k



модуля M ₂ нейронної мережі: k , , 1 l , U U _{2 вих.Ol} l X . вих    . Крок 14. Вихідні сигнали нейронів 2 l X ,



l1,,k



модуля M надходять на входи норма-₂ лізуючого модуля G , що обчислює норму векто-₃ ра вихідних сигналів ₂ l X . вих U ,



_l1,,k



: k , , 1 l , U U X 2 ₂ l X . вих 2 2 1 X . вих 2 _{    .} Крок 15. Вихідні сигнали елементів 2 l X ,



l1,,k



модуля M нейронної мережі визнача-2 ють вхідні сигнали нейронів _{C , l}



l1,,k



модуля 2 M : k , , 1 l , X e U U 2 2 l X . вих l C . вих     . Крок 16. Нейрони 2 l X ,



l1,,k



посилають свої вихідні сигнали на входи нейронів 3 g Y ,



g1,,m



: m , , 1 g , U V U k 1 l 2 l X . вих 1 lg 3 g Y . вих 



_   . При цьому для всіх незагальмованих розпі-знавальних Y - нейронів підмодулів M₁₁,M₁₂ ней-ронної мережі розраховуються їхні вихідні сигнали:



  n 1 i k i Z . вих k ij k j Y . вих bU U , якщо m , , 1 j ; 2 , 1 k , 1 U _k j Y . вих     . Крок 17. Серед розпізнавальних нейронів 3 g Y ,



g1,,m



модуля M визначається нейрон-₂ переможець 3 G Y , що має найбільший вихідний сигнал: m , , 1 g , U U ₃ g Y . вих 3 G Y . вих    . При цьому в розпізнавальних Y - шарах під-модулів M₁₁,M₁₂ визначаються нейрони-переможці, відповідно 2 J 1 J,Y Y , що задовольняють умові: m , , 1 j ; 2 , 1 k , U U _k j Y . вих k J Y . вих     . Якщо елементів 2 J 1 J,Y Y і Y в розпізнавальних G3 Y - шарах підмодулів M₁₁,M₁₂ і модуля M декі-2 лька, то вибираються елементи з найменшими індексами. Якщо знайдений нейрон-переможець є загальмованим, то вхідне зображення для даного модуля не може бути запам'ятоване.