Анотація до роботи:

Дехтяренко О.К. Неповнозв’язні асоціативні нейронні мережі. – Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 – Системи і засоби штучного інтелекту. – Інститут проблем математичних машин і систем НАН України, Київ, 2006.

Дисертаційна робота присвячена розробці методів побудови асоціативної пам’яті на базі неповнозв’язних нейронних мереж Хопфилда. В роботі розглядаються методи навчання, які максимізують асоціативні якості мереж за умови певних архітектурних обмежень.

Запропоновано і досліджено вдосконалення псевдоінверсного методу навчання мереж із заданою архітектурою, яке дозволило позбутися нестабільності обчислень та підвищити ємність пам’яті. Отримані теоретичні оцінки атракторних якостей і характеристик вагових матриць для неповнозв’язних мереж. Запропоновано метод побудови мереж з адаптивною архітектурою, що залежить від даних, які зберігаються в мережі. Виявлено і піддано теоретичному і експериментальному аналізу явище фазового переходу в асоціативний стан для мереж з адаптивною архітектурою. Запропоновано новий спосіб побудови асоціативної нейронної мережі з архітектурою «тісного світу», який покращив асоціативні якості мережі при збереженні відомих переваг цієї моделі.

Створено алгоритмічне та програмне забезпечення, що реалізує розроблені в роботі методи побудови неповнозв’язних асоціативних нейронних мереж. Ефективність розроблених моделей продемонстровано на прикладі задачі розпізнавання хімічних образів.

Результатом дисертаційної роботи є розробка нових методів побудови асоціативної пам’яті на базі неповнозв’язних нейронних мереж типу Хопфілда. Ці методи охоплюють як етап побудови архітектури мережі, так і етап знаходження ваги міжнейронних зв’язків, дозволяючи збільшити ємність пам’яті моделей ННАП при обмеженнях на густину зв’язків або на густину і загальну протяжність зв’язків. У практичному плані використання одержаних в роботі результатів дозволяє підвищити ефективність роботи неповнозв’язних асоціативних нейромереж; дозволяє моделювання і апаратну побудову мереж з більшою кількістю нейронів; може бути використаним для моделювання асоціативної поведінки неповнозв’язних структур нейронів мозку.

Головні наукові та практичні результати:

1. Для моделі ННАП з фіксованою архітектурою запропонована модифікація псевдоінверсного алгоритму навчання, яка полягає у відмові від процедури симетризації, тим самим дозволяючи поліпшити асоціативні якості мережі (збільшити обсяг пам’яті в 2-3 рази) і будувати мережі з несиметричними архітектурами.

2. Вперше отримані теоретичні оцінки для асоціативних властивостей і характеристик вагової матриці (значення сліду, ступінь виродження) ННАП з проекційним і псевдоінверсним алгоритмами навчання.

3. Розроблено методику побудови мережі з адаптивною архітектурою, що дозволило збільшити ємність пам’яті ННАП в 2-4 рази у порівнянні з мережею з фіксованою архітектурою.

4. Виявлено і досліджено явище фазового переходу в мережах ННАП з адаптивною архітектурою, яке проявляється в різкому виникненні асоціативних властивостей мережі при малих змінах в її архітектурі.

5. Отримала подальшого розвитку модель ННАП з архітектурою «тісного світу», що дозволило покращити асоціативні якості відповідної мережі в 3-10 разів при збереженні всіх відомих переваг даної архітектури.

6. Розроблено підсистему мереж асоціативної пам’яті програмного нейрокомп’ютера NeuroLand, яка включає як одномодульні, так і багатомодульні мережі.

7. Створено алгоритмічну бібліотеку неповнозв’язних мереж з розвиненими засобами тестування й аналізу.

8. Експериментально показані можливість застосування і переваги моделей ННАП на прикладі задачі класифікації сигналів сенсорів запаху (система типу «Електронний ніс»).

Публікації автора:

1. Резник А.М., Ширшов Ю.М., Снопок Б.А., Новицкий Д.В., Дехтяренко А.К., Кругленко И.В. Ассоциативная память в задачах распознавания химических образов // Праці Міжнародної конференції з індуктивного моделювання (МКІМ’02). – Львів. – 2002. – С. 246-252.

2. Reznik A.M., Shirshov Y.M., Snopok B.A., Nowicki D.W., Dekhtyarenko O.K., Kruglenko I.V. Associative memories for chemical sensing // 9th International Conference on Neural Information Processing (ICONIP’02). – Singapore. – 2002. – P. 205-211.

3. Reznik A.M., Galinskaya A.A., Dekhtyarenko O.K., Nowicki D.W. A comparison of preprocessing techniques for matrix QCM sensors data classified by neural network // The 10-th International Symposium on Olfaction and Electronic Nose (ISOEN’03). – Riga, Latvia. – 2003. – P. 189-192.

4. Reznik A.M., Galinskaya A.A., Dekhtyarenko O.K., Nowicki D.W. Preprocessing of matrix QCM sensors data for the classification by means of neural network // Sensors and Actuators B. – 2005. – №106. – P. 158-163.

5. Резник А.М., Калина Е.А., Сычев А.С., Садовая Е.Г., Дехтяренко А.К., Галинская А.А. Многофункциональный нейрокомпьютер NeuroLand // Праці Міжнародної конференції з індуктивного моделювання (МКІМ’02). – Львів. – 2002. – С. 82-88.

6. Резник А.М., Калина Е.А., Сычев А.С., Садовая Е.Г., Дехтяренко А.К., Галинская А.А. Многофункциональный нейрокомпьютер NeuroLand // Математичні машини і системи. – 2003. – №1. – С. 36-45.

7. Дехтяренко А.К., Новицкий Д.В. Нейронная ассоциативная память с клеточной структурой // Математичні машини і системи. – 2002. – №3. – С. 37-44.

8. Дехтяренко А.К., Новицкий Д.В. Ассоциативная память на основе неполносвязных нейронных сетей // Труды VIII Всеросийской конференции «Нейрокомпьютеры и их применение» (НКП’02). – Москва. – 2002. – С. 934-941.

9. Dekhtyarenko O., Reznik A., Sitchov A. Associative Cellular Neural Networks with Adaptive Architecture // The 8th IEEE International Biannual Workshop on Cellular Neural Networks and their Application (CNNA’04). – Budapest, Hungary. – 2004. – P. 219-224.

10. Dekhtyarenko O., Tereshko V., Fyfe C. Phase transition in sparse associative neural networks // European Symposium on Artificial Neural Networks (ESANN'05). – Bruges, Belgium. – 2005. – P. 387-392.

11. Dekhtyarenko O.K., Gorodnichy D.O. High Performance Associative Neural Networks: Overview and the Library // Submitted to Canadian Conference on Artificial Intelligence 2006. – Quebec City, Canada. – 2006.

12. Reznik A.M., Dekhtyarenko O.K. Modular neural associative memory capable of storage of large amounts of data // International Joint Conference on Neural Networks (IJCNN'03). – Portland, Oregon, USA. – 2003. – P. 3031-3035.

13. Reznik A.M., Sitchov A.S., Dekhtyarenko O.K., Nowicki D.W. Associative memories with "killed" neurons: the methods of recovery // International Joint Conference on Neural Networks (IJCNN'03). – Portland, Oregon, USA. – 2003. – P. 2579-2582.

14. Nowicki D., Dekhtyarenko O. Kernel-based associative memory // International Joint Conference on Neural Networks (IJCNN'04). – Budapest, Hungary. – 2004.

15. Nowicki D., Dekhtyarenko O. Averaging on Riemannian manifolds and unsupervised learning using neural associative memory // European Symposium on Artificial Neural Networks (ESANN'05). – Bruges, Belgium. – 2005. – P. 181-186.

16. Резник А., Дехтяренко А. Модульная нейронная ассоциативная память для запоминания данных большого объема // X-th International Conference “Knowledge - Dialog - Solution” (KDS’03). – Varna, Bulgaria. – 2003. – С. 32-38.

17. O’Keefe S., Dekhtyarenko O.K. SOM-Based Sparse Binary Encoding for AURA Classifier // IEEE World Congress on Computational Intelligence (WCCI’06). – Vancouver, BC, Canada. – 2006.

18. Дехтяренко А.К. Ассоциативные клеточные нейронные сети с адаптивной архитектурой // Математичні машини і системи. – 2004. – №1. – С. 17-27.

19. Дехтяренко А.К. Метод вычисления размещения протяженных связей в нейронных ассоциативных сетях с архитектурой «тесного мира» // Математичні машини і системи. – 2005. – №2. – С. 25-32.

20. Dekhtyarenko O. Systematic Rewiring in Associative Neural Networks with Small-World Architecture // International Joint Conference on Neural Networks (IJCNN’05). – Montreal, Quebec, Canada. – 2005. – P. 1178-1181.