Лавриненко Костянтин Анатолійович. Нейромережева ідентифікація нелінійних динамічних об’єктів на основі багатошарового персептрону : Дис... канд. наук: 05.13.23 - 2004.
Анотація до роботи:
Лавриненко К.А. Нейромережева ідентифікація нелінійних динамічних об’єктів на основі багатошарового персептрону. – Рукопис.
Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 - системи та засоби штучного інтелекту. – Харківський національний університет радіоелектроніки, Харків, 2004.
Дисертаційна робота присвячена вирішенню проблеми нейромережевої ідентифікації нелінійних динамічних об'єктів на основі багатошарового персептрона в умовах апріорної і поточної невизначеності щодо властивостей досліджуваних об'єктів і діючих на нього завад.
Нейромережеві моделі реалізовано на основі багатошарового персептрона (БШП). Проаналізовано існуючі алгоритми настроювання параметрів БШП і синтезовано алгоритм його навчання на основі поширеного фільтра Калмана. Проведено аналіз алгоритмів навчання БШП при наявності перешкод вимірів. Запропоновано здійснювати навчання БШП за допомогою багатокрокових проекційних алгоритмів, що використовують обмежену кількість інформації. З метою поліпшення обчислювальних властивостей даних алгоритмів і стійкості процесу навчання розроблені їх факторизовані форми. Розглянуто опис нелінійного динамічного об'єкта за допомогою предикторів на основі фільтра Калмана і отримано відповідні структури нейромережевих моделей у просторі станів. Проведено імітаційне моделювання різних алгоритмів навчання БШП за допомогою MATLAB 6.1, Trajan Neural Network Simulator 3.0 і в середовищі IntelligentPad.
Достовірність результатів підтверджується впровадженнями.
У дисертаційній роботі наведено результати, які, у відповідності з метою дослідження в сукупності є вирішенням актуальної наукової задачі – створенню нових інтелектуальних обчислювальних засобів і методів ідентифікації нелінійних динамічних об’єктів в умовах апріорної і поточної невизначеності щодо властивостей досліджуваних об’єктів і діючих на нього завад. Вирішення цієї задачі має велике значення для створення ефективного математичного забезпечення систем автоматизованого та автоматичного керування та обробки інформації в реальному часі. У результаті вирішення сформульованої задачі отримані наступні основні результати.
1. Розглянуто методи математичного опису нелінійних динамічних об'єктів і проведено аналіз основних принципів побудови моделей NARMAX, NARX і структур нейромережевих моделей. Вивчено основні типи ШНМ, які використовуються при ідентифікації нелінійних динамічних об'єктів, проаналізовані їхні позитивні якості та недоліки. Показано, що одним з найбільш ефективних є застосування ШНМ персептронного типу, навчання якої є можливим з використанням добре розвинутого математичного апарата вирішення задач оптимізації.
2. Проаналізовано задачу вибору енергетичного функціонала мережі, який мінімізується і на підставі якого відбувається навчання БШП. Вивчено особливості протікання процесу навчання при наявності локальних екстремумів, плато і вузьких точок мінімуму. Проведено аналіз існуючих алгоритмів настроювання параметрів БШП і синтезовано рекурентний алгоритм його навчання на основі поширеного фільтра Калмана, який забезпечує одержання незміщених оцінок параметрів мережі при наявності завад вимірів. Розглянуто способи обчислення матриці градієнтів і запропоновано спрощене її обчислення з використанням лінеарізованої структури нейрона. Отримані рекурентні алгоритми навчання БШП, що враховують нелінійність нейронів.
3. Проведено аналіз алгоритмів навчання БШП при наявності у вимірах завад. Показано, що присутність завад у вихідному сигналі не приводить до зсуву одержуваних оцінок і порушенню збіжності алгоритму. Для побудови алгоритму навчання у випадку наявності перешкод у вхідному сигналі запропоновано модифікований квадратичний функціонал і отримано методи навчання градієнтного типу, які забезпечують одержання незміщених оцінок і характеризуються меншою обчислювальною складністю в порівнянні з відомими алгоритмами нелінійної оптимізації другого порядку.
4. Проведено аналіз алгоритмів навчання БШП, в основі яких лежать різні модифікації МНК, при ідентифікації нестаціонарних динамічних об'єктів. Показано, що основною проблемою, яка виникає при реалізації рекурентного МНК з експонентним зважуванням, який застосовується найбільш часто, є проблема вибору коефіцієнта зважування інформації. Запропоновано здійснювати навчання БШП за допомогою багатокрокових проекційних алгоритмів, які використовують обмежену кількість інформації, що забезпечує істотне скорочення і стійкість процесу навчання мереж. З метою поліпшення обчислювальних властивостей даних алгоритмів і стійкості процесу навчання розроблені їх факторизовані форми, засновані на ортогональних перетвореннях Холеського, Хаусхолдера й ортогоналізації Грамма-Шмідта.
5. Розглянуто опис нелінійного динамічного об'єкта за допомогою предикторів на основі фільтра Калмана. Отримано нейромережеві моделі у просторі станів. У зв'язку з тим, що для навчання цих моделей використовуються алгоритми градієнтного типу, отримані співвідношення для моделей чутливості, що є основою для реалізації динамічного алгоритму зворотного поширення. Здійснено лінеаризацію нелінійних нейромережевих моделей, яка служить початковою апроксимацією і ускладнюється послідовно з одержанням нової інформації. Отримано основні співвідношення для визначення матричних і векторних параметрів, які входять в опис моделі. Розглянуто питання про послідовне ускладнення структури моделі шляхом уведення нових схованих нейронів з метою зменшення помилки ідентифікації.
6. Проведено аналіз основних симуляторів ШНМ, відзначені їхні переваги і недоліки. Показано доцільність розвитку інтегрованого середовища розробки IntelligentPad, що забезпечує новий шлях створення комп'ютерних програм. Отримало подальший розвиток алгоритмічне забезпечення моделюючого середовища IntelligentPad, що дозволяє ефективно досліджувати задачі оцінювання. Розроблено композитний PAD, який являє собою програмний комплекс параметричного оцінювання і значно спрощує процес дослідження рекурентних алгоритмів навчання. Проведено імітаційне моделювання різних алгоритмів навчання БШП за допомогою MATLAB 6.1, Trajan Neural Network Simulator 3.0 і в середовищі IntelligentPad.
Розроблені в дисертації методи й алгоритми були застосовані при побудові математичних моделей технологічних процесів відділення абсорбції-десорбції виробництва кальцинованої соди і при проведенні спробної класифікації біохімічних досліджень крові, що використовується для прогнозування впливу вітамінно-мінерального комплексу на біохімічні процеси в організмі людини.
Публікації автора:
Руденко О.Г., Шамраев А.А., Лавриненко К.А. Исследование методов обучения многослойного персептрона // Автоматизированные системы управления и приборы автоматики. Всеукраинский межведомственный научно-технический сборник. – Харьков: ХНУРЭ, 2002. - №121. – С.4-9.
Лавриненко К.А., Аксак Н.Г. Сравнительный анализ алгоритмов обучения многослойного персептрона // Вісник Національного технічного університету "Харківський політехнічний інститут". Збірник наукових праць. Тематичний випуск: Системний аналіз, керування та інформаційні технології. - Харків: НТУ "ХПІ", 2002. - Т.6. - №9. – С.13-18.
Бодянский Е.В., Руденко О.Г., Танака Ю., Штефан А., Лавриненко К.А., Аксак Н.Г., Росинский Д.Н. Исследование рекуррентных алгоритмов параметрической идентификации в среде IntelligentPad // Радиоэлектроника и информатика. – Харьков: ХНУРЭ, 2002. - №4. - С.43-46.
Аксак Н.Г., Зимин В.П., Лавриненко К.А. Использование нейронных сетей для определения причинно-следственных связей при анализе физиологических параметров крови // Вісник Національного технічного університету "Харківський політехнічний інститут". Збірник наукових праць. Тематичний випуск: Автоматика та приладобудування. - Харків: НТУ "ХПІ", 2002. – Т.7. - №9. – С.3-8.
Шамраев А.А., Лавриненко К.А. Исследование методов обучения многослойного персептрона // 8-я Международная конференция "Теория и техника передачи, приема и обработки информации" ("Интегрированные информационные системы, сети и технологии") "ИИСТ-2002": Сб. научных трудов. - Харьков: ХНУРЭ, 2002. - С.514-515.
Лавриненко К.А., Аксак Н.Г. Сравнительный анализ алгоритмов обучения многослойного персептрона // Інформаційні технології: наука, техніка, технологія, освіта, здоров'я: Анотації доповідей міжнародної науково-практичної конференції. – Харків, 2002. - С.12.
Лавриненко К.А. Использование оригинальной среды разработки для проведения идентификационного эксперимента // 5-й Международный молодежный форум "Радиоэлектроника и молодежь в XXI веке": Сб. научных трудов. Ч.1. - Харьков: ХТУРЭ, 2001. - С.12-13.
Аксак Н.Г., Лавриненко К.А., Росинский Д.Н. Исследование алгоритмов параметрического оценивания с использованием новых средств разработки // 6-я Международная конференция "Теория и техника передачи, приема и обработки информации". Сб. научн. трудов. - Харьков: ХТУРЭ, 2000. - С.346-347.
Аксак Н.Г., Лавриненко К.А., Росинский Д.Н. Применение нейрофаззи-технологии в системах принятия решений // 7-я Международная конференция "Теория и техника передачи, приема и обработки информации". Сб. научн. трудов. - Харьков: ХТУРЭ, 2000. - С.384-385.
Аксак Н.Г., Кушнарев В.М., Лавриненко К.А. Задача принятия решений для планирования ремонтно-восстановительных работ // 7-я Международная конференция "Теория и техника передачи, приема и обработки информации". Сб. научн. трудов. - Харьков: ХТУРЭ, 2000. - С.346-347.
Аксак Н.Г., Зимин В.П., Лавриненко К.А. Использование нейронных сетей для определения причинно-следственных связей при анализе физиологических параметров крови // Інформаційні технології: наука, техніка, технологія, освіта, здоров'я: Анотації доповідей міжнародної науково-практичної конференції. – Харків, 2002. – С.340.
