Анотація до роботи:

Жук О.В. "Розробка методів і алгоритмів звуковисотного і темпоритмічного розпізнавання послідовності музичних звуків" – Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за фахом 05.13.23 – системи та засоби штучного інтелекту. – Державний університет інформатики і штучного інтелекту, Донецьк, 2009.

Дисертаційна робота присвячена вирішенню завдань, пов'язаних з сучасною теоретичною і прикладною проблемою створення методів та алгоритмів для систем розпізнавання фонограм музичних творів та музики взагалі.

В роботі створено нову інформаційну технологію аналізу і обробки послідовності музичних звуків, що дозволяє для оцифрованого запису звукового сигналу отримати відповідний нотний текст. Ця інформаційна технологія спирається на низку методів та методик звуковисотного та темпоритмічного розпізнавання послідовності музичних звуків.

В роботі запропоновано модифіковану методику ВПФ визначення квазіперіоду основного тону музичного звуку, яка за рахунок врахування властивостей сум змінних різниць дозволяє підвищити точність визначення квазіперіоду основного тону та зменшити обчислювальну складність оригінальної методики ВПФ. На базі модифікованої методики ВПФ розроблено методику визначення моменту зміни квазіперіоду музичного звуку в сигналі в реальному масштабі часу за умови наявності апріорної інформації про очікувану послідовність змін. Також розроблено метод визначення основних частотних компонент звукового сигналу, який використовує результати аналізу як в амплітудно-частотній, так і в амплітудно-часовій області. Метод забезпечує значне зростання точності отриманих результатів для музичних звуків. Як засіб ще більшого покращення точності отриманих результатів визначення квазіперіоду основного тону та основних частотних компонент музичного звуку запропоновано методику апостеріорної фільтрації цих результатів.

Зазначені методи та методики забезпечують базу для вирішення завдання звуковисотного розпізнавання послідовності музичних звуків, але в роботі також розглянуто і завдання темпоритмічного розпізнавання. По-перше, покращено методику розпізнавання тривалостей за рахунок використання двохрівневого класифікатора, на першому рівні якого відбувається грубе розпізнавання тривалостей, а на другому – корекція результатів грубого розпізнавання за рахунок мінімізації кількості синкоп за умови наявності інформації про загальні ритмічні характеристики розпізнаваної послідовності музичних звуків. По-друге, запропоновано методику визначення загальних ритмічних характеристик послідовності тривалостей за рахунок роботи з ритмічно однаковими фрагментами максимальної довжини та мінімізації кількості синкоп. Окрім того, розроблено методику керування темпом відтворення акомпанементу у відповідності до змін темпу, що спостерігаються в партії соліста.

Обгрунтованість та достовірність отриманих наукових результатів перевірено низкою чисельних досліджень, проведених над алгоритмами, побудованими на основі розроблених методів та методик.

1. У ході виконання роботи було здійснено аналіз існуючих методів автоматичного розпізнавання фонограм музичних творів, що дозволило визначити актуальність розробок в даній області і виконати постановку завдання дослідження.

2. Модифіковано методику ВПФ визначення квазіперіоду основного тону сигналу в амплітудно-часовій області через врахування властивостей сум змінних різниць. Це дозволило підвищити точність визначення квазіперіоду основного тону для музичних звуків на 3-5% і, в той же час, знизити обчислювальну складність у порівнянні з оригінальною методикою.

3. Розроблено метод і алгоритм визначення основних частотних компонент музичного звуку на основі інтеграції методів амплітудно-часового і амплітудно-частотного аналізу, що дозволяють підвищити точність визначення основних частотних компонент у порівнянні з методами, що використовують лише аналіз в амплітудно-частотній області. Застосування такого підходу дозволило збільшити точність отримуваних результатів на 5-10%.

4. Розроблено методику і алгоритм фільтрації значень квазіперіодів, що дозволяє в значній мірі підвищити точність результатів визначення частотного складу звукового сигналу: після фільтрації результатів визначення квазіперіоду основного тону або основних частотних компонент музичного звуку точність отримуваних результатів збільшується на 3-7%.

5. На базі модифікованої методики ВПФ розроблено методику і алгоритм визначення моменту зміни квазіперіоду основного тону в сигналі в реальному масштабі часу за умови наявності апріорної інформації про очікувані зміни. При збереженні точності отримуваних результатів на рівні модифікованого алгоритму ВПФ, необхідну кількість операцій було зменшено на порядок.

6. Формалізовано з позицій теорії розпізнавання образів задачу розпізнавання тривалостей як ритмічних одиниць, що дозволило застосувати методи розпізнавання образів для побудови дворівневого розпізнавача тривалостей. Розроблено методику і алгоритм грубого розпізнавання тривалостей, а також методику і алгоритм корегування результатів грубого розпізнавання тривалостей із врахуванням знань про загальні ритмічні характеристики аналізованої послідовності музичних звуків.

7. Вдосконалено методику і розроблено алгоритм апостеріорного визначення загальних ритмічних характеристик послідовності музичних звуків за рахунок роботи з ритмічно однорідними фрагментами аналізованої послідовності і мінімізації кількості синкоп, що дозволило зменшити кількість необхідної апріорної інформації.

8. Розроблено методику і алгоритм корекції темпу відтворення акомпанементу із врахуванням змін темпу, що відбуваються в партії соліста.

9. На основі отриманих методів, методик і алгоритмів створено інформаційну технологію аналізу і обробки послідовності музичних звуків.

Публікації автора:

1. Жук А.В. Компьютерная система ввода и воспроизведения нотного текста «SOLO» / Жук А.В. // Искусственный интеллект. – 2005. – № 4. – С. 602-612.

2. Жук А.В. Распознавание последовательности звуков одноголосной мелодии по высоте / Жук А.В. // Искусственный интеллект. – 2006. – № 2. – С. 305-312.

3. Жук А.В. Алгоритмы динамического управления темпом электронного аккомпанемента со стороны солиста / Жук А.В. // Искусственный интеллект. – 2006. – № 4. – С. 749-757.

4. Азаренко Д.С. Способ структурного анализа изображения нотного текста для дальнейшего распознавания / Азаренко Д.С., Жук А.В. // Искусственный интеллект. – 2007. – № 1. – С. 110-116

5. Жук А.В. Алгоритмы оценки частоты основного тона сигнала / Жук А.В. // Известия ТРТУ. Тематический выпуск «Интеллектуальные и многопроцессорные системы». – 2006. – № 16 (71). – С. 97-101.

6. Жук А.В. Алгоритм беспорогового определения частотного состава звукового сигнала / Жук А.В. // Искусственный интеллект. – 2007. – №4. – С. 364-372.

7. Шелепов В.Ю. Задача распознавания длительностей как ритмических единиц музыкального произведения / Шелепов В.Ю., Жук А.В. // Искусственный интеллект. – 2008. – №4. – С. 803-809.

8. Азаренко Д.С. Способ структурного анализа изображения страницы нотного текста для дальнейшего распознавания / Азаренко Д.С., Жук А.В.// Материалы Седьмой Международной научно-теоретической конференции «Искусственный интеллект. Интеллектуальные и многопроцессорные системы». Т. 3. – Таганрог: Изд-во ТРТУ, – 2006. – С. 153-157.

9. Жук А.В. Алгоритмы динамического управления темпом электронного аккомпанемента со стороны солиста / Жук А.В. // Седьмой Международной научно- теоретической конференции «Искусственный интеллект. Интеллектуальные и многопроцессорные системы». Т. 1. – Таганрог: Изд-во ТРТУ, – 2006. – C. 97-101.

10. Жук А.В. Алгоритм беспорогового определения частотного состава звукового сигнала / Жук А.В. // Материалы Международной научно-технической конференции «Искусственный интеллект. Интеллектуальные системы – 2007». – Донецк: ИПИИ «Наука і освіта», – 2007. – С. 113-119.

11. Шевченко А.I. Алгоритми оцінювання частоти основного тону сигналу в задачі розпізнавання музичних творів / Шевченко А.I., Жук О.В. // Праці міжнародної конференції. 50 років інституту кібернетики імені В.М. Глушкова НАН України. – Київ, 2008. – С. 280-284.

12. Патент України № 85847 “Спосіб автоматичного керування темпом відтворення музичного твору”. Власник: Інститут проблем штучного інтелекту МОН України і НАН України, винахідники Шелєпов В.Ю., Жук О.В. // Промислова власність. Бюл. №5, 10.03.2009.