Первая страница
Наша команда
Контакты
О нас

    Головна сторінка



Бобнєв роман валерійович ’1 нейромережеві методи та засоби стискання зображень

Скачати 317.79 Kb.

Бобнєв роман валерійович ’1 нейромережеві методи та засоби стискання зображень




Скачати 317.79 Kb.
Сторінка3/3
Дата конвертації09.04.2017
Розмір317.79 Kb.
ТипАвтореферат
1   2   3

ВИСНОВКИ

У дисертації наведені результати, котрі, відповідно до мети дослідження, у сукупності є розв’язанням актуальних науково-практичних задач, пов’язаних із методами навчання штучних нейронних мереж та задачею стискання зображень.

Внаслідок виконання роботи отримані такі результати:

1.  Проведено дослідження популярних методів стискання зображень, таких як JPEG та JPEG-2000, та здійснено огляд існуючих штучних нейронних мереж, що застосовуються для вирішення задачі стискання зображень. Розглянуто основні типи підходів застосування ШНМ для рішення задачі стискання зображень, серед них стискання на базі векторного квантування та стискання за принципом «bottleneck». Показано, що не дивлячись на цілу низку проблем, нейромережевий підхід є досить перспективним для вирішення задачі стискання статичних зображень.

2.  Розроблено найпростіший формат зберігання стисненого зображення за допомогою нейронної мережі Кохонена, який за своєю суттю містить параметри мережі, а також вихідні данні стисненого зображення. Відмінною особливістю формату є те, що декомпресія зображення відбувається з високою швидкістю та може бути реалізована відомим методом «довідника» (Look-up table, LUT). Таку особливість формат здобув завдяки способу декомпресії зображення, який використовує ШНМ Кохонена.

3.  Запропоновано нову модифікацію класичного ГА на основі біологічного апоптозу, що дозволяє істотно знизити імовірність попадання алгоритму у локальний екстремум мультимодальних функцій. Така модифікація вводить певну логіку на стадії кросинговеру і таким способом регулює різноманітність популяції, варіюючи імовірністю мутації аж до 100% для кожного гену (при 100% відбувається введення нової випадкової особини). У ході дослідження було визначено параметр, що показує, наскільки однорідною є популяція генетичного алгоритму, а отже, наскільки алгоритм є близьким до попадання в локальний екстремум. Надана модифікація дає такі самі, а частіше навіть кращі результати, ніж алгоритм, заснований на імунній системі людини.

Іму́нна систе́ма - сукупність органів, тканин, клітин, які забезпечують захист організму від чужорідних агентів; система організму, яка контролює сталість клітинного і гуморального складу організму. Знищенню імунною системою підлягає генетично чужорідне: молекули інших організмів, мікробні клітини, молекули, до яких утворюються антитіла, а також, пошкоджені клітини власного організму; крім того, імунна система може реагувати на власні клітини та тканини, що мають пошкодження або злоякісно трансформовані.

Застосування цієї модифікації для навчання нейронної мережі Кохонена стосовно рішення задачі стискання зображень показало кращі результати у порівнянні з класичним ГА. Однак, у порівнянні з класичним підходом для навчання мережі Кохонена, надана модифікація виявилася значно гіршою, що є свідоцтвом недоцільності застосування такого для навчання мережі.

4.  Запропоновано низку покращень класичного навчання мережі РБФ, яка містить такі способи: початковий вибір центрів БФ на основі мережі Нейро-Газ та мережі Кохонена, початковий вибір відхилень БФ на основі алгоритмів «k-середніх» та «k-найближчих сусідів» та подальше підстроювання всіх параметрів методом градієнтного спуску. Такі модифікації дозволяють істотно підвищити якість роботи мережі РБФ, за рахунок початкової ініціалізації ваг мережами Нейро-Газ та Кохонена, і зменшують часові витрати на навчання мережі РБФ, оскільки навчання мереж Нейро-Газ та Кохонена потребує менших обчислювальних ресурсів, ніж алгоритм градієнтного спуску.

Обчи́слювальні ресу́рси - можливості, забезпечувані компонентами обчислювальної системи, що витрачаються (зайняті) в процесі її роботи.

Незважаючи на наявність алгоритму градієнтного спуску для подальшого підстроювання ваг, часові витрати не збільшуються, оскільки ваги вже мають коректні початкові значення завдяки попередньому підстроюванню зазначеними раніше нейронними мережами. Проведено порівняльний аналіз запропонованих модифікацій, найбільш ефективним серед яких виявився спосіб, у якому початковий вибір центрів БФ виконується за допомогою мережі Нейро-Газ, а початкові відхилення обираються методом «k-найближчих сусідів». Ця модифікація показала кращі результати у задачі апроксимації поверхні, а також у задачі стискання зображень у порівнянні з класичними способами навчання мережі РБФ.

5.  Запропоновано спосіб покращення ШНМ Кохонена, який дозволяє відкинути шар Гросберга, а отже і концепцію мережі зустрічного розповсюдження, для вирішення задачі стискання зображення. Слід зазначити, що така модифікація може бути застосована також до інших задач, які часто вирішуються засобами мережі Кохонена або подібної їй (наприклад, мережі Нейро-Газ). Незважаючи на те, що при цьому вводиться деяка надмірність (додатковий вхід мережі та обчислення його вхідного значення, на основі решти входів) у структуру мережі, запропонована модифікація дозволяє усунути проблему нормалізації вхідних даних перед їх подачею на входи мережі. Слід також відзначити, що хоча ця надмірність і потребує деяких додаткові обчислення, їх час виконання все ж менший у порівнянні з часом роботи шару Гросберга. За рахунок цього нейронна мережа Кохонена навчається дуже ефективно і автоматично реалізує стискання за методом «акредитації», на відміну від мережі зустрічного розповсюдження, котра реалізує стискання за методом «інтерполяції».

6.  Розроблені та досліджені у дисертаційній роботі програмні моделі та алгоритми обробки зображень отримали застосування у науково-дослідному комплексі «Прискорювач» Національного Наукового Центру «Харківський фізико-технічний інститут» м. Харкова при розробці системи керування прискорювачем електронів КПТ.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Руденко,  О.Г. Об одной модификации сети Кохонена / О.Г. Руденко, Р.В. Бобнев // Вестник Херсонского нац. техн. ун-та. – №2(38). – 2010. – С. 117–119.

2. Руденко,  О.Г. О некоторых способах определения центров Базисных функций в радиально-базисных сетях. / О.Г. Руденко, Р.В. Бобнев // Вестник Херсонского нац. техн. ун-та. – №2(41). – 2011. – С. 44–47.

3. Руденко, О.Г. Использование механизма апоптоза в генетических алгоритмах. / О.Г. Руденко, Р.В. Бобнев // Вестник Херсонского нац. техн. ун-та. – №1(44). – 2012. – С. 96–102.

4. Руденко,  О.Г. Использование нормализующей компоненты при нейросетевом сжатии изображений / О.Г. Руденко, Р.В. Бобнев, А.А. Бессонов // Управляющие системы и машины. – 2013. – №5. – С. 27–31 (входить до наукометричних баз Scopus).

5. Руденко, О.Г. Гибридный генетический алгоритм на основе биологического апоптоза / О.Г. Руденко, Р.В. Бобнев // Проблемы управления и информатики. – 2013. – №1. – С. 115–125 (входить до наукометричних баз Scopus, Web of Science).

6. Руденко, О.Г. Адаптивное масштабирование шага дискретизации входных данных при аппроксимации функций с помощью РБФ / О.Г. Руденко, Р.В. Бобнев, А.А. Бессонов // Информатика, математическое моделирование, экономика: сб. науч. статей. – Смоленск, 2013. – Том. 2. – С. 135–139.

7. Бобнев, Р.В. Выбор центров нейронов скрытого слоя сети РБФ при помощи сети Кохонена / Р.В. Бобнев // Сучасні напрями розвитку інформаційно-комунікаційних технологій та засобів управління: Перша наук.-техн. конф.;


13–14 груд. 2010 р.: матер. конф. – Харків-Київ, 2010. – С. 71.

8. Бобнев, Р.В. Сравнительный анализ чувствительности нейронной сети нейрогаз и сети Кохонена к помехам изображения / Р.В. Бобнев // Інформаційні технології в навігації і управлінні: стан та перспективи розвитку: Перша міжнар.

Інформаці́йні техноло́гії, ІТ (використовується також загальніший / вищий за ієрархією термін інформаційно-комунікаційні технології (Information and Communication Technologies, ICT) - сукупність методів, виробничих процесів і програмно-технічних засобів, інтегрованих з метою збирання, опрацювання, зберігання, розповсюдження, показу і використання інформації в інтересах її користувачів.

наук.-техн. конф.; 5–6 лип. 2010 р. матер. конф. – К.:, 2010 – С. 56.

9. Бобнев, Р.В. Сравнительный анализ эффективности нахождения экстремумов мультимодальных функций гибридным генетическим алгоритмом и алгоритмом CLONALG / Р.В. Бобнев // Автоматизация: проблемы, идеи, решения: Междунар. науч.-техн. конф.; 3–7 сентября 2012 г.: матер. конф. – Севастополь, 2012. – С. 112–115.

10. Руденко, О.Г. Анализ эффективности работы генетического алгоритма с использованием механизмов на основе биологического апоптоза / О.Г. Руденко, Р.В. Бобнев // Інформаційні технології в навігації і управлінні: стан та перспективи розвитку: Друга міжнар. наук.-техн. конф.; 16–17 лип. 2011 р.: матер. конф. – К., 2011. – С. 45.

11. Руденко,  О.Г. Сравнительный анализ модификации генетического алгоритма на основе апоптоза и искусственной иммунной системы на основе клонального отбора / О.Г. Руденко, Р.В. Бобнев // Сучасні напрями розвитку інформаційно-комунікаційних технологій та засобів управління: Друга наук.-техн. конф.; 15–16 груд. 2011 р.: матер. конф. – К., 2011. – С. 47–48.

АНОТАЦІЯ



Бобнєв Р. В. Нейромережеві методи та засоби стискання зображень. – На правах рукопису.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.

Кандида́т нау́к - науковий ступінь в Україні до 31 грудня 2019 року. Прирівнюється до ступеню доктора філософії. Найвищим науковим ступенем в Україні є доктор наук.

23 – системи та засоби штучного інтелекту. – Харківський національний університет радіоелектроніки, Міністерство освіти і науки України, Харків, 2014.

У роботі проведено аналіз проблеми стискання статичних зображень за допомогою штучних нейронних мереж (ШНМ). Запропоновано метод модифікації архітектури ШНМ Кохонена для усунення вимог до нормалізації вхідних даних, що дозволяє відкинути шар Гросберга у вирішенні задачі стискання зображень ШНМ зустрічного розповсюдження. Запропоновано модифікацію ГА на основі біологічного процесу апоптозу, що дозволяє уникнути проблеми попадання алгоритму у локальний екстремум у процесі багатокритеріальної оптимізації.

Багатокритеріальна оптимізація або програмування (англ. Multi-objective optimization), - це процес одночасної оптимізації двох або більше конфліктуючих цільових функцій в заданій області визначення.

Проведено аналіз можливих методів початкової ініціалізації базисних функцій (БФ) ШНМ радіально-базисних функцій (РБФ) за допомогою ШНМ Кохонена та Нейро-Газ а також алгоритмів «k-середніх» та «k-найближчих сусідів» для підвищення якості та швидкості навчання ШНМ РБФ.

Достовірність результатів підтверджується експериментальними дослідженнями та впровадженнями. У середовищі Microsoft Visual Studio 2010 Express Edition проведено імітаційне моделювання різних задач апроксимації, класифікації, кластеризації та стискання зображень за допомогою статичних ШНМ.

Microsoft Visual Studio - серія продуктів фірми Майкрософт, які включають інтегроване середовище розробки програмного забезпечення та ряд інших інструментальних засобів. Ці продукти дозволяють розробляти як консольні програми, так і програми з графічним інтерфейсом, в тому числі з підтримкою технології Windows Forms, а також веб-сайти, веб-застосунки, веб-служби як в рідному, так і в керованому кодах для всіх платформ, що підтримуються Microsoft Windows, Windows Mobile, Windows Phone, Windows CE, .NET Framework, .NET Compact Framework та Microsoft Silverlight.



Ключові слова: штучна нейронна мережа, апроксимація, класифікація, кластеризація, стискання зображення, метод навчання, векторне квантування, мережа Кохонена, радіально-базисна функція, генетичний алгоритм, апоптоз, метод навчання.

АННОТАЦИЯ



Бобнев Р. В. Нейросетевые методы и средства сжатия изображений. – На правах рукописи.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.23 – системы и средства искусственного интеллекта.– Харьковский национальный университет радиоэлектроники, Министерство образования и науки Украины, Харьков, 2014.

Диссертационная работа посвящена проблеме сжатия статических изображений при помощи статических искусственных нейронных сетей (ИНС).

В диссертации рассмотрены типы статических ИНС, получившие наибольшее распространение для решения задач кластеризации, классификации, векторного квантования, аппроксимации и сжатия изображений. В частности сделан акцент на такие нейронные сети как, сеть Кохонена и сеть радиально-базисных функций.

В работе предложен ряд методов и модификаций, устраняющих определенные проблемы, возникающие при работе с ИНС. Например, для решения проблемы нормализации входных данных и использования вектора весов сети непосредственно, как вектора опорного представителя кластера, предложен дополнительный «нормализующий» вход сети, использующий тот факт, что длины входных векторов могут быть выровнены до какого-либо общего числа и необязательно равного единице, за счет чего можно добиться нормализации всего вектора изменяя лишь одну из его компонент (в данном случае, изменяющейся компонентой является «нормализующий» вход сети). Сделано замечание, что данная модификация сети применима не только к моделируемым сетям (Кохонена, Нейро-Газ, РБФ), но и к широкому спектру других сетей имеющих схожий механизм обучения.

Предложен гибридный ГА, модифицирующий этап кроссинговера и естественного отбора классического ГА, используя логику, основанную на биологическом процессе апоптоза, заключающуюся в ведении статистики по количеству идентичных особей в популяции и устранении их либо на этапе кроссинговера (когда оба родителя идентичны), либо на этапе естественного отбора (когда число идентичных особей превысило заданный порог). Также введен показатель, вычисляемый на основе соотношения дубликатов особей популяции и общего числа популяции, целью которого является определение целесообразности применения введенной логики ГА на данном этапе процесса эволюции алгоритма, данный показатель получил название "порог насыщения".

Также в работе предложено использовать некоторую предобработку входных данных перед обучением ИНС РБФ для улучшения результатов при решении задач аппроксимации функций и сжатия изображений. Данная предобработка заключается в кластеризации и классификации входных данных для последующей инициализации БФ на основе полученных центров кластеров и их размеров. Для определения центров кластеров, а следовательно и центров БФ, предложено применение сетей Кохонена и Нейро-Газ, а для определения размеров кластеров, соответственно и отклонений БФ, предложено использование известных алгоритмов «k-средних» и «k-ближайших соседей».

Достоверность полученных результатов диссертационной работы подтверждается экспериментальными исследованиями и результатами внедрения. Проведено имитационное моделирование задач аппроксимации, классификации, кластеризации, векторного квантования, сжатия изображения, а также моделирования процесса эволюции модифицированного ГА в среде Microsoft Visual Studio 2010 Express Edition, с помощью статических ИНС (среди них: сеть Кохонена, Нейро-Газ, встречного распространения, РБФ). Разработанные в диссертации методы и процедуры используются в Научно-исследовательском комплексе «Ускоритель» ННЦ «ХФТИ» при управлении энергией электронов в односекционном сильноточном ускорителе КУТ.



Ключевые слова: искусственная нейронная сеть, аппроксимация, классификация, кластеризация, сжатие изображения, метод навчання, векторное квантование, сеть Кохонена, радиально-базисная функция, генетический алгоритм, апоптоз, метод обучения.

ABSTRACT



Bobniev R. V. Neural network methods and means of image compression. –Manuscript.

Thesis for the technical science candidate degree on the specialty 05.13.23 – systems and tools of artificial intelligence. – Kharkiv National University of Radio Electronics, Ministry for Education and Science of Ukraine, Kharkiv, 2014.

The thesis covers the analysis of the problem of image compression using artificial neural networks (ANN). The most frequently used static ANN architectures and learning algorithms are investigated for their application in solving the approximation, classification, clusterization, vector quantization and image compression problems. Several methods of Kohonen's and RBF ANN architecture modification are proposed with the purpose of improving usage flexibility and the efficiency of multidimensional data processing. Specifically, a Kohonen's ANN modification which eliminates requirement of input data normalization is developed. In addition, a method of initial initialization of centers and widths of basis functions for ANN RBF is proposed. Also hybrid genetic algorithm based on biological apoptosis which solves problem with hang in local extremums is discussed.

Simulation in the Microsoft Visual Studio 2010 Express Edition environment shows the high efficiency of using ANNs for solving various problems of approximation, classification, clusterization, vector quantization and image compression.



Keywords: artificial neural network, approximation, classification, clusterization, image compression, training algorithm, vector quantization, Kohonen's network, radial basis function, genetic algorithm, apoptosis, training method.

________________________________________________________________________________


Підп. до друку ____.____.2014 р. Формат 60х84 1/16. Спосіб друку – ризографія.

Умов. друк. арк. 0,9. Облік. вид. арк. 1,0. Тираж 100 прим. Зам. № __________ .

________________________________________________________________________________
Віддруковано в навчально-науковому

видавничо-поліграфічному центрі

Харківського національного університету радіоелектроніки

Україна 61166 Харків, просп. Леніна, 14



1   2   3


Скачати 317.79 Kb.

  • СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ
  • АНОТАЦІЯ
  • АННОТАЦИЯ
  • ABSTRACT