Первая страница
Наша команда
Контакты
О нас

    Головна сторінка



Бобнєв роман валерійович ’1 нейромережеві методи та засоби стискання зображень

Скачати 317.79 Kb.

Бобнєв роман валерійович ’1 нейромережеві методи та засоби стискання зображень




Скачати 317.79 Kb.
Сторінка2/3
Дата конвертації09.04.2017
Розмір317.79 Kb.
ТипАвтореферат
1   2   3

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність теми дисертаційної роботи, сформульовано мету та завдання досліджень, наведено відомості щодо зв’язку дисертації з планами організації, де виконана робота. Надано стислу анотацію отриманих у дисертації результатів, відзначено їх практичну цінність, наведено дані щодо використання результатів проведених досліджень, а також щодо публікацій та апробації роботи.

У першому розділі проаналізовано стан проблеми обробки інформації у задачах стискання зображень. Розглянуто традиційні методи стискання зображень, серед яких детально описані методи стандартів JPEG та JPEG-2000. Проаналізовано недоліки стандарту JPEG, серед яких слід відзначити неможливість підтримувати якість стисненого зображення, якщо його геометричний розмір перевищує деякі умовні межі, також етап розбиття зображення на блоки у процесі стискання зображень, що додає суттєво очевидні артефакти у результуючому зображенні при великих геометричних розмірах. Стандарт JPEG-2000 позбавлений таких недоліків завдяки тому, що використовує дискретне вейвлет-перетворення, яке працює з блоками довільних розмірів. Також відзначено, що стандарт JPEG-2000 завдяки засобу використання дискретного вейвлет-перетворення часто відносять до нейромережевих методів. На цій підставі зроблено екскурс у теорію нейронних мереж, наведено біологічні основи нейронного моделювання, модель штучного нейрону, основні види штучних нейронних мереж.

Після попереднього екскурсу у теорію ШНМ та опису відомих алгоритмів стискання зображень приведено опис двох засобів використання ШНМ у задачах стискання зображень.

Перший засіб базується на методі векторного квантування, коли все зображення розбивається на деякі квадратні блоки пікселів, кожен такий блок є вектором, а все зображення – це множина таких векторів, що використовуються як вхідні дані для ШНМ. ШНМ у свою чергу вирішує задачу кластеризації наданих векторів і, як наслідок, має для кожного вектора видати номер кластеру. Саме цей номер кластеру і буде інформацією, яка має передаватися по каналу зв'язку замість реального блоку пікселів. Очевидно, що крім номера кластеру, треба передати таблицю відповідності номеру кластера та вектора представника кластера, для здійснення коректної операції декомпресії. Описаний процес стискання є процесом з втратами якості, тому що кожен унікальний вектор зображення буде замінено деяким найбільш схожим вектором, але не ідентичним.

Другий засіб використання ШНМ у задачі стискання зображень має відому назву «вузьке місце» (bottleneck). Цей засіб базується на можливості ШНМ до апроксимації методом головних компонент, а також на тому, що у багатьох ШНМ вихідний шар має меншу розмірність ніж вхідний. У цьому засобі також рекомендується розбити зображення на деякі квадратні блоки та подавати їх до входу ШНМ. ШНМ, здійснюючи апроксимацію, формує спеціалізований вектор вихідних даних, який і треба передати по каналу зв’язку. Приймаюча сторона реалізує зворотне перетворення за допомогою ідентичної ШНМ, але тепер вхідний та вихідний шар міняються місцями. Очевидно, що описаний засіб стискання також має втрати якості, по-перше, тому що зображення було розбито на блоки, та по-друге, тому що апроксимація за визначенням не може дати гарантовано стовідсоткову точність результату.

Внаслідок проведеного аналізу сформульовано основні задачі наукового дослідження, викладеного у дисертаційній роботі.

Наукове дослідження - процес дослідження певного об'єкта (предмета або явища) за допомогою наукових методів, яке має на меті встановлення закономірностей його виникнення, розвитку і перетворення в інтересах раціонального використання у практичній діяльності людей.



Другий розділ присвячено дослідженню стискання зображення за допомогою ШНМ Кохонена, а також дослідженню самої мережі, її особливостей та можливості удосконалення. На початку розділу наведено опис нейронної мережі, її топологію та передумови початкової ініціалізації мережі. Звернено увагу на метод навчання ШНМ Кохонена, особливість якого полягає у принципі «переможець отримає все» та де «нейрон-переможець» визначається за значенням відстані:


,

(1)

де j – номер нейрона вихідного шару, i – номер нейрона вхідного шару, wij – вага зв'язку між i-м та j-м нейронами, xi – значення входу i-го нейрону вхідного шару. Ваги «нейрона-переможця» коректуються згідно з правилом:




,

(2)

де – параметр, що визначає швидкість навчання мережі, t – номер епохи, решта параметрів такі ж самі як і у виразі (1).

Далі у роботі наведено опис ШНМ зустрічного розповсюдження, бо саме ця мережа є дуже популярною у використанні для вирішення задач стискання зображень. Ця мережа складається з двох мереж, кожна з яких виступає як окремий шар, тому їх називають шар Кохонена та шар Гросберга. Наведено опис навчання ШНМ зустрічного розповсюдження, а також показано застосування даної мережі для вирішення задачі стискання зображень. Запропоновано формат зберігання даних на диску щодо стисненого зображення, якій дозволяє не тільки легко і дуже швидко виконати декомпресію зображення, а й вирахувати коефіцієнт стискання цього методу.

Неможливість коректного визначення відповідності між номером кластеру та вектором представником цього кластеру є головною причиною доцільності використання ШНМ в задачах стискання зображень, тому що таку операцію виконує шар Гросберга у цій мережі. Отже, якщо є можливість використати будь-які дані стосовно представника кластеру без участі шару Гросберга, то можна значно скоротити процес стискання та, можливо, підвищити якість. Оскільки у задачі векторного квантування ваги мережі Кохонена у процесі навчання прагнуть змінити свої значення у напрямку вхідних даних, це означає, що ваги цієї мережі для кожного вихідного нейрону є деяким представником кластеру, який відповідає цьому вихідному нейрону. Але мережа Кохонена не може класифікувати вхідні дані, якщо вони не нормалізовані, саме завдяки цій особливості використання ШНМ зустрічного розповсюдження є вимушеним кроком. Тому перед навчанням мережі всі вхідні образи нормалізують до одиничної гіперсфери. Така нормалізація гарантує, що процес навчання приведе до зв’язного розподілу простору даних, але у цьому випадку немає можливості використати ваги мережі, яка навчалася на нормалізованих даних. Саме тому було запропоновано модифікувати ШНМ Кохонена, що дозволило б, з одного боку, використовувати ваги мережі як вектор представник кластеру, а з іншого – отримати якісні результати класифікації за допомогою цієї мережі. Модифікація полягає у введенні додаткового входу мережі Кохонена, на який буде подаватися спеціалізований «нормалізуючий» сигнал. Значення цього сигналу компенсує інші вхідні сигнали таким чином, що результуючий вхідний вектор буде нормалізований. Схематичне зображення додаткового входу мережі зображено на рисунку 1, де Х0 … Xn – вхідний вектор сигналів; K0 … Kn – вихідні нейрони шару Кохонена; Xmod – додатковий вхід, на який буде надходити нормалізуючий сигнал.




Рисунок 1 – Структура модифікованої мережі Кохонена
Зазвичай, для нормалізації значень у одиничну гіперсферу використовують вираз виду:


.

(3)

де Xi – початкове значення компоненти вхідного вектору, Xi* – модифіковане значення, i – номер компоненти для якої виконується нормалізація, n – кількість компонент вхідного вектору.

Як відомо, нормалізація (3) проводиться з метою вирівняти усі довжини всіх вхідних векторів до загальної величини, у даному випадку до одиниці. Але, як показує практика, нормалізувати вхідний сигнал можна й до іншого значення, у тому числі й більшого, ніж одиниця.

Вхідни́й сигна́л (автоматика) - зумовлений (заздалегідь обумовлений) стан або зміна стану параметра, що відображає інформацію, яка міститься у впливі. Звичайно сигнал виражається певною математичною функцією, що однозначно відображає зміни у часі певного представницького параметра.

Суть запропонованої модифікації полягає у тому, що вхід Xmod має бути таким, щоб довжина вхідного вектору завжди залишалась ідентичною, але не обов’язково дорівнюючою одиниці. Тому запропоновано обчислювати додатковий вхід у такий спосіб:


,

(4)

де n – кількість компонент вхідного вектору, А – параметр, що визначає довжину вектора після подачі даного сигналу разом з іншими вхідними сигналами, Xi – значення компоненти вхідного вектору.

Дуже важливим є визначення параметру А – він повинен дорівнювати максимальному значенню серед усіх значень всіх входів мережі. Однак знати заздалегідь максимальне значення серед усіх значень не є можливим, тому треба вибрати значення достатньо великим (наприклад, це може бути половина максимально допустимого числа для розрядності обчислювального пристрою або розрядність АЦП).

Така модифікація має певні переваги. Очевидно, що обчислення додаткового входу мережі буде забирати менше часу, ніж операція нормалізації усіх входів, тому що на кожному кроці навчання обчислення виконуються тільки для одного входу мережі (нормалізуючого), а не для кожного з входів, як у класичній нормалізації. Хоча додавання ще одного входу збільшує час обчислення всієї мережі, кількість додаткових входів завжди є постійною незалежно від кількості основних входів, тому ця різниця не є суттєвою для мереж з великою кількістю входів. Ще однією перевагою є те, що ця модифікація не спричиняє якихось змін у методі навчання мережі, тому вона може бути застосована до багатьох ШНМ, а не тільки ШНМ Кохонена. Але найголовніша перевага полягає у тому, що після навчання мережі можна використовувати її ваги як вектор-представник кластеру, ігноруючи останню компоненту. По суті, така модифікація дозволяє відкинути шар Гросберга у ШНМ зустрічного розповсюдження та використовувати лише мережу Кохонена, що має підвищити не лише якість, але й швидкість процесу стискання. Порівняння результатів роботи можна побачити на рис. 2, де сірим кольором позначений простір вхідних даних; чорним кольором – значення вхідних даних, що потрапили на вхідний шар мережі; білим кольором (невеликі кола) положення векторів синаптичних коефіцієнтів мережі.


а) б)


Рисунок 2 – Результати класифікації: а – модифікованою та б – класичною мережами Кохонена
Також у другому розділі була отримана порівняльна характеристика стосовно якості зображення після декомпресії між стисненим зображенням ШНМ Кохонена та ШНМ зустрічного розповсюдження. Результати такого порівняння наведені у таблиці 1, де PSNR (peak signal-to-noise ratio) - відношення максимально можливого рівня сигналу до рівня шуму, що його спотворює,
Таблиця 1 – Порівняння значень коефіцієнтів PSNR для красної, зеленої та синьої компоненти зображення відповідно, а також середнє значення за всіма компонентами

Назва компоненти

Значення коефіцієнту PSNR, для ШНМ зустрічного розповсюдження

Значення коефіцієнту PSNR, для модифікованої ШНМ Кохонена

R

27,1608779

34,9839315

G

30,0932226

35,5000417

B

31,8675931

34,8777841

Середнє

29,2665367

35,1205858


Третій розділ присвячено еволюційному методу навчання ШНМ, а саме генетичному алгоритму та його удосконаленню.

Спочатку наведено дуже стислий опис еволюційних методів навчання ШНМ, а саме метод оптимізації на базі поведінки колонії мурах, колонії бактерій, метод оптимізації на базі рою частинок та класичний ГА. Класичний ГА у цьому розділі розглянуто дуже детально, особливу увагу надано опису його операторів, вибору параметрів, а також переваг та недоліків. Наведено низку різноманітних, найбільш відомих модифікацій ГА, які використовують пропорційний відбір (метод «рулетки»), ранжирування, локальний відбір, відбір на базі усічення (елітарність), також наведено опис різних методів вибору пар для схрещування. Звернено особливу увагу на проблеми, які виникають при вирішенні за допомогою ГА мультимодальних задач. Головною проблемою у таких задачах є передчасна збіжність алгоритму до локальних екстремумів, що є недоліком майже усіх відомих модифікацій. Для усунення даного недоліку запропоновано модифікацію класичного ГА на базі біологічного апоптозу, який у дуже стислому розумінні є явищем програмованої клітинної смерті (частіше це явище виникає стосовно «непотрібних» ідентичних клітин).

Апопто́з (від дав.-гр. απόπτωσις - опадання, листопад) - найбільш розповсюджений тип запрограмованої клітинної смерті. Іншими словами - це сукупність клітинних процесів, що призводять до загибелі клітини.

Цей процес програмує непотрібну клітину на смерть частіше за все за допомогою мутації її ДНК. Зважаючи на це в роботі запропоновано застосування процесу апоптозу у ГА.

Класичний ГА включає в себе таку необхідну стадію як кросинговер або іншими словами – схрещення. Логічно припустити, що якщо у процесі кросинговеру були обрані дві ідентичні особини, то незважаючи на метод обміну, нащадки цих особин будуть ідентичними і повністю успадкують гени батьків та їх властивості, що означає по суті зупинення процесу еволюції загалом. Очевидно, що єдиною можливістю введення різноманітності у генофонд є мутація. Але мутація, зазвичай, має дуже невелику ймовірність та, як правило, виконується лише для одного гена. Така мутація може привести лише до більш точного рішення, але вона не здатна вивести популяцію з локального екстремуму. Отже, треба ввести механізм кардинальної зміни генів, який може бути аналогічним біологічному апоптозу.

Для цього лише треба модифікувати метод вибору батьків та сам процес кросинговеру. Якщо після вибору батьків дві особини (батьки), виявилися ідентичними, то не має сенсу виконувати кросинговер, тому що нащадки будуть повністю відповідати батькам. У зв’язку з цим, для введення апоптозу необхідно додати деяку логіку: якщо після селекції обидві батьки ідентичні, то замість кросинговеру треба виконати одну реплікацію та дві мутації для двох нащадків та одного з батьків. Реплікація необхідна для підтримки чисельного співвідношення ймовірності кросинговеру (тобто кожна пара батьків повинна зробити нащадка, реалізація реплікації у реальності – це повернення одного з батьків назад до популяції без його зміни), а мутація одного з батьків – для зменшення числа ідентичних батьків, які можуть бути вибрані на цьому етапі функціонування ГА. Треба відзначити, що одну з мутацій треба виконати стандартним способом, а дві інші – більш «глобально», перша стандартна мутація необхідна для підвищення точності вже знайденого рішення (якщо популяція має багато ідентичних особин, то вона вже має якесь рішення або дуже близька до нього). Під «глобальною» мутацією будемо розуміти мутацію хоча б половини генів особини або генерування повністю нового генотипу, додаючи таким способом новий вид. На рис. 3 пунктиром позначена запропонована модифікація, звичайною лінією позначений класичний ГА.

Це обумовлюється тим, що у схрещенні беруть участь лише двоє батьків, лише дві особини. Тому було вирішено не тільки вводити нову особину, якщо батьки ідентичні, але й рахувати кількість знайдених ідентичних особин на цьому етапі роботи ГА та використовувати цю інформацію. Було запропоновано на етапі кросинговеру створити лічильник, коли обрана деяка кількість особин для схрещування, для кожної пари батьків лічильник підвищує своє значення на одиницю, якщо батьки ідентичні. Враховуючи те, що розмір популяції та кількість особин, взятих до кросинговеру, є відомими, можна зробити оцінку щодо кількості рішень, які на цьому етапі присутні у популяції, тобто кількість окремих «підпопуляцій», які мають ідентичні особини усередині, але відрізняються від інших особин інших підпопуляцій.

Таку оцінку можна зробити, якщо аналізувати відношення кількості знайдених ідентичних особин до загальної кількості особин у популяції, враховуючи імовірність операції кросинговеру. На цій підставі було введено параметр «насиченість» популяції та описано декілька варіантів використання цього параметру. Самий простий варіант – це аналізувати значення «насиченості» та робити оновлення популяції, якщо воно перевищує значення 0,25 (бо саме така імовірність випадково витягнути дві особини з однієї купи, якщо у купі присутні лише два види), а вже знайдені рішення (ті самі два види) зберегти як одні із знайдених рішень. Результати моделювання роботи такого модифікованого ГА та класичного ГА наведені на рис. 4, кулями зображені рішення, які було знайдено.

Для моделювання використовувалася така функція:


,

(5)

де.



Рисунок 3 – Гібридний ГА на базі біологічного апоптозу


Рисунок 4 – Порівняння результатів роботи класичного ГА та гібридного ГА за механізмом апоптозу та параметром «насиченості»


У третьому розділі також наведено результати експериментів досліджень стосовно навчання ШНМ Кохонена такою модифікацією ГА, але хоча дана модифікація дуже гарно показала себе у порівнянні з класичними ГА, вона не змогла дати задовільних результатів стосовно навчання ШНМ Кохонена при вирішенні задачі стискання зображень у порівнянні з класичним методом навчання.

У четвертому розділі дисертації запропоновано підхід до покращення навчання мережі радіально-базисних функцій у задачах стискання зображень. Основу запропонованого методу покращення складає зміна ініціалізації центрів та відхилень базисних функцій ШНМ. Розглядається декілька способів вибору центрів та відхилень, всі вони базуються на аналізі вхідних даних додатковими методами. Наприклад, для визначення центрів БФ було запропоновано зробити кластеризацію вхідної вибірки даних додатковою ШНМ та призначити центрами базисних функцій центри кластерів, які були знайдені ШНМ. Для дослідження цього етапу було здійснено порівняння функціонування ШНМ Кохонена та ШНМ Нейро-Газ з застосуванням «нормалізуючої» компоненти, що була описана у другому розділі дисертаційної роботи. Вибір відхилень БФ запропоновано зробити, базуючись на вже знайдених центрах БФ, з використанням відомих алгоритмів «k-середніх» та «k-найближчих сусідів». Після ініціалізації центрів та відхилень БФ ШНМ навчається за алгоритмом градієнтного спуску.

Градіє́нтний спуск (англ. gradient descent) - це ітераційний алгоритм оптимізації першого порядку, в якому для знаходження локального мінімуму функції здійснюються кроки, пропорційні протилежному значенню градієнту (або наближеного градієнту) функції в поточній точці.

Порівняння різних ШНМ та алгоритмів стосовно ініціалізації БФ та результату навчання ШНМ РБФ після такої ініціалізації було вирішено провести на низці тестових задач, зокрема, на задачі апроксимації функції. Поверхню, яку було вирішено апроксимувати, можна записати у такий спосіб:


,

(6)

де ; – завада.

Для оцінки точності використовувалися евклідова відстань між еталонною поверхнею та результуючою


,

(7)

де E – евклідова відстань, – очікуване значення еталонної поверхні, – фактичне значення поверхні, решта параметрів така ж сама як й у виразі(1).

Результати порівняння після моделювання можна побачити у таблиці 2. Результати свідчать, що найбільш вдалим є поєднання методу градієнтного спуску з ШНМ Нейро-Газ та алгоритму «k-найближчих сусідів».

Після того, як було знайдено комбінацію, що дозволяє підвищити якість навчання ШНМ РБФ, було вирішено спробувати її у задачі стискання зображень, а також додати «нормалізуючий» вхід, описаний у другому розділі для підвищення якості стисненого зображення. Порівняння результатів стискання зображення ШНМ РБФ з та без «нормалізуючого» входу дивись у таблиці 3.


Таблиця 2 – Результати моделювання

Назва методу навчання

Евклідова відстань Е

Метод градієнтного спуску без додаткової ініціалізації БФ

0,16515

Метод градієнтного спуску з використанням ШНМ Кохонена та алгоритму «k-середніх»

0,17470

Метод градієнтного спуску з використанням ШНМ Кохонена та алгоритму «k-найближчих сусідів»

0,12974

Метод градієнтного спуску з використанням ШНМ Нейро-Газ та алгоритму «k-середніх»

0,29488

Метод градієнтного спуску з використанням ШНМ Нейро-Газ та алгоритму «k-найближчих сусідів»

0,11673

Таблиця 3 – Порівняння значень коефіцієнтів PSNR для красної, зеленої та синьої компоненти зображення відповідно, а також середнє значення за всіма компонентами



Назва компоненти

Значення коефіцієнту PSNR, для ШНМ РБФ без «нормалізуючого» входу

Значення коефіцієнту PSNR, для ШНМ РБФ з «нормалізуючим» входом

R

21,4566826

25,7178607

G

24,3953505

26,2499633

B

24,1394011

25,7546663

Середнє за компонентами

23,3304781

25,9074968

У висновках сформульовано основні наукові та практичні результати дисертаційної роботи.

У додатку наведено акти про впровадження результатів дисертаційної роботи.

1   2   3


Скачати 317.79 Kb.

  • Другий розділ
  • Третій розділ