АНОТАЦІЯ
Дана магістерська робота присвячена науковим дослідженням у галузі комп'ютерного зору. Метою роботи є аналіз ефективності роботи методів детектування об'єктів, за коштами контурного аналізу та за допомогою каскаду Хаара. У статті розглядаються проблеми ефективного виділення контурів на зображенні. Описується математична модель детектування об'єктів за допомогою контурного аналізу.
АННОТАЦИЯ
Данная магистерская работа посвящена научным исследованиям в области компьютерного зрения. Целью работы является анализ эффективности работы методов детектирования объектов, по средствам контурного анализа и с помощью каскада Хаара. В статье рассматриваются проблемы эффективного выделения контуров на изображении. Описывается математическая модель детектирования объектов с помощью контурного анализа.
ABSTRACT
This master's work is devoted to scientific researches in the field of computer sight. The purpose of work is the analysis of overall performance of methods of detecting objects, on means of the contour analysis and by means of Haar's cascade. In work are considered the problems of effective allocation of contours on the image. Is described the mathematical model of detecting objects by means of the contour analysis.
ЗМІСТ
ВСТУП 3
1 ДОСЛІДЖЕННЯ ОСНОВНИХ ПРОБЛЕМ ПРЕДМЕТНОЇ ОБЛАСТІ 5
1.1 Роль інформаційних технологій у предметній області 5
1.2 Загальний опис проблем предметної області. 6
1.3 Актуальність даної теми. 11
2 АНАЛІЗ ІСНУЮЧИХ АНАЛОГІВ 12
2.1 Метод Віоли-Джонса 12
2.2 Метод SURF 15
2.3 Метод SIFT 17
2.4 Метод ORC 21
2.5 Порівняльна характеристика 22
3 МЕТА КВАЛІФІКАЦІЙНОЇ РОБОТИ 23
4 ПОСТАНОВКА ЗАДАЧІ 24
5 ОБ’ЄКТ ТА МЕТОДИ ДОСЛІДЖЕННЯ 25
6 ПРОГРАМНА ПІДТИМКА ДОСЛІДЖЕННЯ 31
6.1 Інформаційна модель системи 31
6.2 Детальний опис реалізації основних процедур та функцій додатку з прикладами. 38
7 РЕКОМЕНДАЦІЇ ПО ВПРОВАДЖЕННЮ ТА ВИКОРИСТАННЮ 48
8 ПОРІВНЯЛЬНИЙ АНАЛІЗ МЕТОДІВ 57
8.1 Оцінка складності алгоритму контурного аналізу 57
8.2 Аналіз продуктивності методів 59
8.3 Рекомендаціі до використання методів 62
9 ОХОРОНА ПРАЦІ 63
10 ЕКОНОМІЧНА ЧАСТИНА ДИПЛОМУ 78
11 ЦИВІЛЬНИЙ ЗАХИСТ 79
12 НАУКОВА НОВИЗНА ТА ПРАКТИЧНЕ ЗНАЧЕННЯ ОДЕРЖАНИХ РЕЗУЛЬТАТІВ 85
13 ПЕРЕЛІК ВИКОРИСТАНИХ ДЖЕРЕЛ 86
14 Додаток A 91
15 Додаток B 92
ВСТУП
Одним з важливих засобів обміну інформацією між людьми і обчислювальними машинами є сигнали і зображення. У зв'язку з цим актуальними є питання реєстрації, зберігання, передачі, автоматичної обробки та розуміння візуальної інформації. Особливий інтерес представляють цифрові сигнали і зображення, отримані з природних безперервних сигналів і зображень [1-5].
Саме по собі поняття зображення являє собою складний об'єкт в силу ряду специфічних інформаційних характеристик: інформаційної ємності, компактності, наочності, внутрішньої структури, що відбиває логічні і фізичні взаємозв'язку навколишнього світу, контекстної інформації, статистичних властивостей і т.д. Така складність об'єкта дослідження зображення призводить до того, що на сьогоднішній день не існує єдиної точки зору на теорію обробки та розуміння зображень. Тому немає остаточного формулювання навіть такого найважливішого і первісного поняття теорії, як алгебра зображень.
Зазначені фактори призводять до того, що на сучасному етапі для аналізу зображень застосовується величезна кількість найрізноманітніших за своєю природою підходів, серед яких не останнє місце займають евристичні і слабо перевірені методи [6-7]. У зв'язку з цим становлять інтерес підходи, що базуються на строгих теоретичних положеннях, наприклад, використовують апарат теорії сигналів, але застосовують спрощені моделі зображень об'єктів, що не пов'язані зі значною втратою інформації. Один з таких підходів полягає у відмові від обробки кожної точки зображення і переході до обробки його контурів.
Контури є областями з високою концентрацією інформації, слабо залежать від кольору і яскравості. Вони стійкі до зміни типу датчика, що формує зображення, до частотного діапазону, в якому він використовується, не залежать від часу доби і року. Інші характеристики зображення при цьому значно варіюються. Контур цілком визначає форму зображення і містить всю необхідну інформацію для розпізнавання зображень за їх формам. Такий підхід дозволяє не розглядати внутрішні точки плоского зображення і тим самим значно скоротити обсяг оброблюваної інформації за рахунок переходу від аналізу функції двох змінних до функції однієї змінної. Наслідком цього є можливість забезпечення роботи системи обробки в масштабі часу близькому до реального. Але навіть в тих завданнях, де не можна знехтувати обробкою внутрішніх точок, методи контурного аналізу доповнюють інші і тому, безумовно, є корисними. Методи контурного аналізу в більшій мірі, ніж растрові методи, дають можливість використовувати моделі, інваріантні до випадкових переносах, поворотах та змінам масштабів зображень. Контурний аналіз значно розширює кругозір фахівця, дозволяючи з єдиних позицій підходити до обробки як акустичних, радіотехнічних та оптичних сигналів, так і радіолокаційних, телевізійних, оптичних та інших видів зображень.
В цьому плані оригінальними є монографії авторського колективу під керівництвом проф. Фурмана Я.А. [14-16], повністю присвячені питанням контурного аналізу і його застосувань до обробки сигналів і зображень. У теорію контурного аналізу і його застосувань до обробки сигналів та зображень помітний вклад внесли роботи авторів: Прюїтта, Щарра, Собеля, Робертса, Кірша, Лапласа, Уолліса, Кенні.
Дослідження основних проблем предметної області
Роль інформаційних технологій у предметній області
Обчислювальна техніка з кожним роком все ширше застосовується в різних сферах людської діяльності. Її застосовують в процесі наукових досліджень, при автоматизації роботи машин і устаткування, для виконання численних технічних розрахунків, складання графіків та розкладу роботи бригад, розрахунку економічних показників, поточного контролю виконання планів і ін.
На сьогоднішній день техніка впроваджена в усі сфери суспільного життя. Людина намагається автоматизувати будь-який процес з метою отримання максимальних результатів, витрачаючи при цьому мінімум зусиль при використанні.
Автоматизовані системи управління стали невід'ємною частиною сьогоднішнього суспільства. І, як не дивно, іноді саме машини виконують ті функції, які людині не під силу. З кожним днем кількість нових ідей зростає, і з часом вони отримують реальну підтримку за допомогою автоматизації.
Коли комп'ютери змогли управляти обробкою великих наборів даних, таких як зображення, почалися інтенсивні дослідження проблем комп'ютерного зору. Адже виявленням об'єктів на зображеннях, можуть вирішувати безліч проблем. На даний момент існує маса методів для вирішення різних строго визначених завдань комп'ютерного зору, де методи часто залежать від завдань і рідко можуть бути узагальнені для широкого кола застосування. Багато з методів та програм все ще знаходяться в стадії фундаментальних досліджень, але все більше число методів знаходить застосування в комерційних продуктах, де вони часто складають частину більш великої системи, яка може вирішувати складні завдання (наприклад, в області медичних зображень або вимірювання та контролю якості в процесах виготовлення). У більшості практичних застосувань комп'ютерного зору комп'ютери попередньо запрограмовані для вирішення окремих завдань, але методи, засновані на знаннях, стають все більш загальними.
Загальний опис проблем предметної області.
При використанні контурних ознак для аналізу і розпізнавання зображень на першому етапі потрібно вирішити задачу виділення контурів зображень. Рішення розбивається на наступні кроки:
виявлення перепадів яскравості на монохроматичному зображенні (або перепадів координат кольору окремо в кожному каналі кольорового зображення) і виділення граничних точок об'єктів зображення;
усунення розривів граничних точок зображення;
простежування і аналітичний опис коду контурів зображень, отриманих апроксимацією виявлених граничних точок.
При вирішенні задачі виявлення граничних точок попередньо потрібно застосувати лінійні або нелінійні методи попереднього підкреслення перепадів яскравості [8,11,13]. Серед лінійних методів підвищення контрасту перепадів широко застосовуються градієнтні методи з використанням операторів Превітта, Щарра, Собеля, Робертса, що враховують орієнтацію границі [8-10]. До інших лінійних методів належать методи частотної фільтрації, інваріантні до орієнтації перепадів, наприклад, оператори Гаусса з імпульсною характеристикою, що визначає вагові функції гауссової форми, запропоновані Аргайлом і Маклеодом, оператори Лапласа, фільтри верхніх і нижніх частот. З нелінійних диференціальних фільтрів широке поширення отримали фільтри першого, другого і третього порядків Робертса, Собела, Кірша, Лапласа, Щарра [8-11,]. Уолліс [8] запропонував використовувати нелінійний метод підвищення контрастності перепадів, заснований на гомоморфной обробці зображення. Розенфельдом були розроблені нелінійні методи підвищення контрасту і виділення перепадів, засновані на обчисленні добутку деяких середніх різного порядку [9]. Перераховані методи не враховували функцію яскравості (кольори) зображення в місцях виділення перепадів. Хюккель розробив процедуру апроксимації двовимірного перепаду. В результаті чого оператор Хюккеля дає досить хороші характеристики навіть на зашумленних зображеннях [8].
Після підкреслення перепадів яскравості виконується порогова обробка і виноситься рішення про виявлення (не виявлення) граничних точок об'єктів зображення. Для обчислення порогових значень виявлювачів використовуються власні значення і (або) власні вектори деяких матриць, отриманих за значеннями профільтрованих зображень. Крім однопорогового виявлювача границь, часто використовується двухпороговий виявлювач границь Кєнні.
Тим не менш, як підкреслювалося в оглядовій роботі американського професора А. Розенфельда [9] «до сих пор нет сколько-нибудь удовлетворительной модели краев областей цифровых изображений, хотя она бы была очень полезна при построении оптимальных операторов обнаружения границ». Тому всі розглянуті вище методи підкреслення і виявлення граничних точок є суто евристичними. Відсутність адекватних моделей сигналів і перешкод для більшості реальних сцен призводить до того, що в загальному випадку невідомі оптимальні вирішальні процедури виявлення граничних точок зображень.
Оптимальний виявлювач граничних точок в межах локально однорідної ділянки сцени в загальному випадку повинен містити фоноподавляючі, узгоджені і порогові ланки. Як критерій роботи такого детектора часто вибирається критерій Неймана-Пірсона [42-44]. Відповідно до нього виявлювач повинен забезпечувати максимум ймовірності правильного виявлення при заданому рівні ймовірності помилкової тривоги. В роботах Хафизова Р.Г. [15] розглянуто метод узгоджено-виборчої фільтрації для квазіоптимального виділення контурів зображень з прямолінійними межами, базується на гіпотезі експоненціально-косинусном автокореляційної функції фонових шумів і слабкою інформативності низькочастотної частини спектра зображення.
Внаслідок статистичних неоднорідностей окремих областей об'єктів і фону зображення об'єктів стають багатозв'язними через утворених порожнин і розривів, при цьому сильно спотворюється лінія контуру. Руйнування через зазначених факторів однозв’язної структури цифрового впливу призводять до того, що замість одного контуру, що описує форму вихідного зображення, ми отримуємо набір контурів різної форми в межах контуру одного зображення. Тому для поліпшення якості виявлення меж на другому кроці завдання виділення контурів зображень необхідно застосовувати додаткові заходи, пов'язані з усуненням розривів граничних точок зображень об'єктів і фільтрацією неправдивих контурних ліній. Серед відомих підходів усунення розривів граничних точок використовуються: метод релаксації [13], заснований на понятті сили границі та пов'язаним з ним виявленням і відновленням розірваної границі в межах певної локальної області; метод морфологічного аналізу зображень з використанням операторів злиття і поділу[13], що згладжують межі об'єктів без істотних змін їх площ. При виявленні граничних точок можна використовувати також апріорну інформацію про форму контурних ліній зображень. Велике поширення набуло перетворення Хоха для виявлення кордонів заданої форми. В роботах Фурмана, Єгошина [14-22] розглянуті питання квантування кордонів зображень об'єктів, прямолінійної протяжної форми.
Завершальним кроком етапу виділення контурів зображень є процедура простежування і безпосереднього формування аналітичного опису коду контурів. В якості базового алгоритму простежування лінії контуру, при якому послідовно, без розривів виділяються контурні точки зображення і формується код контуру, доцільно використовувати алгоритм, запропонований Розенфельдом [9]. Серед інших відомих алгоритмів простежування можна виділити алгоритм «жук» (Рисунок 1.2.1), алгоритм пошуку в чотирьох напрямках [13] (Рисунок 1.2.2), алгоритми пошуку по круговій і трикутної траєкторіях, алгоритм пошуку по графу [13].
Рисунок 1.2.1 - Алгоритм пошуку «Жук»
Рисунок 1.2.2 - Алгоритм пошуку «в чотирьох напрямках»
При аналітичному описі отриманого контуру цифрового зображення формується дискретний сигнал. Для плоских зображень кожен елемент коду контуру можна розглядати як спрямований відрізок (елементарний вектор (ЕВ)) в деякому лінійному двовимірному просторі (d = 2, де d - розмірність ЕВ). Вибір лінійного простору для представлення ЕВ значно визначає всі характеристики результатів, отриманих при вирішенні завдань другого етапу контурного аналізу зображень, таких як: виявлення, вирішення, розпізнавання та оцінка параметрів перетворень [32-34].
Один з перших способів кодування ЕВ був запропонований в роботах Фрімена [52-53], в залежності від восьми можливих напрямків на квадратної сітківці кожен стандартний елементарний вектор кодується відповідним цілим числом від 0 до 7. Алгоритм показано на рисунку 1.2.3.
Рисунок 1.2.3 - Ланцюговий код Фрімена
Кодування поточного ЕВ може проводитися також двома його проекціями на осі координат з початком відліку, поєднаним з початком ЕВ. В роботах Фурмана Я. Л. [14-22] запропоновано ЕВ контуру задавати вісьмома комплексними числами. Даний код згодом отримав назву «Комплекснозначний код контуру». Комплекснозначне завдання коду контуру, тобто вибір N-мірного лінійного дискретного комплексного простору для опису контурів плоских зображень (де N - кількість ЕВ в складі контуру), дозволило використовувати добре розроблені методи обробки безперервних і дискретних комплекснозначних сигналів в радіотехнічних системах для вирішення задач аналізу комплекснозначних контурів зображень [46-51].
В даний час теорія контурного аналізу, що охоплює питання завдання, перетворення, добування інформації з плоских зображень контурів і групових точкових об'єктів і представляє розділ теорії комплекснозначних сигналів, досить добре розвинена і апробована в роботах: Фурмана Я.А., Кревецького А.В., Передреева А.К., Роженцова А.А., Хафизова Р.Г., Єгошина И.Л. [14-22].