Аналіз методів розпізнавання жестів на основі виділення ознак

Олена Ломакіна

Кафедра звукотехніки та реєстрації інформації, Національний технічний університет України “Київський політехнічний інститут”, УКРАЇНА, м.Київ, проспект Перемоги, 37, E-mail: leleka85@rambler.ru

У матеріалах доповіді розглянуто критерії вибору ознак образів, що необхідні для досягнення високої надійності роботи системи розпізнавання, проведено аналіз методів розпізнавання жестів на основі виділення ознак та запропоновано їх застосовувати для визначення та розпізнавання жестів.

Ключові слова – Система розпізнавання жестів (СРЖ), ознаки образів, ідентифікація, завадостійкість, приховані Марківські моделі (ПММ).

I.Вступ

Один з перспективних напрямків розвитку інформа­ційних технологій, що пов'язаний з дослідженням нових засобів забезпечення інтерфейсу людина-машина, полягає у розробці та побудові системи управління на основі розпізнавання жестів. Головна мета розробки системи розпізнавання жестів (СРЖ) – це ідентифікація певних жестів і використання їх для керування різноманітними пристроями. При цьому, важливим етапом у роботі СРЖ є виділення характерних ознак (контуру руки, кольору шкіри).

II. Методи розпізнавання жестів на основі виділення ознак

Методи на основі виділення ознак засновані на вра­хуванні особливостей зображень, які використову­ються для визначення положення руки. При переході до аналізу та розпізнавання ознак образів ми маємо можливість значно скоротити об’єми обчислень, тому, що розміри векторів ознак значно менші розмірів матриць образів.

Для досягнення високої надійності роботи системи розпізнавання, ознаки повинні відповідати деяким критеріям. По-перше, ознаки повинні бути інформа­тивними – це визначає надійність роботи системи. По-друге, ознаки повинні легко обчислюватись – це значно впливає на швидкодію. По-третє, ознаки мають бути завадостійкими – вони не повинні значно змінюватись під впливом випадкових завад. Інварі­антність – вони повинні бути стабільними при зміні масштабу, кута нахилу та ін. Найбільш поширеними серед груп ознак можна відокремити наступні: геометричні, топологічні, яскравостні, спектральні, структурні та ймовірностні.

Геометричні ознаки характеризують форму об’єкта. Стосовно жестів людини вони можуть бути успішно застосовані, тому, що кисть має характерну форму, що відрізняється наявністю долоні та пальців. Головними перевагами при застосуванні контурних ознак є відносна завадостійкість на фоні, який має складну структуру.

З іншого боку, одним з підходів може бути знаходження ділянок шкіри на зображенні з викорис­танням колірних ознак. Спосіб досить простий, але дуже чутливий до умов освітлення. На цей час використовуються методи для виявлення ділянок шкіри за кольором із застосуванням керованого освітлення. Точність методу погіршується, якщо на зображенні присутні інші органи людини або об'єкти, що мають подібний колір.

Інший підхід грунтується на використанні підпрос­тору, який представляється набором базисних векторів. Цей підхід передбачає ортогональну побудову системи векторів, що відповідає більшості ознак зображень. Максимальну локалізацію інформа­тивних складових зображення надає перетворення Карунена-Лоєва, але воно не має швидких алгоритмів і є складним у практичному використанні. Тому використовують інші ортогональні перетворення, наприклад, Фурьє, косинусні або вейвлет-перетво­рення, які добре вивчені у теорії функціонального аналізу та мають швидкі алгоритми. Такі методи інваріантні до вхідних даних, однак супроводжуються складними перетвореннями отриманих зображень. Для маленького набору жестів цей підхід достатній. Для великого набору жестів компактність підпрос­тору, яка необхідна для ефективної обробки, не буде забезпечуватись.

ІІІ. Огляд практично реалізованих СРЖ на основі методів виділення ознак.

На ранньому етапі розвитку СРЖ застосовувались маркерні методи, тобто алгоритм системи відстежував відносно прості маркери на зображенні. Геометричні або колірні параметри маркерів використовувались у якості ознак того чи іншого жесту.

Відома СРЖ з використанням маркерів [1] вільна від перелічених недоліків, тому що у якості маркерів використовує майже будь-які предмети, що є під рукою у користувача. У якості ознак тут викорис­товуються як геометричні, так і колірні параметри маркерів. На початку користувач повинен трохи потримати предмет у руках перед камерою, щоб система могла провести калібрування. Потім користу­вач має можливість визначити певні команди, які повинна виконати програма по факту розпізнання зазначених жестів. До переваг такої СРЖ можна віднести: по-перше задовільну швидкодію разом з великою кількістю жестів, що можуть бути розпізнані, а по-друге – високу завадостійкість та інваріантність до параметрів освітлення. Але такі недоліки, як обмеженість кількості жестів та вимоги до обов’язкової наявності маркерів, залишають відкритим питання про удосконалення цієї СРЖ.

Використання параметрів прихованих Марків­ських моделей (ПММ) у якості простору ознак зображень, що містять відповідні жести, є одним з найпоши­реніших методів у сучасних системах розпізнавання образів. Алгоритм, який запропо­новано в [2] на етапі знаходження фреймів, локалізації та відстеження області пікселів, що належать кисті руки людини, є схожим на алгоритм, який використовує Стенгер в СРЖ для впровадження на ПК з мультиядерним процесором. Тут також застосовані колірні ознаки шкіри людини для визначення області руки та відповідного фрейму на зображені, що містить невідомий жест. У якості варіантів жестів, що розпізнаються, обрано відомий алфавіт жестів для глухонімих ASL, який містить 36 жестів. Далі пропонується застосувати псевдо двовимірну ПММ для класифікації та розпізнавання певних жестів. Перевагами запропо­нованого алгоритму СРЖ є велика кількість жестів, що можуть бути розпізнані, відносна інваріантність до змін масштабу, кутів нахилу, зсувів, задовільна завадостійкість та швид­кодія. Достовірність розпізнавання у проведених експериментах дося­гала 96%. Але з ростом кількості жестів в таких СРЖ дуже швидко зростає складність обчислень внаслідок нелінійного збільшення бази еталонних образів, на яких система навчається.

Професор Мистецький пропонує у якості ознак певних жестів використовувати скелети зображення кисті. Кожне положення кисті має індивідуальну форму, що в свою чергу визначає індивідуальні параметри скелетів. Параметри скелетів є досить інформативними ознаками жестів. Такий підхід до­зволяє отримати високу завадостійкість, завдяки особливостям алгоритмів обчислення скелетів. Голов­ним недоліком цього методу є вимоги до попередньої обробки зображення – хороші результати отриму­ються лише для бінарних зображень.