14.3.2. Визначення меж кадрів

Тривалі відеоряди складаються з кадрів - більш коротких підрядів, на яких в основному зображені одні об'єкти. Кадри - це звичайно той матеріал, з яким працюють при монтажі, дуже рідко можна зустріти відеоряд, в якому відсутні кордони між кадрами. Таким чином, відео зручно представити саме як набір кадрів; кожен кадр можна потім представити ключовим кадром, а на основі останнього подання можна організувати пошук потрібного відео.

Автоматичне знаходження кордонів кадрів - визначення меж кадрів - це важлива сфера практичного застосування простих алгоритмів сегментації. Шуканим є алгоритм, що знаходить відеокадри, які значно відрізняються від попередніх. При визначенні "значущості" в даному контексті слід враховувати, що в межах даного кадру кут спостереження та об'єктів, і фону може сильно змінюватися. Як правило, в таких випадках використовується порівняння з порогом: кордон кадрів вважається знайденою, якщо деяка міра ("відстань") перевищує певний поріг (див. алгоритм 14.2).

Алгоритм 14.2. Визначення меж кадрів за допомогою відмінностей між кадрами

Для кожного кадру відеоряду

Обчислити відстань між даними і попередніми кадрами

Якщо відстань перевищує деякий поріг, вважати кадр граничним кінець

Для визначення "відстані" між кадрами використовуються різні методи. Деякі з них описані нижче.

• В алгоритмах відраховування кадрів за значеннями пікселів визначається відміну кожних двох кадрів відеоряду і сума квадратів різниць пікселів. Ці алгоритми не надто популярні: для отримання результату потрібно порахувати безліч різниць, а якщо камера, яка дає зображення, кілька тремтить, буде отримано досить велике число кадрів.

• В алгоритмах на основі гістограм для кожного кадру обчислюються кольорові гістограми, після чого визначаються різниці між гістограмами. Різниця кольорових гістограм - це зручна міра, оскільки вона нечутлива до просторового розподілу кольорів в кадрі (наприклад, на гістограму не вплине невелике тремтіння камери).

• В алгоритмах блокового порівняння кадри порівнюються шляхом розрізання на квадратну сітку з подальшим порівнянням квадратів. Це робиться для того, щоб уникнути складнощів, характерних для кольорових гістограм, коли червоний об'єкт, який зник з поля зору в лівому нижньому кутку, зіставляється з червоним об'єктом, який увійшов в кадр зверху. Як правило, в подібних алгоритмах блокового порівняння визначається міжкадрова відстань, яку представляє собою функцію (наприклад, максимальне значення) відстаней між блоками, кожне з яких обчислено за допомогою методів, подібних тим, що застосовуються для розрахунку відстані між кадрами.

• В алгоритмах відраховування країв для кожного кадру визначається карта країв. Як правило, порівняння - це підрахунок числа потенційно відповідних країв (сусідство, подібна орієнтація і т.д.) в наступному кадрі. Якщо потенційно відповідних країв мало - маємо кордон кадрів. Відстань у даному випадку можна визначити через кількість відповідних країв.

Всі перераховані методи є спеціальними, тобто вони застосовні для окремих випадків, але за наявності конкретного завдання якийсь із них зазвичай дає досить хороші результати.