Теорія цифрового зображення (Лекції 1-3)

3. Просторова і яскравісна роздільні здатності

Дискретизація є головним чинником, що визначає просторову здатність зображення. По суті, просторова здатність - це розмір найдрібніших помітних деталей на зображенні. Припустимо, що побудовано креслення, яке складається з вертикальних ліній з шириною W, розділених проміжками також з шириною W. Парою ліній будемо називати одну лінію з прилеглим з одного боку проміжком. Таким чином, ширина пари ліній становить 2W, і на одиниці довжини розміщується 1/2W таких пар. Розповсюджене визначення роздільної здатності полягає саме у вказівці максимальної кількості помітних пар ліній на одиницю довжини; наприклад, 100 пар ліній на міліметр.

Яскравісною (або напівтоновою) роздільною здатністю називається найдрібніша помітна зміна яскравості, але, як вже зазначалося, процес вимірювання помітних рівнів яскравості є дуже суб’єктивним. Якщо під час дискретизації зображень є відносно велика свобода дій щодо вибору кількості відліків (тобто частоти дискретизації), то під час вибору кількості градацій яскравості доводиться в значній мірі враховувати особливості апаратури (кількість градацій зазвичай обирають рівним ступеню 2).

Приклад: Типові ефекти, що виникають під час зміни кількості відліків у цифровому зображенні.

На рис. 2.4 зліва наведене зображення розмірами 1024x1024 пікселів, яскравість елементів якого представлена 8 бітами. Решта зображення на цьому малюнку отримані в результаті «проріджування» зображення 1024x1024, яке здійснюється шляхом відкидання відповідної кількості рядків і стовпців вихідного зображення. Наприклад, зображення розміром 512x512 отримують шляхом видалення рядків і стовпців через один в зображенні 1024x1024; зображення розміром 256x256 - шляхом видалення рядків і стовпців через один в зображенні 512x512, і т.д. Кількість допустимих градацій яскравості зберігається рівним 256. Дані зображення демонструють пропорційні зміни розмірів при різній частоті дискретизації, однак це утруднює спостереження ефектів, що викликані зменшенням просторової роздільної здатності. Найпростіший спосіб полегшити співставлення - збільшити всі проріджені зображення до розмірів вихідного (1024x1024) шляхом дублювання рядків і стовпців пікселів. Результати такої операції наведені на рис. 2.5 (б-е). Рис. 2.5 (а) збігається з вихідним зображенням 1024x1024 (рис. 2.4) і повторений тут для зручності порівняння. Порівнюючи рис. 2.5(а) із зображенням 512x512 (рис. 2.5(б)) можна помітити, що їх практично неможливо розрізнити. Втрата ступеня деталізації занадто мала, щоб її можна було побачити на друкованій сторінці при даному масштабі. Наступне зображення розмірами 256x256 (рис. 2.5(в)) демонструє дуже слабку ступінчастість на кордонах між пелюстками квітки і чорним фоном. Починає також проявлятися більш виражена зернистість по всьому полю

зображення. Ці ефекти можна бачити в зображенні розмірами 128x128 (рис. 2.5(г)) і найбільш помітні в зображеннях 64x64 і 32x32, показаних на рис. 2.5

(д) і (е) відповідно.

Рис. 2.4. 8-бітне зображення 1024x1024, послідовно проріджене до розмірів 32x32 при збереженні кількості градацій 256

Рис. 2.5. (а) 8-бітне зображення 1024x1024; (б) зображення 512x512, збільшене до розмірів 1024x1024 дублюванням рядків і стовпчиків; (в) - (е) зображення розмірами 256x256, 128x128, 64x64 і 32x32, також збільшені до розмірів 1024x1024

Приклад: Типові ефекти, що виникають під час зміни кількості градацій яскравості в цифровому зображенні.

У цьому прикладі ми зберігаємо кількість відліків дискретизації постійною, але поступово зменшуємо кількість рівнів квантування з 256 до 2, рухаючись за ступенями 2. На рис. 2.6(а) зображений отриманий методом проекційної комп’ютерної томографії рентгенівський знімок розмірами 452x374 пікселів з 256 градаціями яскравості (k=8). Зображення на Рис. 2.6 (б-з) були отримані шляхом зменшення кількості біт представлення з k = 7 до k = 1, при збереженні постійної просторової роздільної здатності 452x374 пікселів. Зображення з 256, 128 і 64 градаціями яскравості виявляються візуально подібними і в рівній мірі можуть використовуватися. Однак, на 32градаційному зображенні (рис. 2.6(г)) з’являються майже непомітні дрібні рубчасті структури в області плавних змін півтонів, зокрема, в області мозку. Цей ефект, викликаний використанням недостатньої кількості градацій яскравості в областях плавних переходів півтонів, називається появою хибних контурів, оскільки ці лінії нагадують контурні лінії горизонталей на топографічній карті.

Рис. 2.6. (а) Зображення розмірами 452x374 пікселів з 256 градаціями яскравості; (б)-(г) Зображення того ж просторового розширення, i представлення з 128, 64 і 32 градаціями яскравості; (д)-(з) зображення, представлені з 16, 8, 4 і 2 градаціями яскравості

4. Ефекти муару і накладанні спектрів

Відомо, що функції з кінцевою площею під графіком їх абсолютного значення можуть бути представлені у вигляді суперпозиції синусів і косинусів різних частот. При цьому компоненти з найбільшою частотою визначають «високочастотний склад» даної функції. Припустимо, що ця гранична частота кінцева, а функція визначена на всій осі (такі функції називають функціями з обмеженим спектром). У цьому випадку теорема відліків Шенона свідчить, що функція може бути точно відновлена (тобто знайдено її значення для будь-якого аргументу) за значеннями функції в точках відліків, узятих з частотою не менш ніж подвоєна гранична частота. Якщо використовується недостатня частота відліків, то відновлення функції відбувається з помилкою. Відносно зображень, частота дискретизації дорівнює кількості відліків на одиницю довжини (за обома просторовими напрямками). Внаслідок недостатньо високої частоти дискретизації виникає явище накладення спектрів, яке призводить до спотворення дискретного зображення. Ці спотворення проявляються у формі додаткових частотних складових, які називаються різницевими частотами. Виявляється, що на практиці неможливо виконати умови теореми відліків, оскільки ми можемо працювати тільки з вибірковими даними кінцевої довжини. Можна штучно перетворити функцію, задану на кінцевому інтервалі, в функцію, визначену на всій осі, домножаючи останню на «функцію вікна», яка дорівнює 1 на цьому інтервалі і 0 у всіх інших точках. Але, така функція вікна сама складається з частотних складових з необмеженою частотою. Таким чином, сам факт обмеження довжини інтервалу, на якому задана функція, не дозволяє їй бути функцією з обмеженим спектром, що призводить до порушення ключової умови теореми відліків. Основний метод боротьби з ефектом накладення спектрів полягає в ослабленні високочастотних складових зображення шляхом його згладжування (розфокусуванню) перед дискретизацією. Тим не менш, в дискретних зображеннях завжди присутній ефект накладення спектрів, який за певних умов приймає характер так званого муару.

Існує важливий особливий випадок, коли функція, визначена на всій числовій осі, може тим не менш точно задаватися своїми відліками на кінцевому інтервалі, не порушуючи при цьому умови теореми відліків. Якщо функція є періодичною, то ці відліки потрібно брати з частотою, яка у два рази або більше перевищує частоту вищої частотної складової спектра. Функція може бути точно відновлена за значеннями в цих точках відліку за умови, що довжина всього інтервалу точок відліку в точності дорівнює

цілому числу періодів функції. Цей спеціальний випадок дозволяє нам проілюструвати ефект муару. На рис. 2.7 зображені два однакових періодичних візерунка, що складаються з розташованих на рівній відстані вертикальних ліній, які повернуті одні відносно інших і потім накладені шляхом поелементного множення яскравостей двох відповідних зображень. Ефект муару, викликаний неспівпаданням періодів, показаний на рис. 2.7 у вигляді плоскої інтерференційної хвилі, що розповсюджується у вертикальному напрямку. Схожі ефекти можуть також виникати під час оцифрування зображення (наприклад, за допомогою сканера) з друкованої сторінки, на якій воно складається з періодично розташованих точок.

Рис. 2.7. Ілюстрація ефекту муару

5. Збільшення і зменшення цифрових зображень

Ми завершимо обговорення операцій дискретизації і квантування зображень коротким оглядом способів збільшення та зменшення цифрових зображень. Ця тема пов’язана з дискретизацією і квантуванням, оскільки збільшення може розглядатися як підвищення частоти дискретизації, а зменшення - як зниження цієї частоти. Головна відмінність обговорюваних операцій від дискретизації і квантування вихідного неперервного зображення полягає в тому, що вони застосовуються до цифрового, тобто раніше вже дискретизованого зображення.

Для збільшення необхідні два кроки: створення нової матриці пікселів і потім присвоєння цим новим пікселям певних значень яскравості. Почнемо з простого прикладу. Припустимо, що ми маємо зображення розмірами 500x500 пікселів, яке ми хочемо збільшити в 1,5 рази, до розмірів 750x750 пікселів. Найпростіший спосіб візуально спостерігати збільшення - це накласти на вихідне зображення уявну сітку розмірами 750x750 елементів. Очевидно, що крок сітки буде менше одного пікселя початкового

зображення. Щоб привласнити значення яскравості будь-якого елементу накладеного зображення, знайдемо найближчий до нього піксель вихідного зображення і прирівняємо його яскравість даному елементу сітки. Проробивши аналогічну операцію для всіх елементів сітки, отримаємо збільшене зображення. Такий спосіб прирівнювання значень яскравості називається інтерполяцією за найближчим сусідом.

Метод дублювання пікселів, який використовувався для побудови зображень Рис. 2.5 (б-е), є окремим випадком інтерполяції за найближчим сусідом, який має місце при збільшенні зображення в ціле число разів. Наприклад, для збільшення зображення вдвічі ми спочатку дублюємо кожний стовпчик, отримуючи тим самим зображення з подвоєним горизонтальним розміром. Потім дублюється кожен рядок, щоб вдвічі збільшити вертикальний розмір зображення. Для збільшення зображення в будь-яке ціле число разів (в 3 рази, 4 рази і т.д.), застосовується аналогічна процедура, в якій рядки і стовпчики дублюються стільки разів, скільки потрібно для одержання зображення необхідних розмірів. Тут призначення однакової яскравості кожного пікселя в дубльованій групі зумовлене тим фактом, що всі вони в точності відповідають одному й тому самому елементу вихідного зображення. Хоча збільшення з інтерполяцією за найближчим сусідом виконується швидко, воно має ту небажану особливість, що може призводити до помітної ступінчастості, особливо при великій кратності збільшення. Яскравим прикладом цього ефекту можуть слугувати рис. 2.5 (д) і (е). Трохи більш складним способом прирівнюванням яскравостей елементам збільшеного зображення є білінійна інтерполяція, в якій використовуються чотири найближчі сусіда даної точки. Нехай (x' , y' ) -

координати точки на збільшеному зображенні (яку можна уявити собі як точку раніше згадуваної накладеної сітки). Позначимо (x' , y' ) прирівнений

цій точці рівень яскравості. У разі білінійної інтерполяції він задається співвідношенням

Зменшення зображень здійснюється способами, аналогічними вищенаведеним для збільшення, але замість операції дублювання рядків і стовпців пікселів використовуються операції відкидання рядків і стовпців. Наприклад, для зменшення зображення в два рази відкидаються рядки і стовпці через один.

Приклад 2.4: Збільшення зображень за допомогою білінійної інтерполяції.

На рис. 2.8 у верхньому рядку повторені зображення рис. 2.5 (г-е). Як уже зазначалося, ці зображення розмірами 128x128, 64x64 і 32x32 були

збільшені до початкових розмірів 1024x1024 пікселів за допомогою інтерполяції за найближчим сусідом. Аналогічні результати, але з використанням білінійної інтерполяції, зображені в нижньому рядку на рис. 2.8. Загальне поліпшення візуальної якості є безсумнівним, особливо у випадках 128x128 і 64x64. Зображення розмірами 32x32 виглядає дещо розмитим при збільшенні до розмірів 1024x1024, проте треба враховувати, що коефіцієнт збільшення становить 32. Незважаючи на це, показаний на рис. 2.8 (e) результат білінійної інтерполяції досить добре передає форму вихідного зображення, що було втрачено на рис. 2.8 (в).

Рис. 2.8. Верхній рядок: зображення розмірами 128x128, 64x64 і 32x32 збільшені до розмірів 1024x1024 пікселів за допомогою інтерполяції за найближчим сусідом. Нижній рядок: аналогічно, але з використанням білінійної інтерполяції

6. Деякі фундаментальні співвідношення між пікселями

Розглянемо деякі важливі взаємозв’язки між елементами цифрового зображення. Як зазначалося раніше, будемо позначати зображення у вигляді функції f (x, y) . Посилаючись на конкретні пікселі, будемо користуватися

малими літерами, наприклад, p,q .

У елемента зображення р з координатами (x, y) є чотири сусіда по вертикалі і горизонталі, координати яких задаються виразами

(x 1, y),(x 1, y),(x, y 1),(x, y 1) .

Ця множина пікселів називається четвіркою сусідів р і позначається N4 ( p) . Кожен її елемент знаходиться на одиничній відстані від (x, y) ; якщо ж

точка (x, y) знаходиться на краю зображення, то деякі з сусідів опиняються за

межами зображення.

Чотири сусіда p по діагоналі мають координати

(x 1, y 1),(x 1, y 1),(x 1, y 1),(x 1, y 1)

і позначаються N D ( p) . Разом з четвіркою сусідів ці точки утворюють так звану вісімку сусідів, що позначається N8 ( p) .

7. Поелементні операції над зображеннями

У подальшому будуть багаторазово згадані операції, що виконуються над зображеннями, наприклад, ділення одного зображення на інше. У визначенні (2.2) зображення було представлено у формі матриці. Відомо, що операція ділення матриць в загальному випадку не визначена. Однак, говорячи про операції типу «ділення одного зображення на інше», ми насправді маємо на увазі, що ділення виконується для відповідних елементів двох зображень. Таким чином, якщо, наприклад, f і g цифрові зображення,

то значення першого елемента зображення, що одержується «діленням» f на g , дорівнює результату від ділення значення першого пікселя f на значення першого пікселя g , зрозуміло, в припущенні, що всі елементи g мають

ненульові значення. Інші арифметичні і логічні операції визначаються аналогічним чином і виконуються над відповідними елементами зображень.

8. Лінійні та нелінійні перетворення

Нехай H - оператор, входом і виходом якого є зображення. Кажуть, що

Іншими словами, результат застосування лінійного оператора до лінійної комбінації двох зображень (тобто до їх суми з попередніми множенням відповідно на коефіцієнти а і b) ідентичний до лінійної комбінації результатів застосування такого оператора до цих зображень окремо. Наприклад, оператор, функція якого полягає в обчисленні суми K зображень, є лінійний оператор. А оператор, що обчислює модуль різниці двох зображень, не є лінійним. За визначенням, оператор, для якого порушується умова (2.7), є нелінійним оператором. Лінійні оператори виключно важливі для обробки зображень, оскільки вони спираються на значну сукупність добре вивчених теоретичних і практичних результатів. Нелінійні оператори, хоча іноді і призводять до кращих результатів, не завжди передбачувані і в більшій своїй частині недостатньо досліджені теоретично.

Тема 2. Просторові методи покращення зображень Лекція 3. Методи перетворення зображень

Мета: Метою даної лекції є дослідження основних просторових методів покращення зображень, а саме градаційних перетворень, гістограмної обробки та арифметико-логічних операцій.

План: 1. Градаційні перетворення. 2. Робота з гістограмою. 3. Арифметикологічні операції.

Вступ

Головна мета покращення полягає в такій обробці зображення, щоб результат виявився більше відповідним з точки зору конкретного застосування. Слово конкретне тут є важливим, оскільки воно з самого початку встановлює, що методи, які обговорюються в даній лекції, значною мірою є проблемно орієнтованими. Так, наприклад, метод, що є корисним для покращення ренгенівських зображень, не обов’язково виявиться найкращим для обробки знімків Марса, що були передані космічним апаратом. Проте, незалежно від вживаних методів, покращення зображень є одним з найцікавіших і найпривабливіших з позиції візуального аналізу областей обробки зображень.

Множина підходів покращення зображень поділяється на дві великі категорії: методи обробки в просторовій області (просторові методи) і методи обробки в частотній області (частотні методи). Термін просторова область відноситься до площини зображення, і ця категорія об’єднує підходи, що ґрунтуються на прямому маніпулюванні пікселями зображення. Методи обробки в частотній області ґрунтуються на модифікації сигналу, що формується шляхом застосування до зображення перетворення Фур’є.

Загальної теорії покращення зображень не існує. Коли зображення обробляється для візуальної інтерпретації, спостерігач є остаточним суддею того, наскільки добре діє конкретний метод. Візуальне оцінювання якості зображення є украй суб’єктивний процес, що робить поняття "гарного зображення" деяким невловимим еталоном, за допомогою якого необхідно порівнювати ефективність алгоритму. У випадках, коли метою є обробка зображення для машинного сприйняття, завдання оцінювання дещо простіше. Наприклад, в завданні розпізнавання символів найкращим (залишаючи осторонь інші питання, такі як обчислювальні вимоги) буде той метод обробки зображень, який дає точніші результати машинного розпізнавання. Проте, навіть за ситуації, коли проблема дозволяє встановити чіткі критерії якості, зазвичай потрібна певна кількість спроб тестування, поки буде вибраний конкретний підхід до покращення зображень.

1. Передумови