Лекція 24. Мультимедіа - Відеосистема

Мультимедійна система - це така інтерактивна система, що створює ефект присутності (віртуальну реальність), діючи на наші органи почуттів: зір, слух, дотик, нюх, смак та ін. Прикладом є комп'ютерні ігри, хоча перегляд відео та прослуховування музики також варто віднести до мультимедіа.

24.1. Технологія та стандарти відеосистеми Двовимірне зображення

Зображення являє собою сукупність крапок, які мають певні колір та яскравість. Об'єднані в тріади, вони утворюють пікселі (пкс).

Стандарти зображення:

CGA(200*160*4 – ширина, пкс * висота, пкс * яскравість, біт);

EGA – 640*350*4; VGA – 640*480*4;

Super VGA – від 640*480*8 до 1600*1200*32.

Відображення інформації на екрані вимагає до 64МБ пам'яті. Для зменшення цього обсягу пропонуються різні методи стискання. Один з найпоширеніших форматів стискання із втратами є JPEG (Joint Pictures Expert Group - об'єднана група експертів по зображеннях).

Алгоритм стискання зводиться до поділу зображення на фрейми (прямокутні області), застосування дискретного косинусного перетворення (ДКП) до кожного фрейму, відкидання високочастотних складових та стискання отриманого результату за алгоритмом Хафмана (метод словника). У результаті обсяг зображення зменшується на порядок без помітного зниження якості картинки.

Одним з головних компонентів мультимедійної системи є передача відео (зображення, яке рухається). Являє собою потік картинок послідовних фаз руху (кадрів). Відсутність ривків визначається затримкою між фазами: не більше 50мс, якщо кадр перемикається миттєво та порядку 12-20мс, якщо кадр змінюється безупинно. Тобто, потрібно не менш 20-60 кадрів у секунду. З огляду на обсяг кожного кадру, відеопотік становить десятки мегабайт у секунду.

Для зменшення обсягів застосовуються алгоритми стиску із втратами. Найбільш відомий з них є MPEG. Суть алгоритму зводиться до виділення кожного k-го опорного кадру (k=10-30) та стискання його в JPEG формат. Між кадрами формується, запам'ятовується та використовується зміна щодо попереднього кадру. Таким чином, обсяги знижуються в 50-100 разів.

Синтез тривимірного зображення

Процес синтезу тривимірного зображення об'єкта будується в наступній послідовності (3D-конвеєр):

1. Побудова геометричної моделі поверхні об'єкта шляхом завдання тривимірних координат опорних (ключових) точок, а також рівнянь з'єднуючих їхніх ліній.

2. Розбивка поверхні отриманого об'єкта на елементарні плоскі елементи - прямокутники або трикутники.

3. Трансформація (Transformation). На цьому етапі моделюється рух об'єкта: його переміщення, обертання та зміна розмірів (форми). Вона зводиться до стандартного перетворення координат вершин граней (Vertex) та реалізується шляхом виконання безлічі різних операцій матричної (лінійної) алгебри та тригонометричних функцій.

4. Розрахунок освітленості (Lighting) та затінення (Shading) об'єкта методами Гуро (по вершинах) або Фонга (по пікселям).

5. Проектування отриманого тривимірного об'єкта на площину екрана. Використання Z-буфера - одна з головних особливостей тривимірної графіки.

6. Видалення схованих поверхонь (Технологія Hyper Z).

8. Зафарбування елементарних трикутників або текстурування - виконуються шляхом накладення текстур (Texture mapping).

9. Корекція зображення - застосування текстур з різним дозволом (МIP-mapping), корекція перспективи, лінійна та анізотропна фільтрація та інші дії.

10. Моделювання ефектів прозорості та напівпрозорості. Тут на основі інформації про взаємну прозорість об'єктів і середовища виконується корекція кольору пікселів - альфа-змішування (alpha-blending) та затуманювання або димка (fogging).

11. Корекція дефектів картинки на границях об'єктів, - антиаліасінг (anti-aliasing).

12. Остаточне формування кадрового буфера (frame buffer) - за допомогою механізму подвійної буферизації, при якому виділяється пам'ять одночасно для двох суміжних кадрів.

При обчисленнях активно використовуються як центральний процесор, так і прискорювач графічної карти (GPU).