61. Квантування інформації. Теорема Котельникова.

Квантование (англ. quantization) — в информатике разбиение диапазона значений непрерывной или дискретной величины на конечное число интервалов. Квантование приводит сигнал к заданным значениям(шаг квантования), то есть, разбивает по уровню сигнала (на графике — по вертикали). Сигнал, к которому применены дискретизация и квантование, называется цифровым.

Теоре́ма Коте́льникова (в англоязычной литературе — теорема Найквиста — Шеннона или теорема отсчётов) гласит, что, если аналоговый сигнал имеет финитный (ограниченный по ширине) спектр, то он может быть восстановлен однозначно и без потерь по своим дискретным отсчётам, взятым с частотой строго большей удвоенной верхней частоты :

следствия:

Любой аналоговый сигнал может быть восстановлен с какой угодно точностью по своим дискретным отсчётам, взятым с частотой

Если максимальная частота в сигнале превышает половину частоты дискретизации, то способа восстановить сигнал из дискретного в аналоговый без искажений не существует.

Говоря шире, теорема Котельникова утверждает, что непрерывный сигнал можно представить в виде интерполяционного ряда где функция sinc. Интервал дискретизации удовлетворяет ограничениям Мгновенные значения данного ряда есть дискретные отсчёты сигнала .

61. Основна теорема про кодування для каналу без шуму. Оптимальне кодування.

Оптимальним статистичними кодуванням називається кодування, при якому забезпечується розподіл часу на передачу окремих символів алфавіту в залежності від апріорних ймовірностей їх появи:

Оптимальними нерівномірними кодами (ОНК) - називаються коди, в яких символи алфавіту кодуються кодовими словами мініма-льно середньої довжини.

Принципи побудови оптимальних кодів:

1. Кожна кодова комбінація повинна містити максимальну кількість інформації, що забезпечує максимальну швидкість передачі даних.

2. Символів первинного алфавіту, що мають найбільшу ймовірність появи в повідомленні, присвоюються більш короткі кодові слова, при цьому, середня довжина кодових комбінацій має мінімально-можливу довжину.

61. Коди Шеннона-Фано і Хаффмена.

Кодування за методом Шеннона - Фано здійснюється наступним чином:

1. Безліч символів, з яких формуються повідомлення, записуються в порядку убування їх апріорних ймовірностей.

2. Подальше побудова коду проводиться методом послідовного ділення навпіл. Символи повідомлення розбиваються на дві групи з приблизно рівними ймовірностями

3. Всім символам верхньої групи приписується кодовий символ 1, а символам нижньої - 0. Можна, навпаки, тому що для кодової реалізації байдуже 0 або 1, але з точки зору потужності, краще, якщо в кодової комбінації менше одиниць.

4. Потім кожна підгрупа аналогічним чином розбивається на підгрупи по можливості з однаковими ймовірностями. Розбиття здійснюється до тих пір, поки в кожній підгрупі залишиться по одному символу.

Приклад побудови коду наведено в таблиці 1.

61. Коди, що виявляють помилки і коректують коди. Код Хемминга.

Коды Хэмминга — наиболее известные и, первые из самоконтролирующихся и самокорректирующихся кодов. Построены они применительно к двоичной системе счисления.

Самоконтролирующиеся_коды

Коды Хэмминга являются самоконтролирующимися кодами, то есть кодами, позволяющими автоматически обнаруживать ошибки при передаче данных. Для их построения достаточно приписать к каждому слову один добавочный (контрольный) двоичный разряд и выбрать цифру этого разряда так, чтобы общее количество единиц в изображении любого числа было, например, четным.

Самокорректирующиеся коды

Коды, в которых возможно автоматическое исправление ошибок, называются самокорректирующимися. Для построения самокорректирующегося кода, рассчитанного на исправление одиночных ошибок, одного контрольного разряда недостаточно. Как видно из дальнейшего, количество контрольных разрядов k должно быть выбрано так, чтобы удовлетворялось неравенство или , где m — количество основных двоичных разрядов кодового слова.