Измерение и кодирование информации.
Содержание.
Содержательный подход.Алфавитный подход.
Единицы измерения информации.Кодирование информации.Представление текстовой информации.Международная таблица кодировки.Кодирование изображения.Представление числовой информации.
Как измерить информацию. Содержательный подход.
?Как упадет монетка? Орел или решка?
Неопределенность знаний = 2
Сообщение, уменьшающее неопределенность знаний в
два раза, несет 1 бит информации.
Ура!
Решка! Количество
полученных
знаний
несет 1 бит Количество информации равновероятных
событий 
N = 2, i = 1
А теперь такая задача:
«5», «4», 
«3», «2». 
Возможен один из 4 вариантов.
N=4
Получен 1 битОценкаинформациивыше .
Получен еще 1 тройкбит информации? .
Ты получил 
пятерку? 
Значит оценка -
«четверка».
Нет! |
полученныхКоличество |
Количество |
знаний |
равновероятных |
несет |
событий |
2 бита |
|
информации |
N = 4, i = 2
Итак:
В примере с монетой : N = 2, i = 1 
В примере с оценками : N = 4, i = 2 
Есть ли закономерность?
Очевидно:
N = 2i
Если N известно, то i определяется из
решения показательного уравнения.
Например:
N =6, тогда 6 = 2i, отсюда i = 2,58496…
Но как же измерить информацию в компьютере?
Ему же все равно каково содержание сообщения.
Алфавитный подход.
Разберемся на примере русского языка, в котором 54 символа.
Каждый символ может появиться с равной вероятностью.
N = , 54 = 2i
2i
Тогда i = 5,755 бит.
Столько информации несет один символ в русском тексте.