Количество информации. Кодирование. Логические выражения (методические указания и контрольные задания)

1 Определение количества информации

Единица измерения количества информации называется бит. Сообщение, уменьшающее неопределенность знаний человека в два раза, несет для него 1 бит информации.

1. Содержательный подход к измерению информации.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий (равновероятность обозначает, что ни одно событие не имеет преимуществ перед другими). Тогда количество информации в битах, заключенное в этом сообщении I и число N связаны формулой:

I=log₂(N) или N=2^I

Пример 1:

Вы подошли к светофору, когда горел желтый свет. Какое количество информации вы получите, если загорится другой сигнал светофора?

Решение: Так как может загореться или зеленый или красный свет, то события равновероятны и N=2, то есть I=log₂(2)=1 бит.

Пример 2:

Сколько информации несет сообщение о том, что человек зашел в 3 подъезд 8 подъездного дома?

Решение: Так как номер подъезда не влияет на количество информации, из 8 равновероятных событий следует выбрать одно и N=8, то есть I=log₂(8)=3 бита.

Пример 3. Сообщение о том, что человек проживает в третьем подъезде, несет 3 бита информации. Сколько подъездов в доме.

Решение: Задача обратная задаче из примера 2, то есть необходимо найти количество равновероятных событий: 3=log₂(Х), тогда Х=2³=8 подъездов.

Пример 4: Ваш друг живет на 4 этаже восьмиподъездного четырехэтажного дома. Сколько информации несет это сообщение?

Решение: Номер этажа, на котором живет ваш друг, не влияет на количество информации, тогда существует 32 разных варианта равновероятного события (8*4), из которых надо выбрать один, то есть N=32, а I=log₂(32)=5 бит.

Общее количество информации можно записать как сумму неизвестной информации о разных равновероятных событиях, в примере 4 – про этажи и подъезды дома:

I=log₂(8)+log₂(4)=3+2=5, бит

2. Вероятностный подход к измерению информации.

Если информационный объект находится в одном из N возможных состояний с вероятностью Р . То количество информации (I) об этом:

I=log₂ (1/p)

Вероятность события вычисляется по формуле: р=К/N,

где К – величина, показывающая сколько раз произошло событие, N – общее число возможных исходов события.

Если события равновероятны, то р=1/N и I=log₂ (N)

Пример 5: В коробке 14 черных и 2 белых шара. Сколько информации несет сообщение, что из коробки вынули белый шар?

Решение: Всего в коробке 16 шаров, то есть N=16, р=2/16 – вероятность доставания белого шара, тогда I=log₂ (1/p)=log₂ (16/2)=log₂ (8)=3 бита.

Пример 6: В коробке лежит 16 шаров, сообщение о том, что достали белый шар, несет 3 бита информации. Сколько белых шаров в корзине?

Решение: Задача обратная задаче из примера 5. Вероятность доставания белого шара р=х/16, где х – количество белых шаров, тогда

3=log₂ (16/х) или 2³=16/х, х=2 белых шара в коробке.

Пример 7: В коробке лежит 2 белых шара. Сообщение о том, что достали белый шар, несет 3 бита информации. Сколько шаров в коробке?

Решение: Задача обратная задачам из примеров 5 и 6. Вероятность доставания белого шара р=2/х, где х – общее количество шаров (N), тогда

3=log₂ (х/2) или 2³=х/2, х=16 шаров в коробке.