1. Информация
Количество информации
Количеством информации называют ее числовую характеристику, отражающую ту степень неопределенности, которая исчезает после получения информации. Для оценки и измерения количества информации в сообщении применяются различные подходы, среди которых следует выделить статистический и алфавитный.
Статистический подход. Для количественной оценки неопределенности или энтропии Н Хартли Р. предложил формулу, содержащую логарифм от числа равновероятных возможностей N
H = log2 N, (1)
которую можно записать в следующем виде:
2H = N, (2)
где H – количество информации.
Минимальной единицей количества информации, именуемой битом, будет выбор из двух возможностей.
При не равновероятной возможности выбора количество информации hi, зависящей от индивидуальной вероятности Pi i – го выбора, вычисляется по формуле К. Шеннона
, (3)
которую можно преобразовать к виду
. (4)
Удобнее в качестве меры количества информации пользоваться не значнем hi, а средним значением количества информации
. (5)
Алфавитный подход позволяет определить количество текстовой информации. Количество информации, которое несёт каждый символ вычисляется по формуле
i = log 2 N, (6)
где N – мощность алфавита, равная количеству символов в нём.
Текст, содержащий K символов, имеет объём информации, равный
I = K · i. (7)
Максимальное количество слов L из m букв, которое можно составить с помощью алфавита мощностью N, определяется как
L = N m. (8)
Решения задач с равновероятными возможностями
П 1.1. Пусть имеется колода карт, содержащая 32 различные карты. При выборе одной карты имеется 32 возможности.
Решение: Число возможностей N = 32 при подстановке в формулу (1) дает количество информации H = 5 (2H = 25).
П 1.2. При бросании монеты выбор одного результата (например, выпадения орла) несет один бит информации, поскольку количество возможных равновероятных результатов N = 2 (орел или решка). Действительно, подставляя N = 2 в формулу (1), получим H = 1 бит.
П 1.3. Какой объем информации содержит сообщение, уменьшающее неопределенность в 4 раза?
Решение: так как неопределенность знаний уменьшается в 4 раза, следовательно, она была равна 4, т.е. существовало 4 равновероятных события. Сообщение о том, что произошло одно из них, несет 2 бита информации (4 = 22).
Ответ: 2 бита.
П 1.4. В коробке лежат 16 кубиков. Все кубики разного цвета. Сколько информации несет сообщение о том, что из коробки достали красный кубик?
Решение: из 16 равновероятных событий нужно выбрать одно. Поэтому N = 16, следовательно, H = 4, (16 = 24).
Пояснение: события равновероятны, т.к. всех цветов в коробке присутствует по одному.
Ответ: 4 бита.
П 1.5. Сообщение о том, что ваш друг живет на 10 этаже, несет 4 бита информации. Сколько этажей в этом доме?
Решение: N = 24 = 16 этажей.
Пояснение: события равновероятны, т.к. номера этажей не повторяются.
Ответ: 16 этажей.
Решения задач с не равновероятными событиями
П 1.6. В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?
Дано: Nч = 8; Nб = 24. Найти: Hч = ?
Решение:
1) N = 8 + 24 = 32 – шара всего;
2) Pч = 8/32 = ¼ - вероятность доставания черного шара;
3) H = log2 (1/ ¼) = 2 бита.
Ответ: 2 бита.
П 1.7. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в коробке?
Дано: Nч = 64; Hб = 4. Найти: Кб = ?
Решение:
1) Hб = log2(1/Pб); 4 = log2(1/Pб); 1/Pб = 16; Pб = 1/16 – вероятность доставания белого карандаша;
2) Pб = Кб/N; 1/16 = Кб/64; Кб = 64/16 = 4 белых карандаша.
Ответ: 4 белых карандаша.
П 1.8. В корзине лежат белые и черные шары. Среди них 18 черных шаров. Сообщение о том, что из корзины достали белый шар, несет 2 бита информации. Сколько всего шаров в корзине?
Дано: Кч = 16, N = 2 бита. Найти: N - ?
Решение:
1) 1/Pб = 21, 1/Pб = 22 = 4, Pб = ¼ - вероятность доставания белого шара;
2) Pб = Кб/N = Кб/(Кб + Кч), ¼ = Кб/(Кб + 18), Кб + 18 = 4 * Кб, 18 = 3 * Кб, Кб = 6 – белых шаров;
3) N = Кб + Кч = 18 + 6 = 24 шара было в корзине.
Ответ: 24 шара лежало в корзине.
Задачи на измерение алфавитного объёма
П 1.9. Найти объем текста HT, записанного на языке, алфавит которого содержит N = 128 символов и K = 2000 символов в сообщении.
Решение:
H = log2N = log2128 = 7 бит – объем одного символа.
HT = H × K = 7 × 2000 = 14 000 бит – объем сообщения.
Ответ: 14 000 бит.
П 1.10. В алфавите некоторого языка всего N = 2 буквы, каждое слово в языке состоит точно из m = 7 букв. Какой максимальный запас слов в языке?
Решение:
Если мощность алфавита N, а максимальное количество букв в слове, записанном с помощью этого алфавита, – m, то максимально возможное количество слов определяется по формуле L = Nm, откуда N = 27, следовательно, N = 128.
Т 1.1. «Вы выходите на следующей остановке?» - спросили человека в автобусе. «Нет», - ответил он. Сколько информации содержит ответ?
Ответ: а) 1 бит;
Т 1.2. Сколько информации содержит сообщение, уменьшающее неопределенность знаний в 8 раз?
Решение: так как неопределенность знаний уменьшается в 8 раз, следовательно, она было равна 8, т.е. существовало 8 равновероятных событий. Сообщение о том, что произошло одно из них, несет 3 бита информации (8 = 23).
Ответ: в) 3 бита;
Т 1.3. При угадывании целого числа в некотором диапазоне было получено 8 бит информации. Сколько чисел содержит этот диапазон?
Решение: 28=256. 1 байт = 8 бит, а у байта 256 возможных состояний.
Ответ: б) 256;
Т 1.4. В школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?
Решение: существует 16*8 = 128 вариантов местонахождения книги. Из этого количеств вариантов необходимо выбрать один. Следовательно, N = 128, а I = 7, т.к. 128 = 27.
Ответ: в) 7 бит;
Т 1.5. При угадывании целого числа в диапазоне от 1 до N было получено 9 бит информации. Чему равно N?
Решение: N = 29 = 512.
Ответ: г) 512.
Т 1.6. В группе N = 30 студентов. За контрольную работу по математике получено К5 = 15 пятерок, К4 = 6 четверок, К3 = 8 троек и К2 = 1 двойка. Какое количество информации Н5 в сообщении о том, что Андреев получил пятерку?
Решение: 1) р4 =15/30=1/2 - вероятность получения оценки “5”;
2) I4 = log2( 1/p4) = log2(1/1/2 ) = 1бит;
Ответ: а) 1 бит;
Т 1.7. За семестр студент получил N = 100 оценок. Сообщение о том, что он получил пятерку, несет Н5 =2 бита информации. Сколько пятерок К5 студент получил за четверть?
Решение:
1) I4 = log2(l/p4), 2 = log2(l/p4), = 4, р4 = – вероятность получения “5”;
2) I4 = К4/100, К4 = 100/4 = 25 – количество “5”.
Ответ: в) 25;
Т 1.8. В ящике лежат перчатки (белые и черные). Среди них – Кч = 2 пары черных. Сообщение о том, что из ящика достали пару черных перчаток, несет Нч = 4 бита информации. Сколько пар белых перчаток Кб было в ящике?
Решение:
Iч = log2(l/p4), 4 = log2(l/p), 1/рч = 16, рч = 1/16 – вероятность доставания черных перчаток;
р = К /N, N = Кч/рч, N = 2-16 = 32 — всего перчаток в ящике;
3) К6 = N – К = 32 – 2 = 30 пар белых перчаток.
Варианты ответа: б) 30;
Т 1.9. Для ремонта актового зала использовали белую, синюю и коричневую краски. Израсходовали одинаковое количество банок белой и синей краски Кб = Кс. Сообщение о том, что закончилась банка белой краски, несет Нб = 2 бита информации. Синей краски израсходовали Кс = 8 банок. Сколько банок коричневой краски Кк израсходовали на ремонт актового?
Решение:
1) Iб = log2(l/p6), 2 = log2(l/p6), 1/р6 = 4, р6 = Vi – вероятность расхода белой банки;
2) N =Kб/Pб=8/1/4 = 32 – банки с краской было всего;
3) Кк = N – К6 – Кс = 32 – 8 – 8 =16 банок коричневой краски.
Ответ: в) 16;
Т 1.10. На остановке останавливаются троллейбусы с разными номерами. Сообщение о том, что к остановке подошел троллейбус с номером N1, несет НN1 = 4 бита информации. Вероятность появления на остановке троллейбуса с номером N2 в два раза меньше, чем вероятность появления троллейбуса с номером N1 (РN1 = 2РN2). Сколько информации НN2 несет сообщение о появлении на остановке троллейбуса с номером N2?
Решение: 1) 1/PN, = 21NI =24= 16, pNI = 1/16 - вероятность появления троллейбуса N1;
2) pNI = 2-pN2, pN2 = pN/2 = 1/32 – вероятность появления троллейбуса N2;
3) IN2 = log2(l/pN2) = log232 = 5 бит — несет сообщение о появлении троллейбуса N2.
Ответ: а) 5 бит;
Т 1.11. В корзине лежат 32 клубка шерсти. Среди них – 4 красных. Сколько информации несет сообщение о том, что достали клубок красной шерсти?
Решение:
Найдем количество клубков черной шерсти: Кч=N - Кк; Кч=32-4=28;
Найдем вероятность доставания клубка каждого вида: pк= Кк/N=4/32=1/8; pч= Кч/N=28/32=7/8;
Найдем количество информации, которое несет сообщение, что достали клубок красной шерсти: Iк= log2(1/(1/ pк))= log2(1/1/8)= log28=3 бит
Ответ: в) 3 бита;
Т 1.12. В корзине лежат красные и зеленые шары. Среди них 15 красных шаров. Сообщение о том, что из корзины достали зеленый шар, несет 2 бита информации. Сколько всего в корзине шаров?
Ответ: б) 20;
Т 1.13. Известно, что в ящике лежат N = 20 шаров. Из них – Кс = 10 синих, Кз = 5 – зеленых, Кж = 4 – желтых и Кк = 1 – красный. Какое количество информации несут сообщения о том, что из ящика случайным образом достали черный шар Нч, белый шар Нб, желтый шар Нж, красный шар Нк?
Варианты ответа:
а) Нч = 1 бит, Нб = 2 бита, Нж = 2,236 бит, Нк = 4,47 бит.
Т 1.14. В корзине находятся всего 128 красных, синих и белых шаров, причем красных шаров в три раза больше, чем синих. Сообщение о том, что достали белый шар, содержит 3 бита информации. Найти количество синих шаров.
Ответ: а) 24; ) 28; в) 32; г) 36.
Т 1.15. В озере обитает 12500 окуней, 25000 пескарей, а карасей и щук по 6250. Сколько информации мы получим, когда поймаем какую-нибудь рыбу?
Найдем общее количество рыбы: N= Ко+Кп+Кк+Кщ.
Найдем вероятность ловли каждого вида рыбы: pо= Ко/N; pп= Кп/N; pк= pщ= Кк/N.
Найдем количество информации о ловле рыбы каждого вида: Iо= log2( 1/pо); Iп=log2 (1/pп ); Iк= Iщ= log2 (1/pк )
Найдем количество информации о ловле рыбы любого вида: I= pо∙log2pо+ pп∙log2pп +pк∙log2pк +pщ∙log2pщ
Ответ: а) 1, 5 бит; б) 1, 75 бит; в) 2 бита; г) 2, 25 бит.
Т 1.16. Сообщение, записанное буквами из 64-х символьного алфавита, содержит 20 символов. Какой объем информации оно несет?
64 = 2^6.
20 символов по 6 бит содержат 20*6 = 120 бит = 120/8 = 15 байт.
Ответ: в) 120 бит;
Т 1.17. Информационное сообщение объемом 1,5 Кбайт содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?
Iт= i*K
Iт - объём сообщения, К - кол-во пришедших символов, i - кол-во бит, приходящихся на один символ
Решение: i= Iт/K = 1,5 Кбайт/3072=1,5*2 в 10 степени *2 в 3 степени бит/ 3*2 в степени 10=4 бит
N=2 в степени i= 2 в степени 4 = 16 символов
Ответ: б) 16;
Т 1.18. Для записи текста использовался 256-символьный алфавит. Каждая страница содержит 30 строк по 70 символов в строке. Какой объем информации содержат 5 страниц текста?
256 вариантов это 2^8 - 8 бит.
8 бит на символ * 70 символов в строке * 30 строк на странице * 5 страниц.
Ответ: а) 850 байт;
Т 1.19. В алфавите некоторого языка всего две буквы: «А» и «Б». Все слова, записанные на этом языке, состоят из 11 букв. Какой максимальный словарный запас может быть у этого языка?
Варианты ответа: а) 22; б) 11; в) 2048; г) 1024; д) 44.
Т 1.20. Словарный запас некоторого языка составляет 256 слов, каждое из которых состоит точно из 4 букв. Сколько букв в алфавите языка?
Варианты ответа: а) 8; б) 4; в) 64; г) 1024; д) 256.