Количество информации в сообщении об одном из n равновероятных событий:
N |
i |
N |
i |
N |
i |
N |
i |
1 |
0,00000 |
17 |
4,08746 |
33 |
5,04439 |
49 |
5,61471 |
2 |
1,00000 |
18 |
4,16993 |
34 |
5,08746 |
50 |
5,64386 |
3 |
1,58496 |
19 |
4,24793 |
35 |
5,12928 |
51 |
5,67243 |
4 |
2,00000 |
20 |
4,32193 |
36 |
5,16993 |
52 |
5,70044 |
5 |
2,32193 |
21 |
4,39232 |
37 |
5,20945 |
53 |
5,72792 |
6 |
2,58496 |
22 |
4,45943 |
38 |
5,24793 |
54 |
5,75489 |
7 |
2,80735 |
23 |
4,52356 |
39 |
5,28540 |
55 |
5,78136 |
8 |
3,00000 |
24 |
4,58496 |
40 |
5,32193 |
56 |
5,80735 |
9 |
3,16993 |
25 |
4,64386 |
41 |
5,35755 |
57 |
5,83289 |
10 |
3,32193 |
26 |
4,70044 |
42 |
5,39232 |
58 |
5,85798 |
11 |
3,45943 |
27 |
4,75489 |
43 |
5,42626 |
59 |
5,88264 |
12 |
3,58496 |
28 |
4.80735 |
44 |
5,45943 |
60 |
5.90689 |
13 |
3,70044 |
29 |
4,85798 |
45 |
5,49185 |
61 |
5,93074 |
14 |
3,80735 |
30 |
4,90689 |
46 |
5,52356 |
62 |
5,95420 |
15 |
3,90689 |
31 |
4,95420 |
47 |
5,55459 |
63 |
5,97728 |
16 |
4,00000 |
32 |
5,00000 |
48 |
5,58496 |
64 |
6,00000 |
Пример 6. При игре в кости используется кубик с шестью гранями. Сколько бит информации получает игрок при каждом бросании кубика?
Выпадение каждой грани кубика равновероятно и равно 1/6. Поэтому количество информации от каждого броска находится из уравнения 2i = 6. Решая это уравнение по формуле (1): i = log26, получаем ответ: i = 2.585 бит. Решение примера 5 можно получить, воспользовавшись таблицей 1, в которой N – общее количество равновероятных событий; i – количество информации, бит.
Оценка информации, так же как вещества или энергии, может быть субъективной и объективной. В первом случае главное – смысл информации, а во втором – её измеримость.
Первый способ измерения информации отражает вероятностный (содержательный) подход. Этот метод является субъективным.
Алфавитный подход к измерению информации позволяет определить количество информации, заключенной в тексте. Алфавитный подход является объективным, т.е. он не зависит от субъекта (человека), воспринимающего текст.
Множество символов, используемых при записи текста, называется алфавитом. Полное количество символов в алфавите называется мощностью (размером) алфавита. Будем обозначать эту величину буквой N. Например, мощность алфавита из русских букв и дополнительных символов равна 54. Чем большее количество знаков содержит алфавит знаковой системы, тем большее количество информации несет один знак.
С помощью формулы (3) определим количество информации, которое несет один символ русского алфавита:
N = 54 => Используя таблицу 1.1, получаем i = 5,755 бит.
Вот сколько информации несет один символ в русском тексте! А теперь для того, чтобы найти количество информации во всем тексте, нужно посчитать число символов в нем и умножить на i.
Возьмем с книжной полки какую-нибудь книгу и посчитаем количество информации на одной ее странице. Пусть страница содержит 50 строк. В каждой строке — 60 символов. Значит, на странице умещается 50*60 = 3000 знаков. Тогда объем информации будет равен: 5,755 х 3000 = 17265 бит.
Следовательно, при алфавитном подходе к измерению информации количество информации от содержания не зависит. Количество информации зависит от объема текста (то есть от числа знаков в тексте) и от мощности алфавита.
Отсюда следует, например, что нельзя сравнивать информационные объемы текстов, написанных на разных языках, только по объему. У них отличаются информационные веса одного символа, так как мощности алфавитов разных языков - различные.
Но если книги написаны на одном языке, то понятно, что в толстой книге информации больше, чем в тонкой. При этом содержательная сторона книги в расчет не берется.
Вероятностный подход применим и для алфавитного подхода к измерению информации, заключенной в тексте. Известно, что разные символы (буквы алфавита, знаки препинания и др.) встречаются в тексте с разной частотой и, следовательно, ммеют разную вероятность. Например, в русской письменной речи в среднем на 1000 знаков осмысленного текста приходится 200 букв "а" и в сто раз меньшее количество буквы "ф" (всего 2). Таким образом, с точки зрения теории информации, информационная емкость знаков русского алфавита различна (у буквы "а" она наименьшая, а у буквы "ф" - наибольшая).Значит, измерять информационный вес каждого символа в тексте в предположении равновероятности нельзя.
Пример 7. В алфавите 4 буквы (А, В, С, D), один знак препинания «.» и один разделитель (пробел). В тексте 10000 знаков, из них:
A – 4000
B – 1000
C – 2000
D – 1500
точек – 500
пробелов – 1000.
Какой объем информации в тексте?
Если считать, что частотный алфавит определен для любого текста на этом языке, то можно найти вероятность каждого символа текста и информационный вес:
A: 4000/10000 = 0,4; iA = log2(1/0,4) = 1,32;
B: 1000/10000 = 0,1; iB = log2(1/0,1) = 3,19;
C: 2000/10000 = 0,2; iC = log2(1/0,2) = 2,32;
D: 1500/10000 = 0,15; iD = log2(1/0,15) = 2,73;
точка: 500/10000 = 0,05; iточка = log2(1/0,05) = 4,32;
пробел: 1000/10000 = 0,1; iпробел = log2(1/0,1) = 3,19.
Общий объем информации в тексте вычислим по формуле суммы произведений информационного веса каждого символа на число повторений этого символа:
I = iA*nA + iB*nB + iC*nC + iD*nD + iточка* nточка + iпробел* nпробел =
1,32 * 4000 + 3,19 * 1000 + 2,32 * 2000 + 2,73 * 1500 + 4,32 * 500 + 3,19 * 1000 = 22841,84 бит.
Уменьшая неопределенность, мы получаем информацию – в этом весь смысл научного познания.
Контрольные вопросы
Какое количество информации получит второй игрок после первого хода первого игрока в игре в "Крестики-нолики" на поле размером 4x4?
Каково было количество возможных событий, если после реализации одного из них мы получили количество информации, равное 3 бит? 7 бит?
Определите количество экзаменационных билетов, если зрительное сообщение о номере одного вытянутого билета несет 5 битов информации.
Какое количество информации несет сообщение об оценке за контрольную работу?
Какое количество информации мы получаем в зрительном сообщении о падении симметричной восьмигранной пирамиды на одну из граней?
Из непрозрачного мешочка вынимают шарики с номерами и известно, что информационное сообщение о номере шарика несет 5 бит информации. Определите количество шариков в мешочке.
Сколько следует задать вопросов и как их следует формулировать, чтобы оценить сообщение о том, что вагон стоит на одном из 16 путей?
Шарик находится в одном из 64 ящичков. Сколько единиц информации будет содержать сообщение о том, где находится шарик?