1. Меры информации
Прежде, чем перейти к мерам информации, укажем, что источники информации и создаваемые ими сообщения разделяются на дискретные и непрерывные. Дискретные сообщения слагаются из конечного множества элементов, создаваемых источником последовательно параллельно или последовательно-параллельно во времени. Набор элементов называется алфавитом источника, а элементы ─ буквами. Понятие буква в данном случае шире, чем в письменности, Оно может включать в себя цифры, буквы и другие знаки. Число букв в алфавите называется объемом алфавита. Источник дискретных сообщений называется дискретным, в противном случае ─ непрерывным.
Дискретный источник за конечное время создает конечное множество сообщений. Типичным дискретным сообщением являются текст, записанный с помощью какого-либо алфавита, последовательность чисел, представленных знаками.
Непрерывные сообщения отражаются какой-либо физической величиной, изменяющейся в заданном интервале времени. Получение конечного множества сообщений за конечный промежуток времени в данном случае достигается путем дискретизации по времени и по уровню.
1.1. Структурные меры количества информации
В структурных мерах во внимание принимается только дискретное строение носителя информации - количество содержащихся в нем информационных элементов, связей между ними или комбинаций из них.
Под информационными элементами понимаются неделимые части ─ кванты ─ информации в дискретных моделях реальных носителей информации, а также элементы алфавитов в числовых системах. В структурной теории различают геометрическую, комбинаторную и аддитивную меры информации.
Наибольшее распространение получила аддитивная мера Хартли - двоичная аддитивная мера, измеряющая количество информации в двоичных единицах ─ битах (binary digit).
1.1.1. Геометрическая мера
Определение количества информации геометрическим методом сводится к измерению длины линии, площади или объема геометрической модели данного носителя информации или сообщения. По геометрическим размерам носителя геометрическая мера определяет потенциальное, т.е. максимально возможное количество информации в данных структурных габаритах. Это количество называется информационной емкостью носителя. Информационная емкость - число, показывающее, какое количество квантов содержится на носителе. Например, число мест под отверстия на перфокарте = 80х10 = 800 (рис. 1.1)
Рис. 1.1. Внешний вид перфокарты.
В случае сообщения, его можно записать (если это текст) в строчку и длину получившейся строки разделить на длину одной буквы. Таким образом, геометрическая мера здесь сводится к определению числа букв в сообщении.
Другой пример: имеется две фотографии поверхности земли разной площади, но с одинаковой разрешающей способностью. Количество информации в смысле геометрической меры будет пропорционально площади фотографии.
1.1.2. Комбинаторная мера
Этот вид меры информации используют тогда, когда требуется оценить возможность передачи информации при помощи различных комбинаций букв. Образование комбинаций - одна из форм кодирования информации.
Количество информации в комбинаторной мере равно количеству разрешенных комбинаций букв.
Можно договориться (условиться) о различных правилах образования комбинаций. Различные комбинации могут, например, отличатся буквами или порядком их следования или и тем и другим одновременно.
Подсчитаем количество информации, которое можно передавать в комбинаторном смысле перфокартами.
В данном случае используются только две буквы - наличие и отсутствие отверстия.
Буквы могут располагаться в 80х10 = 800 позициях в виде всевозможных соединений. Таких соединений может быть 2800. Таким образом, одна перфокарта несет на себе 2800 комбинаторных единиц информации (примерно 10240)