II. Количество и измерение информации

Основы близкой к информатике технической науки кибернетики были заложены трудами по математической логике американского математика Норберта Винера, опубликованными в 1948 году, а само название происходит от греческого слова (kyberneticos — искусный в управлении).

Впервые термин кибернетика ввел французский физик Андре Мари Ампер в первой половине XIX веке. Он занимался разработкой единой системы классификации всех наук и обозначил этим термином гипотетическую науку об управлении, которой в то время не существовало, но которая, по его мнению, должна была существовать.

Сегодня предметом кибернетики являются принципы построения и функционирования систем автоматического управления, а основными задачами — методы моделирования процесса принятия решений техническими средствами, связь между психологией человека и математической логикой, связь между информационным процессом отдельного индивидуума и информационными процессами в обществе, разработка принципов и методов искусственного интеллекта. На практике кибернетика во многих случаях опирается на те же программные и аппаратные средства вычислительной техники, что и информатика, а информатика, в свою очередь, заимствует у кибернетики математическую и логическую базу для развития этих средств.

Кибернетика – это наука об общих принципах управления в различных системах – технологических, биологических, социальных. Кибернетику интересуют процессы взаимодействия между сложными объектами. Такие взаимодействия рассматриваются как процессы управления. Основной целью управления является приведение объектов управления в требуемое состояние, через реализацию принятых органом управления решений. Главные характеристики кибернетической системы это входная и выходная информация. Информация между кибернетическими системами передаётся в виде некоторых последовательностей сигналов. Выходные сигналы одних участников обмена являются входными для других.

Информационные обмены происходят везде и всюду: между людьми, между животными, между работающими совместно техническими устройствами. Во всех этих случаях информация передаётся в виде последовательностей сигналов разной природы: акустических, световых, графических, электрических и других.

С точки зрения кибернетики информацией является содержание передаваемых сигнальных последовательностей.

Передача сигналов требует определённых материальных и энергетических затрат. Например, при использовании электрической связи нужны провода и источники электроэнергии. Однако содержание сигналов не зависит от затрат вещества или энергии. В последовательностях сигналов закодированы определённые смысловые элементы, в которых и заключается их содержание.

Управленческие решения должны быть обоснованны и поддержаны информационными системами. Большое значение для их принятия имеет не только качество, но и количество информации состояния (поступившей от объектов управления) и подлежащей анализу. Поэтому лицам, принимающим решения (ЛПР), необходимо иметь представление об измерении информации.

Для теоретической информатики информация играет такую же роль, как и вещество в физике. И подобно тому, как веществу можно приписывать довольно большое количество характеристик: массу, заряд, объем, и т.д., так и для информации имеется пусть и не столь большой, но достаточно представительный набор характеристик единицы измерения, что позволяет некоторой порции приписывать числа – количественные характеристики информации.

На сегодняшний день наиболее известны следующие методы измерения информации:

• объемный;

• энтропийный;

• алгоритмический.

Объемный – является самым простым и грубым методом измерения информации. Соответствующую количественную оценку информации естественно назвать объемом информации. Объем информации в сообщении – это количество символов в сообщении. Поскольку, например, одно и то же число может быть записано многими разными способами (с использованием различных алфавитов): «двадцать один», 21, 11001, XXI, то этот способ чувствителен к форме представления (записи) сообщения. В вычислительной технике вся обрабатываемая и хранимая информация вне зависимости от ее природы (число, текст, отображение) представлено в двоичной форме (с использованием алфавита, состоящего из двух символов 0 и 1). Такая стандартизация позволила ввести две стандартные единицы измерения: бит и байт. Байт – это восемь бит.

В теории информации и кодирования применяется энтропийный метод измерения информации. Этот метод измерения исходит из следующей модели. Получатель информации имеет определенные представления о возможности наступления некоторых событий. Эти представления в общем случае достоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределенности (энтропия), характеризуется математической зависимостью от совокупности этих вероятностей. Количество информации в сообщении определяется тем, насколько уменьшится эта мера после получения сообщения.

Для определения количества информации, содержащейся в сообщении о том, что произошло одно из N равновероятных событий, используется формула:

i = log2 N.

Эта формула была получена американским инженером Ричардом Хартли в 1928 году и поэтому известна как формула Хартли

Характерным примером применения формулы является расчёт характеристик выбора карты из 32-х картной колоды.

Если определить количество информации как меру устраненной неопределенности, то и полученную в результате выбора информацию можно охарактеризовать числом 32, то есть для выбора конкретной карты может потребоваться 32 опыта. Однако в теории информации получила использование другая количественная оценка, а именно – логарифм от описанной выше оценки по основанию 2:

H=log2m,

где m – число возможных равновероятных выборов (при m=2, H=1). То есть для выбора из колоды имеем следующую оценку количества информации, получаемую в результате выбора: H=log232=5.

Полученная оценка имеет интересную интерпретацию. Она характеризует число двоичных вопросов, ответы на которые позволяет выбрать либо «да» либо «нет». Для выбора дамы пик такими вопросами будут:

1 Карта красной масти? Ответ – нет - 0.

2 Трефи? Ответ – нет - 0.

3 Одна из четырех старших? Ответ – да - 1.

4 Одна из двух старших? Ответ – нет - 0.

5 Дама? Ответ – да - 1

Таким образом, чтобы устранить неопределенность (сделать выбор нужной карты) в колоде карт, необходимо получить в диалоговом режиме пять ответов (сообщений). Этот выбор можно описать последовательностью из пяти двоичных символов 00101. Количество информации 5 бит.

Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.

Пример. Предположим, что ученик получил за год 100 оценок. Среди них: 60 пятёрок, 25 четвёрок, 10 троек и 5 двоек. Тогда:

• вероятность пятерки – 60/100 = 0,6;

• вероятность четвёрки – 25/100 = 0,25;

• вероятность тройки – 10/100 = 0,1;

• вероятность пятерки – 5/100 = 0,05.

Теперь зная вероятности событий, можно определить количество информации в сообщении о каждом из них. Она определяется по формуле:

i = log2 (1/Р).

Таким образом:

I5 = i = log2 (1/0,6) = i = log2 (5/3) = 0,737 бит.

I4 = i = log2 (1/0,25) = i = log2 (4) = 2 бита.

I3 = i = log2 (1/0,1) = i = log2 (10) = 3,322бита.

I2 = i = log2 (1/0,05) = i = log2 (20) = 4,322 бита.

Количество информации в сообщении о некотором событии зависит от вероятности этого события. Чем меньше вероятность, тем больше информации.

Информативность всех таких сообщений можно выразить в битах, если вычислить вероятность событий, обработав результаты наблюдений.

В теории информации существует алгоритмический метод оценки информации в сообщении. Этот метод можно охарактеризовать следующими рассуждениями.

Под алгоритмом всегда понималась процедура, которая позволяла путем выполнения последовательных элементарных шагов (действий) получать однозначный результат (независимо от того, кто выполнял эти шаги) или за конечное число шагов прийти к выводу о том, что решение не существует.

Каждый согласится, что слово 0101…01 сложнее слова 00…0, а слово где 0 и 1 выбираются из эксперимента – бросания монеты (где 0 – герб, 1 – аверс), сложнее обоих предыдущих.

Компьютерная программа, производящая слово из одних нулей крайне проста: печатать один и тот же символ, противоположный только что напечатанному. Случайная, не обладающая никакими закономерностями последовательность не может быть произведена никакой «короткой» программой. Длина программы, производящей хаотическую последовательность, должна быть близка к длине последней.

Приведенные рассуждения позволяют предположить, что любому сообщению можно приписать количественную характеристику, отражающую сложность программы, которая позволяет ее произвести.

Кибернетическое направление информатики занимается изучением возможностей ЭВТ при поддержке управленческих решений, принимаемых человеком. Одним из основных свойств в этом аспекте является их своевременность. Следовательно, большое значение имеет количество информации, подлежащее анализу. Поэтому измерение информации, играет большую роль в практической деятельности военного специалиста. В рассмотренном вопросе, мы убедились, что размеры информации могут определяться объемом, неопределенностью и сложностью описательных программ, и влияют на качество принимаемых решений.