Понятие информации

Понятие информации является базовым в курсе теоретической информатики. Это означает, что оно не может быть определено через другие, более простые понятия. Кроме того, это понятие имеет общеупотребительное значение и используется в различных областях науки.

Слово «информация» происходит от латинского informatio – «сообщать сведения».

В общении людей между собой информация воспринимается именно как сведения, которыми можно поделиться друг с другом. Изобретение письменности позволило передавать информацию на большие расстояния (почта) и хранить ее длительное время (книги). Со временем человечество изобрело технические средства передачи, хранения и обработки информации. Проблемы, возникшие при создании этих средств, и поиски их решения привели к появлению теоретической информатики как науки об информации и ее свойствах.

Информация существует не только в человеческом обществе и технических системах, созданных человеком. В каждой клетке любого живого организма присутствует наследственная (генетическая) информация, закодированная в виде молекул ДНК. Фундаментальные физические принципы (законы термодинамики) вводят понятие энтропии, как меры беспорядка в любой физической системе, и информации, величины обратной энтропии, как меры упорядоченности физической системы.

Информация нематериальна. Она существует только вместе со своим физическим носителем. Уничтожение носителя означает уничтожение информации. Впрочем, информация может быть легко перенесена с одного носителя на другой. Соотношение между информацией и ее носителем такое же, как между понятием «число» и количеством реальных предметов. Имеются общие закономерности и свойства, присущие информации как таковой и не зависящие от ее конкретного носителя. Изучением этих общих закономерностей и свойств и занимается наука Теоретическая информатика.

Информационный процесс

Информационным процессом называют совокупность действий, производимых над информацией для получения необходимого результата. Информационные процессы подразделяют на сбор, хранение, передачу и обработку информации. Информационные процессы могут происходить в человеческом обществе, технических системах, в живой и неживой природе.

Сбор информации – получение новой информации, как правило, из окружающего мира при помощи органов чувств человека либо датчиков технических устройств.

Хранение информации – помещение информации на достаточно долговечный носитель с возможностью последующего чтения с этого носителя.

Передача/прием информации – перемещение информации на некоторое расстояние при помощи канала (среды) передачи информации. В данном случае канал (среда) передачи выступает своеобразным носителем информации, обеспечивающим ее распространение на некоторое расстояние.

Обработка информации – это перенос информации с одного носителя на другой, изменение способа ее представления (кодирование информации), а также получение новой информации из имеющейся (анализ информации).

Определение количества информации

Задача определения количества информации впервые возникла в результате изобретения технических средств передачи информации (электрический телеграф изобретен в середине XVIII века). Обычно формулировка этой задачи привязана именно к передаче сообщения по каналу связи при помощи некоторого алфавита.

Пусть у нас есть алфавит, состоящий из N символов (10 для цифр, 26 в английском алфавите, 32 в русском, если не считать букву Ё). Какое количество информации содержит сообщение, состоящее из одного символа такого алфавита? Из двух символов? Из K символов?

Первые попытки дать ответ на этот вопрос строились на количестве различных сообщений, которые можно передать таким образом. Чем больше вариантов сообщений можно построить из этих символов, тем больше информации несет одно такое сообщение. Пусть в нашем алфавите всего два символа А и Б. Тогда для сообщения из двух символов и нас есть 4 варианта: АА, АБ, БА и ББ. Значит, каждое сообщение несет в себе 4 «единицы» информации.

Такая мера информации была проста и понятна, но у нее имелись следующие недостатки. Во-первых, количество информации, полученной в двух последовательных сообщениях, оказывалось равно не сумме (как было бы логично предположить) а произведению количеств информации в каждом из этих сообщений. Во-вторых, оказывалось возможным передать ненулевое количество информации алфавитом из одного символа, хотя интуитивно понятно, что это невозможно. Если по каналу связи всегда приходит один символ А, то каждый очередной приход такого символа не несет в себе никакой информации.

В 1924 году Ральф Хартли предложил меру количества информации, с помощью которой оказалось возможно избавиться от обоих перечисленных недостатков. Он предложил в качестве меры количества информации взять логарифм от количества возможных вариантов сообщения.

Свойства логарифмической функции позволили получить требуемые свойства меры количества информации:

- количество информации в двух сообщениях равно сумме количества информации в каждом из них.

- количество информации, передаваемой алфавитом из одного символа, равно нулю.