3. Информация как ключевое понятие информатики

Понятие информации является ключевым понятием информатики. Любая деятельность человека представляет собой процесс сбора и переработки информации, принятия на ее основе решений и их выполнения. С появлением современных средств вычислительной техники информация стала выступать в качестве одного из важнейших ресурсов научно-технического прогресса.

Информация содержится в человеческой речи, текстах книг, журналов, газет, сообщениях радио и телевидения, показаниях приборов и т.д. Человек воспринимает информацию с помощью органов чувств. Хранит и перерабатывает ее с помощью мозга и центральной нервной системы. Передаваемая информация обычно касается каких-то предметов или нас самих и связана с событиями, происходящими в окружающем нас мире.

Таким образом, понятие информации можно рассматривать как полученную в ходе переработки данных совокупность знаний (новых, ранее не известных сведений) об этих данных, зависимостях между ними, описывающая отраженное в данных наблюдаемое явление.

С понятием информации связаны такие понятия как сигнал, сообщение и данные.

Сообщение - это информация, представленная в определенной форме и предназначенная для передачи.

Данные - это информация, представленная в формализованном виде и предназначенная для обработки ее техническими средствами, например ЭВМ.

Сигнал представляет собой любой процесс, несущий информацию.

Каналом связи называется среда, по которой передаются сигналы. При устном разговоре сигналом является речь, а каналом связи — воздух, при радиопередаче музыки сигналом является звук, а каналом связи — электромагнитное поле и воздух, в нервной системе сигналом являются нервные импульсы, а каналами – нервные волокна.

Физическим носителем сигнала могут быть всевозможные виды материи, которые при передаче одного сигнала могут чередоваться. Например, при радиопередаче мысль, выражаемая словом, переданная за счет биоэлектрических импульсов голосовым мышцам, вызывая их сокращения, создает звуковой образ, который в результате колебания мембраны в микрофоне преобразуется в электрический импульс — сигнал, передаваемый на расстояние. При этом сигналы должны удовлетворять требованиям изоморфизма. Под изоморфизмом понимают такое соответствие физически различных явлений, при котором сохраняется, не искажается содержание передаваемого сообщения.

Нарушение изоморфизма приводит к искажению информации. Искажение сигналов, как вследствие нарушения изоморфизма, так и в результате внешних помех называют шумом.

Типичная схема передачи информации показана на рис.1.1.

Рис.1.1. Схема передачи информации

В зависимости от значения передаваемых сигналов их делят на осведомительные, сообщающие какую-либо информацию, и исполнительные, которые заключают какую-либо команду к действию. Различают сигналы дискретные и непрерывные. Примером дискретного сигнала является передача азбукой Морзе или передача цифр импульсами тока, примером непрерывного — изменение напряжения в цепи, соответствующее изменению температуры, изменение кровяного давления.

Всякое сообщение состоит из комбинации простых сигналов определенной физической природы. Полный набор таких сигналов называют алфавитом, один сигнал — буквой алфавита. Для передачи сообщения его следует описать с помощью какого-либо алфавита, иначе говоря, закодировать. Кодированием называется описание какого-либо сообщения с помощью определенного алфавита, т.е. установление однозначного соответствия между параметрами, характеризующими сигнал, и информацией. Перевод этого сообщения на другой алфавит называется перекодированием, расшифровка сообщения — декодированием.

Для передачи сообщений в хозяйственной и научной жизни кодирование производится человеком. Однако природой созданы естественные способы кодирования. Эти способы представляют огромный интерес для науки, например изучение способа кодирования наследственной информации о взрослом организме в зародышевой клетке. Применение кодирования позволяет использовать небольшой алфавит для передачи огромной информации. Оказалось, что любую информацию можно закодировать с помощью двух знаков (0,1). Такой код называется двоичным.

Передача любого сигнала связана с затратой энергии, однако количество передаваемой информации и тем более ее смысл не зависят от энергии сигнала. Более того, очень часто сигнал малой энергии передает сообщение, в результате которого может быть вызван процесс, связанный с огромной затратой энергии. Например, атомный взрыв может быть вызван нажатием кнопки-включателя соответствующего устройства, спокойная информация о чьем-либо неприглядном поступке может вызвать взрыв негодования.

В информатике не важно, какая энергия затрачена для передачи информации, но существенно, какое количество информации будет передано или может быть передано по тому или иному каналу связи. Для количественного подсчета информации следует отвлечься от смысла сообщения, аналогично тому, как для решения арифметического примера отвлекаются от конкретных предметов. Складывая, например 2 и 3, получаем 5, при этом несущественно, какие именно предметы складываем.

Как же вычисляется количество информации? Из определения информации следует, что она (информация) имеет смысл только тогда, когда уменьшает степень незнания, т.е. процесс извлечения информации связан с увеличением определенности наших сведений об объекте. Сообщение несет информацию, если из совокупности реально возможных событий указывается некоторое определенное. Например, читая историю болезни, врач получает информацию о болезнях данного пациента: из всего многообразия различных заболеваний выделены только те, которые перенес данный больной. Сообщение об уже известном не несет информации; так для грамотного человека не содержит информации утверждение, что после 15-го числа месяца наступает 16-е число.

Чем больше различных возможностей имеет событие, тем большую информацию о нем несет сообщение. Так, при однократном бросании игральной кости (6 граней) получают большую информацию, чем при бросании монеты (2 стороны), ибо первый случай имеет большее число равновозможных исходов, чем второй. Говорят, что количество информации изменяется в отношении, обратном вероятности.

Так как мерой неопределенности каких-либо событий является вероятность, то следует предположить, что количественная оценка информации связана с основными представлениями теории вероятностей. Действительно, современный метод подсчета информации основан на вероятностном подходе при рассмотрении систем связи и кодирования сообщений.

Рассмотрим метод подсчета количества информации, содержащейся в одном сообщении, предложенный Шенноном и используемый в современной теории информации. (Шеннон – американский математик, работавший по телефонным связям фирмы Белл).

Мера количества информации может быть найдена как изменение степени неопределенности в ожидании некоторого события. Предположим, что имеется k равновероятных исходов события. Тогда очевидно, что степень неопределенности одного события зависит от k: в случае k = 1 предсказание события является достоверным, т.е. степень неопределенности равна нулю; в случае большого k предсказать событие трудно, степень неопределенности велика.

Следовательно, искомая функция f(k) (мера количества информации или изменение степени неопределенности) должна быть равна нулю при k = 1 и при возрастании k возрастать т.е.:

1) f(1) = 0;

2) f(k) – монотонно возрастающая .

Кроме того, функция f должна удовлетворять еще одному условию. Допустим, что проводятся два независимых опыта, один из них имеет n равновероятных исходов, а другой — m равновероятных исходов. Естественно предположить, что неопределенность f(nm) совместного появления некоторого сочетания событий первого и второго опытов больше f(n) и f(m) по отдельности и равна сумме неопределенностей исходов каждого из опытов (аддитивность информации):

3) f (nm) = f(n) + f(m). (1)

Всем вышеупомянутым условиям соответствует логарифмическая функция:

f(k) = log_ak: log_anm = log_an + log_an. (2)

Кроме того, полученная функция удовлетворяет условиям log_a1=0 и возрастает при увеличении k.

Так как переход от одной системы логарифмов к другой в зависимости от основания сводится к умножению функции log_ak на постоянный множитель, то основание логарифмов решающей роли не играет и скажется лишь на выборе единиц количества информации.

Итак, будем считать функцию log_ak мерой неопределенности (количество информации) при k равновероятных исходах. Учитывая, что у рассматриваемого события имеется k равновозможных исходов, то вероятности каждого исхода равны между собой и вычисляются из классического определения вероятности: p₁ = p₂ = …= p_k = 1/k = р.

Так как неопределенность (количество информации) рассматриваемого события состоит из суммы неопределенностей (количества информации) всех возможных исходов этого события, то неопределенность каждого отдельно взятого исхода равна произведению его вероятности (т.е. 1/k) на количество информации:

. (3)

В опыте, имеющем исходы различной вероятности p₁, p₂, … p_k, мера неопределенности каждого отдельного исхода запишется согласно выражению (3): - p₁log_ap₁; - p₂log_ap₂ … - p_klog_ap_k , а мера неопределенности Н всего опыта — как сумма этих неопределенностей.

По аналогии с формулой термодинамической энтропии Н называется энтропией или информационной энтропией. Эту величину можно рассматривать как меру информации:

Н = - .

Исследуя на экстремум Н находим, что самой большой неопределенностью обладает событие с равновероятными исходами. Испытание в этом случае дает наибольшую информацию:

Н_max= − = log_ak , (4)

т.е. энтропия с равновозможными состояниями равна логарифму числа состояний.

В частном случае двух равновозможных событий количество информации, полученной при сообщении, равно:

Н_max= - = log_a2. (5)

Для выбора единицы количества информации положим a = 2. Тогда из (5) имеем:

Н = log₂2 = 1.

Это количество информации принимается за бит (т.е. бит – это информация, содержащаяся в сообщении об одном из двух равновероятных событий).

Пример: Подсчитать информацию, полученную при выпадении «1» в случае бросания игральной кости:

Н = log₂6 ≈ 2,6 бит

Таким образом, обобщая, можно сказать:

1) Мера количества информации – это изменение степени неопределенности системы в ожидании некоторого события

2) Степень неопределенности определяется числом возможных состояний системы и вероятностями этих состояний

3) В качестве меры априорного неопределенности системы, а, следовательно, и меры количества информации, используется характеристика, называемая энтропией

Н = - .