12.Вероятностный и алфавитный подходы к измерению информации. Единицы измерения информации. Скорость передачи информации. Пропускная способность канала связи.
1. Вероятностный подход. Подход к информации как мере уменьшения неопределенности знания позволяет количественно измерять информацию, что чрезвычайно важно для информатики. Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет одно из двух возможных событий — монета окажется в одном из двух положений: «орел» или «решка». Перед броском существует неопределенность наших знаний (возможны два события), и как упадет монета — предсказать невозможно. После броска наступает полная определенность, так как мы видим, что монета в данный момент находится в определенном положении (например, «орел»). Это приводит к уменьшению неопределенности наших знаний в два раза, поскольку из двух возможных равновероятных событий реализовалось одно.
Имеется формула, которая связывает между собой число возможных событий N и количество информации I:
По этой формуле легко определить число возможных событий, если известно количество информации. Так, для кодирования одного символа требуется 8 бит информации, следовательно, число возможных событий (символов) составляет:
Наоборот, для определения количества информации, если известно число событий, необходимо решить показательное уравнение относительно /. Например, в игре «Крестики-нолики» на поле 4*4 перед первым ходом существует 16 возможных событий (16 различных вариантов расположения «крестика»), тогда уравнение принимает вид:
16 = 2^i. Так как 16 = 2^4, то уравнение запишется как:
Таким образом, I = 4 бит, т.е. количество информации, полученное вторым игроком после первого хода первого игрока, составляет 4 бит.
2. Алфавитный подход. Исходя из вероятностного подхода к определению количества информации, набор символов знаковой системы (алфавит) можно рассматривать как различные возможные состояния (события). Тогда, если считать, что появление символов в сообщении равновероятно, по формуле можно рассчитать, какое количество информации несет каждый символ:
где N — количество знаков в алфавите, I — количество информации.
Информационная емкость знаков зависит от их числа в алфавите (мощности алфавита): чем больше их число, тем большее количество информации несет один знак.
Так, информационная емкость буквы в русском алфавите, если не использовать букву «ё», составляет:
.
Аналогично легко подсчитать, что каждый знак «алфавита» нервной системы (есть импульс, нет импульса) в соответствии с формулой несет информацию 1 бит, а каждый из четырех символов генетического алфавита — информацию 2 бит. В соответствии с алфавитным подходом количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на число знаков в сообщении.
*******************
1 бит — минимальная единица измерения информации, при вероятностном подходе к измерению информации, принятом в теории информации, это количество информации, уменьшающее неопределенность знаний в 2 раза.
Связь между единицами измерения информации: •* 1 байт = 8 бит,
• 1 Кб (килобайт) = 2ю (1024) байт = 213 бит;
• 1 Мб (мегабайт) = 210 (1024) Кб = = 2го (1048576) байт = 223 бит;
• 1 Гб (гигабайт) = 210Мб = 220 Кб = 230 байт =
= 233 бит;
• 1 Тб (терабайт) = 210 Гб = 220Мб = 230 Кб = = 240 байт = 243 бит.
При объемном подходе к измерению информации, характерном для компьютерной обработки данных, информативность сообщения определяется количеством символов, его составляющих.
Скорость передачи информации — скорость передачи данных, выраженная в количестве бит, символов или блоков, передаваемых за единицу времени. Теоретическая верхняя граница скорости передачи информации определяется теоремой Шеннона-Хартли.
Рассматривая все возможные многоуровневые и многофазные методы шифрования, теорема Шеннона-Хартли утверждает, что ёмкость канала C, означающая теоретическую верхнюю границу скорости передачи информации, которые можно передать с данной средней мощностью сигнала S через один аналоговый канал связи, подверженный аддитивному белому гауссовскому шуму мощности N равна:
где C— ёмкость канала в битах в секунду;
B — полоса пропускания канала в герцах;
S — полная мощность сигнала над полосой пропускания, измеренной в ваттах или вольтах в квадрате;
N — полная шумовая мощность над полосой пропускания, измеренной в ваттах или вольтах в квадрате;
S/N — отношение сигнала к шуму(SNR) сигнала к гауссовскому шуму, выраженное как отношение мощностей.
Бит в секунду - базовая единица измерения скорости передачи информации, используемая на физическом уровне сетевой модели OSI или TCP/IP. На более высоких уровнях сетевых моделей, как правило, используется более крупная единица — байт в секунду равная 8 бит/c.
В отличие от бодов (baud; при двоичном кодировании боды также обозначают количество бит в секунду), битами в секунду измеряется эффективный объём информации, без учёта служебных битов (стартовые/стоповые/чётность) применяемых при асинхронной передаче. В некоторых случаях (при синхронной двоичной передаче) скорость в бодах может быть равной скорости в битах в секунду.
В информатике определение пропускной способности обычно применяется к каналу связи и определяется максимальным количеством переданной или полученной информации за единицу времени.
Пропускная способность — один из важнейших с точки зрения пользователей факторов. Она оценивается количеством данных, которые сеть в пределе может передать за единицу времени от одного подсоединенного к ней устройства к другому.