2. Свойства энтропии

1. Энтропия является неотрицательной вещественной величиной. Это так, поскольку вероятность лежит в интервале от 0 до 1, ее логарифм отрицателен, а значение –p_ilog p_iположительно.

2. Энтропия ограничена сверху значением 1.

3. Энтропия равна 0, только если одно из состояний имеет вероятность, равную 1 (полностью определенный источник).

4. Энтропия максимальна, когда все состояния источника равновероятны. При этом H_max(U_N) = log₂N.

5. Энтропия источника с двумя состояниями изменяется от 0 до 1, достигая максимума при равенстве их вероятностей.

6. Энтропия объединения нескольких независимых источников информации равна сумме энтропий исходных источников.

7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля, не учитывая содержательную сторону (семантику) состояний.

8. Энтропия как мера неопределенности согласуется с экспериментальными психологическими данными. Время безошибочной реакции на последовательность случайно чередующихся равновероятных раздражителей растет с увеличением их числа так же, как энтропия, а при переходе к неравновероятным раздражителям, среднее время реакции снижается так же, как энтропия.

3. Единицы количества информации

Бит – очень мелкая единица измерения количества информации. Более крупная единица – байт, состоящий из восьми битов. (Восьмибитный байт стал стандартным только с распространением системы IBM System360 (ЕС ЭВМ), до того в разных вычислительных системах использовались байты разного размера.)

Применяются и более крупные единицы:

Килобайт (Кбайт) – 1024 байт – 2¹⁰ байт

Мегабайт (Мбайт) – 1024 Кбайт – 2²⁰ байт

Гигабайт (Гбайт) – 1024 Мбайт – 2³⁰ байт

Терабайт (Тбайт) – 1024 Гбайт – 2⁴⁰ байт

Петабайт (Пбайт) – 1024 Тбайт – 2⁵⁰ байт

В качестве единицы количества информации можно было бы выбрать количество информации, содержащееся, например, в выборе одного из десяти равновероятных сообщений. Такая единица будет называться дит илидесятичной единицей.

4. Качество обслуживания

Качество обслуживания (Quality of Service, QoS) сетью потребителя ее услуг определяется, в основном, производительностью и надежностью. Производительность характеризуется следующими основными параметрами:

• Время реакции сети – интегральная характеристика сети с точки зрения пользователя – интервал времени между возникновением запроса пользователя к сетевой службе и получением ответа на этот запрос.

• Пропускная способность или скорость передачи данных – объем данных, переданных за единицу времени. Пропускная способность может, измеряться в битах в секунду (бит/c) или в пакетах в секунду. Различают среднюю, мгновенную и максимальную пропускную способность.

• Задержка доставки данных – время от передачи блока информации до его приема. Часто задержку передачи (вносимую каким-либо сетевым устройством) определяют как интервал времени между моментом поступления пакета на вход сетевого устройства и моментом появления его на выходе этого устройства. Обычно качество сети характеризуется максимальной задержкой передачи и вариацией задержки.

Надежность оценивается, среди прочих, следующими характеристиками:

• Коэффициент готовности – доля времени, в течение которого система может быть использована.

• Уровень ошибок – определяется как вероятность безошибочной передачи определенного объема данных. Например, вероятности 0,99999 соответствует 1 ошибочный бит на 100000 переданных битов. Для локальных сетей характерен уровень ошибок 1 на 10⁸-10¹² бит.

Максимальная скорость передачи для канала без шума (идеальный случай), согласно теореме Найквиста, составляет 2Hlog₂V, гдеH– пропускная способность,V– количество различаемых уровней сигнала.

Для реальных каналов (с шумом) максимальная скорость передачи определяется по теореме Шеннона: Hlog₂(1+S/N), гдеS/N– отношение мощности полезного сигнала с мощности шума (“отношение сигнал-шум”).