1. Вводная часть

На последнем занятии, а это была лекция № 5, мы изучили фундаментальное понятие построения сетей ЭВМ - эталонную модель взаимосвязи открытых систем, используемые при ее построении многоуровневой подход и концепцию архитектуры открытых систем, вопросы стандартизации сетей, понятие и примеры построения стандартных стеков коммуникационных протоколов и тем самым завершили изучение темы № 1: «Архитектура сетей ЭВМ ».

Для проверки качества усвоения учебного материала лекции проведем контрольный опрос.

Контрольные вопросы:

1. Поясните сущность многоуровневого подхода.

2. Дайте определение протокола, интерфейса и стека коммуникационных протоколов.

3. Дайте общую характеристику эталонной модели взаимосвязи открытых систем.

4. Функции сетезависимых и сетенезависимых уровней модели сети.

5. На каких уровнях модели работают коммуникационные устройства сети?

6. Перечислите и поясните преимущества сетей, построенных с соблюдением принципов открытости.

Сегодня на занятии мы приступаем к изучению темы №2: « Основы теории информации » и рассмотрим тему:«Кодирование информации».

2. Основная часть

1.Общие понятия теории информации.

Количество информации. Пусть источник дискретной информации выдает символы из алфавита

,

где - объем алфавита (число символов источника) и известны априорные вероятности появления каждого символа.

Очевидно, что выполняется условие

.

За меру количества информации, содержащейся в переданном символе , принимается

На практике основание принимают, а за единицу количества информации – бит – это такое количество информации, которое содержится в сообщении о результатах одного из 2-х равновероятных событий.

Существуют различия в понятиях бит информацииибит данных.

Пример:

Пусть сообщение о признаке государственной принадлежности самолета кодируется: - свой,- чужой. Если вероятности обнаружения своего и чужого самолета одинаковы, то с точки зрения статистической теории информации одно полученное сообщение несет 1 бит информации, т.е.

, а с точки зрения структурной теории информации в сообщении илисодержится 3 двоичных разряда, т.е. 3 бита данных.

Мера количества информации имеет следующие свойства:

1. Сообщение о событии, результат которого достоверно известен получателю , не содержит информации, и его передача не имеет смысла

2. Если событийнезависимы и равновероятны, то информация, передаваемая одним сообщением составляет

Пример: Если передавать цифры с 1 до 10 и считать их независимыми и равновероятными, то одна цифра содержит следующее количество информации

.

3. Если источник выдает независимые сообщения, то информация, содержащаяся в 2-х сообщениях вычисляется по формуле:

, а для независимых сообщений

4. Чем меньше вероятность события , тем больше информации содержится в сообщениио нем.

5. Количество информации всегда положительно, т.к. .

Энтропия и избыточность сообщения. Энтропия источника информации с независимыми и равновероятными сообщениями есть среднее арифметическое количества информации сообщений

H = - sum P_k*log₂ P_k (1)

где k=1..N, P_k - вероятность появления k-го сообщения. Другими словами, энтропия есть мера неопределенности ожидаемой информации.

П р и м е р. Пусть имеем два источника информации, один передает двоичный код с равновероятным появлением в нем 1 и 0, другой имеет вероятность 1, равную 2^-10, и вероятность 0, равную 1-2^-10. Очевидно, что неопределенность в получении в очередном такте символа 1 или 0 от первого источника выше, чем от второго. Это подтверждается количественно оценкой энтропии: у первого источника H = 1, у второго приблизительно H = -2^-10*log₂2^-10 , т.е. значительно меньше.

Для двоичного источника информации, если символам приписаны вероятности p(0) = p и p(1) = 1-p, то согласно (1)

(2)

Выражение (2) называют функцией Шеннона. Функция S(p) обращается в единицу при р=0,5 и в нуль для р=0, р=1.

Отклонение энтропии Н от ее максимального значения называют избыточностью.

Коэффициент избыточности сообщения А определяется по формуле

r = (I_max - I)/I_max,

где I - количество информации в сообщении А, I_max - максимально возможное количество информации в сообщении той же длины, что и А.

Пример избыточности дают сообщения на естественных языках, так, у русского языка r находится в пределах 0,3...0,5.

Наличие избыточности позволяет ставить вопрос о сжатии информации без ее потери в передаваемых сообщениях.