3. Понятия: источник сообщений, алфавит и объем источника сообщений, непрерывные и дискретные сообщения, кодирование в широком и узком смысле.

Различают дискретные и непрерывные сообщения. Дискретные сообщения формируются путем выдачи отдельных элементов знака. Множество элементов – алфавит источника сообщений. Распространенный вид дискретных сообщений – данные. Непрерывные сообщения неразделимы на элементы описываются функцией времени, принимая бесконечное кол-во значений (речь). Непрерывные сообщения могут быть преобразованы в дискретные сигналы.

Информация поступает в систему в форме сообщений. Под сообщением понимают совокупность знаков или первичных сигналов, содержащих информацию. Источник сообщений в общем случае образует совокупность источника информации ИИ (исследуемого или наблюдаемого объекта) и первичного преобразователя ПП (датчика, человека-оператора и т.п). Различают дискретные и непрерывные сообщения. Дискретные сообщения формируются в результате последовательной выдачи источником отдельных элементов - знаков. Множество различных знаков называют алфавитом источника сообщений, а число знаков - объемом алфавита. В частности, знаками могут быть буквы естественного или искусственного языка, удовлетворяющие определенным правилам взаимосвязи. Распространенной разновидностью дискретных сообщений являются данные. Преобразование сообщения в сигнал, удобный для передачи по данному каналу связи, называют кодированием в широком смысле слова. Операцию восстановления сообщения по принятому сигналу называют декодированием. Для обеспечения простоты и надежности распознавания образцовых сигналов их число целесообразно сократить до минимума. Поэтому, как правило, прибегают к операции представления исходных знаков в другом алфавите с меньшим числом знаков, называемых символами. При обозначении этой операции используется тот же термин "кодирование", рассматриваемый в узком смысле. Устройство, выполняющее такую операцию, называют кодирующим или кодером.

4. Информационные характеристики источников сообщений и каналов связи.

Характеристики источников:

-количество информациии в сообщении.

-избыточность сообщений

-энтропия

-производительность источнка сообщений

Характеристики каналов:

-скорость передачи

-пропускная способность

5. Формула Хартли для количества информации источника дискретных сообщений. Энтропия источника дискретных сообщений (по к. Шениону).

Рассмотрим передачу дискретных сообщений. Имеется источник iс алфавитом А, который характеризуется объемом n (Хартли, 1928г) n–число символов в сообщении.

I=logN, (N=m) =>I=nlogmp=1\m, I=-nlogpIc = - logP -ФормулаХартлидля вероятности встречаемости символа в сообщении. а:ϵА =>вероятность встречаемости p(ai)

Ic = - logP(ai) - Формула Хартлидля конкретного символа (количества i) при разновероятностной встречаемости символов. Применив операцию усреднения по всему объему алфавита, получим среднее кол-во инфы, приходящиеся на один символ сообщения.

формула Шениона для энтропии источника дискретных сообщений. Энтропия рассматривается как мера неопреленностей поведений источника. Она обладает следующими свойствами: - длядискретных сообщений она вещественная величина (Real).

- для остальных сообщений она – вещественная, ограниченная, положительная, если с вероятностью 1(L)((непонятно как написано в конспекте)) всегда выбирается один и тот же символ.

- максимальная, если все символы источника появляются независимо с одинаковой верроятностью.

Способ измерения кол-ва инфы, предложенный Шенионом является обобщенным способом Хартли, на случай появления неравновероятностных независимых символов.

Из-за корреляционных связей между символами и неравномерного их появления в реальных сообщениях, уменьшается кол-во инфы, которое переносит 1 символ. Количественно эти потери характеризуют коэффициент избыточности r: , где – максимальное значение кол-ва инфы, которое может переносить 1 символ и которое переносит 1 символ в реальных условиях. Для европейских языков избыточность сообщений r≥0.5