10. Что подразумевается под объемом сигнала, канала?

Сигнал может быть охарактеризован различными параметрами, но для передачи каналу таких параметров всего три.

Под объемом сигнала понимают произведение:

где полоса частот сигнала;

время передачи сигнала;

динамический диапазон, выражающий превышение мощности сигнала над мощностью помехи и равный .

По аналогии вводится понятие объема канала:

где время, в течении которого канал предоставлен для работы (время использования канала)

полоса пропускания

динамический диапазон, равный , где максимальный дополнительный уровень в канале

Для того, чтобы сигнал мог быть передан по каналу, необходимо выполнение условий:

т.е. сигнал должен полностью умещаться в объеме . При этом, конечно, , однако только этого условия недостаточно. Тем не менее, если , но условия (1) не выполняются, сигнал может быть определенным образом преобразован, так что передача окажется возможной.

11. В каких единицах измеряется неопределенность выбора?

Главные свойства случайных событий – это создание неопределенности в исходных опытах. Неопределенность в различных опытах будет разной.

Исход имеет k равновероятных состояний. Неопределенность будет связана с числом k. Неопределенность растет, если растет число k.

По формуле Хартли

,

где N – возможное число состояний системы,

H – энтропия, неопределенность исхода опыта (количество передаваемой информации).

Чем меньше вероятность того или иного события, тем больше количество информации:

при i = 1..N.

С учетом того, что

расчет неопределенности осуществляется по формуле Шеннона:

Расчет количества информации:

Информация вычисляется в битах.

12. Назовите основной недостаток меры неопределенности, предложенной Хартли

Первое количественное определение информации принадлежит Хартли, который предложил высчитывать информацию как логарифм от общего количества исходов опыта (т.е., чем больше возможных исходов, тем больше информации может принести отдельный исход). . Основным недостатком определения Хартли было то, что он предлагал не различать исходы опыта, имеющие разные вероятности, относя различие между ними к несущественным "психологическим факторам". Тем не менее, оказалось, что учитывать эти факторы необходимо, поскольку интуитивно ощущалось, что редко и часто встречающийся символ могут нести различную информационную нагрузку. Недостаток определения Хартли спустя два десятилетия исправил математик К. Шеннон, который по праву считается основателем теории информации. Шеннон предложил меру неопределённости, равную произведению вероятности на её же логарифм: - p log p

13. Чем различаются понятия частного и среднего количества информации?

Взаимная частная информация I(y2,x2) двух случайных сигналов на выходе и входе канала связи относительно друг друга (т.е. количество информации о сигнале x2 источника в сообщение y2 приемника)

Условная частная информация I(x2/y2), содержащаяся в сообщении х2 источника при условии приема сообщение y2

Среднее количество информации I(y2,X) в принятом сообщении y2 относительно всех передаваемых сообщение X(x1,x2)

Среднее количество информации I(Y,X) в сообщении Y приемника о сообщениях X источника.