2к4с Технологии обработки информации / ТОИ. КР для заочников
.pdf
0 |
x |
3, |
p(x) |
p(x) 1 / 2 |
при 3 |
x |
5, |
0 |
x |
5. |
0,5 |
|
|
|
График плотности вероятности p(x) пред-
ставлен на рис. 1.2.
3. |
P P(3,5 X |
4,5) F(4,5) F(3,5) (4,5 3) / 2 |
0 1 2 3 4 5 6 х |
|
(3,5 3) / 2 |
0,5. |
|
Рис. 1.2. Плотность вероятности
1.3. Задачи
1.3.1. Сообщения {x1 ,x2 ,x3 ,x4} источника, заданного распределением веро-
ятностей {p1 , p2 , p3 , p4 }, кодируются словами: {00},{01},{10},{11} соответственно.
Необходимо найти вероятность появления единицы в первой позиции кодово-
го слова при условии, что во второй позиции кодового слова появилась ед и-
ница; вероятность появления нуля во второй позиции кодового слова при ус-
ловии, что в первой позиции кодового слова появился нуль; вероятность по-
явления сообщения x2 при условии, |
что в первой позиции кодового слова |
|||||
появился нуль. Исходные данные: |
|
|
|
|
||
|
|
P1 |
0,2 |
0,005 |
N ; |
|
|
|
P2 |
0,3 |
0,005 |
N ; |
|
|
|
P3 |
0,1 |
0,01 N ; |
|
|
|
|
P4 |
0,4 |
0,01 |
N . |
|
1.3.2. Сигнал S подается на вход канала с вероятностью P 0,5 0,01 |
N. |
|||||
Поступивший сигнал воспроизводится на выходе с вероятностью P(S / S) |
0,8 |
|||||
|
|
|
0,2. При отсутствии сигнала на входе воз- |
|||
и теряется с вероятностью P(S / S ) |
||||||
можен ложный сигнал на выходе с вероятностью P(S 
/ S ) 0,3. Какова вероят-
ность правильного решения, если мы по сигналу на выходе считаем, что был сигнал на входе? Какова вероятность ошибки в этом случае? Какова вероят-
ность правильного решения, если мы при отсутствии сигнала на выходе, счи-
таем, что на входе его нет? Какова при этом вероятность ошибки?
1.3.3. По двоичной системе связи с помехами передается одна из двух команд в виде двоичных векторов x1 000или x2 111. Вероятность правиль-
11
ной передачи каждой координаты в системе равна q , причем координаты искажаются независимо друг от друга. На выходе зарегистрирована кодовая
комбинация y 001. P(x1 ) p, P(x2 ) 1 p . Определить правило решения о предпочтении команды x1 или x2 в виде соотношений p и q. Определить, какая команда передавалась для p=0,5+0,01N; q=0,7+0,01N.
1.3.4. Некоторый объект наблюдается с помощью двух станций слеже-
ния.
Известно, что объект может находиться в двух состояниях x1 и x2 , случайно переходя из одного в другое. Априори известно, что (50-А)% времени объект может находиться в состоянии x1 , а (50+А)% времени - в состоянии x2 . Станция слежения №1 передает ошибочные сведения о состоянии объекта в двух процентах случаев, а станция №2 - в восьми процентах. В некоторый момент
времени станция №1 приняла решение y1 , состоящее в том, что объект находится в состоянии x1 , а станция №2 - решение z2 , что объект находится в состоянии x2 . Определить, какое из решений y1 или z2 является более достоверным при A 10 N.
1.3.5. В двоичной системе связи под воздействием шума каждый из
входных символов изменяет независимым образом свое значение с вероятностью (1 q). Четыре статистически независимых сообщения могут передавать-
ся |
по системе с одинаковой вероятностью |
в |
|
виде |
кодовых векторов |
||||||||||||||||
x1 |
{0,0}; x2 |
{0,1}; |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x3 |
{1,0}; x4 |
{11,}. |
На выходе |
регистрируются |
сигналы: |
|
y1 {0,0}; y2 {0,1}; |
||||||||||||||
y3 |
{1,0}; y4 |
{11,}. Определить распределение вероятностей входного алфавита |
|||||||||||||||||||
Px |
и входного алфавита Py . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
1.3.6. Определить распределение вероятностей входных и выходных |
||||||||||||||||||||
сигналов системы. Дана матрица системы передачи информации |
|||||||||||||||||||||
|
|
|
p1 |
1 / 8 |
1 / 8 |
|
1 1 N 1 |
|
|
|
1 |
|
1 |
|
N 1 |
|
|||||
|
|
P(x, y) |
1 / 8 |
0 |
1 / 8 , p |
|
, p |
|
|
|
|
; |
|||||||||
|
|
1 |
|
|
|
|
|
|
2 |
|
|
|
|||||||||
|
|
|
|
|
|
8 8 N |
|
8 8 |
|
N |
|||||||||||
|
|
|
1 / 8 |
1 / 8 |
p2 |
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
12
1.3.7. Принимается последовательность из N двоичных символов. Сим-
волы поступают независимо. Вероятность появления единицы при приеме p.
Определить среднее число единиц в последовательности. Какова дисперсия
числа единиц в последовательности? |
|
|||||||
|
|
1.3.8. Полезный сигнал на входе канала связи имеет постоянное значение |
||||||
a. |
В |
канале |
присутствует |
помеха с |
нулевым математическим ожиданием |
|||
m( |
) |
0 и дисперсией 2 [n] |
2 . На выходе канала значение принимаемого |
|||||
сигнала y |
i |
a |
i |
фиксируется n раз. |
В качестве оценки a * входного сигнала |
|||
|
|
|
|
|
|
|
||
принимается среднее арифметическое зафиксированных значений выходного
сигнала a * |
Y |
1 n |
y |
. Определить математическое ожидание оценки и сред- |
||||
|
|
|||||||
|
CA |
n i 1 |
i |
|
|
|
|
|
|
|
|
|
|
|
|
||
неквадратичное отклонение оценки a * |
от истинного значения a находилась в |
|||||||
пределах 0,1. |
|
|
|
|
|
|
|
|
1.3.9. Плотность вероятности p(x) случайной величины X имеет вид |
||||||||
|
|
|
|
|
p(x) |
exp( |
|x|), |
x , |
где и |
- постоянные величины. Найти соотношение, которому должны |
|||||||
удовлетворять постоянные и |
. Вычислить функцию распределения F(x) |
|||||||
случайной величины |
|
X . Построить графики плотности вероятности p(x) и |
||||||
функции распределения F(x) при |
=2. |
|
|
|||||
1.4. Контрольные вопросы
1.4.1. Что такое случайное событие? Определите события: достоверное,
невозможное, противоположное, сумма событий, произведение событий,
полная группа событий.
1.4.2.Что такое вероятность?
1.4.3.Что такое условная вероятность? Каковы ее свойства?
1.4.4.Сформулируйте теорему умножения вероятностей.
1.4.5.Сформулируйте теорему сложения вероятностей.
1.4.6.Напишите формулу полной вероятности.
1.4.7.Напишите формулу Байеса.
13
1.4.8. Известны события A,B,C, причем A влечет за собой B. Определить:
AB, A+B, ABC, A+B+C.
1.4.9.Система состоит из четырех приемников с непересекающимися сферами. Длительность сигнала такова, что он не может быть одновременно обнаружен двумя приемниками. Найти связь событий: A - сигнал обнаружен системой, Ai ,i 1,4 - сигнал обнаружен i-м приемником.
1.4.10.Прибор состоит из двух блоков первого типа и трех блоков вто-
|
|
|
|
рого типа. |
Определены события: Ai ,i 1,2 - исправен i-й блок первого типа; |
||
B j , j 1,2,3 |
- исправен j-й блок второго типа. Прибор исправен, если работает |
||
хотя бы один блок первого типа и не менее двух блоков второго типа. Выра-
зить событие «Прибор работает» через события Ai и B j .
1.4.11. Что является полным описанием дискретной случайной величи-
ны?
1.4.12.Что такое математическое ожидание, дисперсия, средний квадрат дискретной величины?
1.4.13.Показать, что математическое ожидание суммы независимых случайных величин равно сумме математических ожиданий этих величин.
1.4.14.Показать, что математическое ожидание произведения независи-
мых случайных величин равно произведению матожиданий этих величин.
1.4.15. Доказать, что дисперсия суммы независимых случайных величин
равна сумме дисперсий этих величин.
1.4.16. Вывести расчетное соотношение для дисперсии 2 через матожи-
|
n |
|
|
|
дание m и средний квадрат |
2 |
xi2 pi m2 , где xi , i 1, N - возможные значе- |
||
|
i |
1 |
|
|
ния случайной величины; pi |
- вероятность этих значений. |
|||
1.4.17. Показать, что для среднеарифметического независимых случай-
ных величин ai , i 1, N , с одинаковыми средними m и дисперсиями 2 выпол-
няются соотношения |
m[a ] |
m2 [a ] 2 |
/ N . |
|
CA |
CA |
|
1.4.18. Как определяется плотность распределения вероятности непре-
рывной случайной величины?
14
1.4.19. Какими свойствами обладает плотность распределения вероятно-
сти непрерывной случайной величины?
1.4.20. Что такое математическое ожидание, дисперсия непрерывной
случайной величины?
15
2.ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА.
2.1.Количество информации и избыточность.
Дискретные системы связи - системы, в которых как реализации сооб-
щения, так и реализации сигнала представляют собой последовательности символов алфавита, содержащего конечное число элементарных символов.
Пусть 
и 
- случайные величины с множествами возможных значений
X |
x1 , x2 , ... , xn , Y |
y1 , y2 , ... , ym . |
|
|
|
|
Количество |
информации |
H ( ) |
при наблюдении |
случайной величины |
X |
{x1 , x2 , ... , xn } с распределением |
вероятностей P |
{p1 , p2 , ..., pn } задается |
||
формулой Шеннона: |
|
|
|
||
|
|
|
n |
|
|
|
|
H ( |
) |
pi log 1 / pi . |
|
|
|
|
i 1 |
|
|
Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.
При равномерном распределении p1 p2 
количество информации задается формулой Хартли:
|
|
|
|
|
H( ) |
log2 N . |
Справедливы следующие соотношения: |
||||||
1) |
0 |
H( ) |
log2 |
N; |
|
|
2) |
N |
2, p1 |
p2 |
0,5, |
H( ) 1; |
|
3) |
H( |
, ) |
H( ) |
H( |
), если и |
- независимы. |
Избыточностью называется p |
1 |
H( |
) / max H( ) 1 H( ) / log2 N. |
|||||||||||
Рассмотрим примеры. |
|
|
|
|
|
|
|
|
|
|
|
|
||
Пример 1. Имеются два источника информации, алфавиты и распреде- |
||||||||||||||
ления вероятностей которых заданы матрицами: |
|
|
|
|||||||||||
|
X |
|
x1 |
x |
|
, |
|
Y |
|
y1 |
y2 |
y3 |
|
. |
|
|
|
|
|
|
|||||||||
|
P |
|
p p |
|
|
Q |
|
q1 |
q2 |
q3 |
|
|||
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Определить, какой источник дает большее количество информации, если
16
1) p1 p2 ; q1 q2 q3 ; 2) p1 q2 ; p1 q2 q3 ;
Решение. Для первого источника при равновероятном распределении воспользуемся формулой Хартли. Для 
X и 
Y имеем
|
|
|
|
|
|
|
|
|
H( |
) |
log2 2 |
1 |
|
H( |
) H( ). |
|
|
|||||||
|
|
|
|
|
|
|
|
|
H( |
) |
log2 3 |
1 |
|
|
|
|||||||||
|
|
|
|
Следовательно, источник с тремя символами дает большее количество |
||||||||||||||||||||
информации. Для второго случая воспользуемся формулой Шеннона: |
||||||||||||||||||||||||
H( |
) |
|
p1 log2 1 / p1 |
p2 log2 ; с учетом условия задачи имеем p1 |
q1 ; p2 q2 q3 ; |
|||||||||||||||||||
|
|
|
|
H( |
) q1 log2 1 / q1 |
|
|
q2 log2 1 / (q2 |
q3 ) |
q3 log2 1 / (q2 |
q3 ). |
|||||||||||||
С другой стороны, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
H( ) |
q1 log2 1 / q1 |
q2 log2 1 / q2 |
q3 log2 1 / q3 . |
|
|||||||||||||||
Поскольку |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
1 |
|
|
|
1 |
, |
|
|
1 |
|
|
|
1 |
, то H( ) |
H( ). |
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
q2 |
q3 |
|
q2 |
|
|
|
q2 |
q3 |
|
q3 |
|
|
|
|
||||
|
|
|
|
Пример 2. |
Источник сообщений выдает символы из алфавита A ai , |
|||||||||||||||||||
|
|
|
|
с вероятностями |
|
|
|
|
|
|
|
0,1. Найти количество ин- |
||||||||||||
i |
1,4 |
p1 |
0,2; |
p2 |
0,3; |
p3 |
0,4; |
p4 |
||||||||||||||||
формации и избыточность. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
Решение. По формуле Шеннона |
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
H(A) |
0,2 log2 0,2 |
0,3log2 0,3 |
0,4 log2 0,4 |
0,1log2 0,1 |
1,86 (бит). |
|||||||||||||||
По определению избыточности |
|
|
1 |
H(A) / log2 4 |
0,07. |
|
||||||||||||||||||
2.2. Энтропия непрерывных сообщений
Непрерывные системы передачи информации - системы, в которых как
реализации сообщения, так и реализации сигнала на конечном временном ин-
тервале (0, T ) представляют собой некоторые непрерывные функции времени.
Пусть x(t) - реализации непрерывного сообщения на входе какого-либо блока схемы связи, y(t) - реализация выходного сообщения (сигнала), p(x) -
плотность вероятности ансамбля входных сообщений, p( y) - плотность веро-
ятности ансамбля выходных сообщений
17
Формулы для энтропии |
H непрерывных сообщений получаются путем |
||||||||||||||||||||||||||||||||||||||||||||||||
обобщения формул для энтропии дискретных сообщений. Если |
x - интервал |
||||||||||||||||||||||||||||||||||||||||||||||||
квантования (точность измерения), то при достаточно малом |
x энтропия не- |
||||||||||||||||||||||||||||||||||||||||||||||||
прерывных сообщений |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
H1 (X ) |
p1 (x) log p1 (x)dx |
|
log |
|
x p1 (x)dx |
|
H(X ) |
|
|
|
log |
x |
p1 (x) log p1 (x) x dx, |
||||||||||||||||||||||||||||||||||||
где H(X ) |
|
p1 (x) log p1 (x)dx. По аналогии H(Y) |
|
|
|
|
|
p1 ( y) log p1 ( y)dy. |
|||||||||||||||||||||||||||||||||||||||||
Пример 1. По линии связи передаются непрерывные амплитудно- |
|||||||||||||||||||||||||||||||||||||||||||||||||
модулированные сигналы x(t), |
распределенные по нормальному закону с ма- |
||||||||||||||||||||||||||||||||||||||||||||||||
тематическим ожиданием m |
0 и дисперсией |
|
2 |
2 |
|
|
|
8B 2 . |
|
|
|||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
x |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x |
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Определить энтропию H(X ) |
сигнала при точности его измерения |
||||||||||||||||||||||||||||||||||||||||||||||||
x 0,2B. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Решение. По условию плотность вероятности сигнала x(t) |
|
||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
2 |
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
p(x) |
|
|
|
|
|
|
|
|
|
|
|
e x |
/ 2 |
|
, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
H(X ) |
|
|
p(x) log p(x)dx |
|
log |
|
x |
1 |
|
|
p(x) ln p(x)dx |
|
log |
x |
||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||
|
|
|
|
ln 2 |
|
||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
1 |
|
p(x) ln |
|
1 |
|
|
|
x 2 |
|
dx |
log |
x |
|
|
1 |
|
|
|
ln |
|
1 |
|
|
|
|
1 |
|
log x |
||||||||||||||||||||
|
ln 2 |
|
|
|
|
|
2 |
2 |
|
|
ln 2 |
|
|
|
|
|
|
|
|
2 |
|
||||||||||||||||||||||||||||
|
2 |
|
|
2 |
|
|
|
||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 e |
2 |
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
ln |
2 |
|
e |
|
2 |
|
|
|
log |
|
x |
log |
|
|
|
|
|
|
. |
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
ln 2 |
|
|
|
|
|
|
|
|
|
|
|
x |
|
|
|
|
|||||||||||||||||||||||
Подставляя числовые значения, получаем |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
H( X ) |
log |
|
|
|
|
2 e8 |
5,87 |
дв. ед. |
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
0,2 |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
2.3. Задачи |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
2.3.1. Определить энтропию источника информации |
A , |
передающего |
|||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||
сообщения Ai , i |
1,4. Вероятность сообщений определяются по формулам: |
||||||||||||||||||||||||||||||||||||||||||||||||
p1 |
0,2 |
0,005N; |
|
|
p2 |
0,3 |
|
0,005N; |
p3 |
0,1 |
|
|
|
0,01N; p4 |
0,4 |
0,01N; |
|||||||||||||||||||||||||||||||||
18
Известно, что в сообщении источника 100 символов. Определить,
сколько символов потребуется для передачи этой информации при использо-
вании безызбыточного алфавита той же размерности; 2.3.2. На выходе источника сообщений может появляться нуль и едини-
ца. Вероятность появления каждого сообщения изменяется со временем и в каждый момент времени может быть определена по формулам:
p(1) |
0,9 |
0,02( N |
1) |
0,1t; |
p(0) |
0,1 |
0,02( N |
1) |
0,1t. |
Необходимо исследовать изменение энтропии источника информации во времени и определить момент времени, когда математическая модель опыта теряет смысл. Энтропия источника сообщений вычисляется в соответствии с формулой Шеннона. Все вычисления сводятся в таблицу:
|
|
|
|
|
Таблица 2 |
|
|
|
|
|
|
t |
P(0) |
P(1) |
H(0) |
H(1) |
H |
|
|
|
|
|
|
|
|
|
|
|
|
Значения t задаются целыми числами через равные промежутки време-
ни t 0,1,2,...
Математическая модель опыта имеет смысл, когда выполняются соот-
ношения для вероятностей p(1) p(0) 1; 0 p(0) 1; 0 p(1) 1.
Значения t , при котором эти соотношения перестают выполняться, и
есть момент времени, когда модель опыта теряет смысл.
После заполнения таблицы результатами вычислений следует построить графики изменения H(0), H(1), H.
При анализе графиков обратить внимание на точку, где энтропия при-
нимает наибольшее значение и наименьшее значение. Указать значения веро-
ятностей появления символов в этих точках и моменты времени.
2.3.3. Определить значение энтропии H(x) по заданным аналитическим выражениям плотности вероятности p1 (x) :
1) для равномерного (прямоугольного) закона распределения:
19
1 |
|
, a |
x b , |
|
|
||
b |
a |
||
0, x |
|
a, x |
b |
2) для Гауссовского (нормального) закона распределения:
1 |
|
exp |
(x |
m)2 |
, |
||
|
|
|
2 |
2 |
|||
2 |
|||||||
|
|
|
|||||
3) для Симпсоновского (треугольного) закона распределения:
0, x |
a, |
|
|
|
|
|
|
|
4(x |
a) |
, a |
x |
b |
a |
, |
||
(b |
a)2 |
|
2 |
|||||
|
|
|
|
|
|
|||
4(b |
a) |
, |
a |
b |
x |
b, |
||
(b |
a)2 |
|
2 |
|
||||
|
|
|
|
|
|
|||
0, x |
b. |
|
|
|
|
|
|
|
2.4. Контрольные вопросы
2.4.1.Дать определение энтропии.
2.4.2.Как связаны между собой формулы Хартли и Шеннона?
2.4.3.Может ли энтропия быть отрицательной?
2.4.4.В каких случаях энтропия равна нулю?
2.4.5.При каких условиях энтропия принимает максимальное значение?
2.4.6.В чем состоит правило сложения энтропий для независимых ис-
точников?
2.4.7.Что понимают под непрерывными системами передачи?
2.4.8.Как определить количество информации непрерывных сообще-
ний?
20