Пример 3.

Источник сообщений вырабатывает ансамбль символов

X =

Символы в последовательности статистически независимы.

Вычислить энтропию источника и определить избыточность.

Алфавит источника состоит из трех букв: x₁, x₂, x₃.

Определить энтропию на одну букву текста X⁽¹⁾ , X⁽²⁾ для следующих случаев:

а) буквы неравновероятны: p(x₁)=0,5; p(x₂)= p(x₃)=0,25, а символы в последовательности на выходе источника статистически зависимы. Условные вероятности p(x_j⁽²⁾/x_i⁽¹⁾) заданы в таблице

i – индекс предыдущей буквы	j – индекс последующей буквы
	1	2	3
1	0,4	0,2	0,4
2	0	0,6	0,4
3	0,3	0	0,7

б) вероятности букв те же, но символы независимы;

в) символы в последовательности независимы, а вероятности букв одинаковы.

Вычислить избыточность источника для случаев а) и б).

Задачи для самостоятельного решения.

С1. Алфавит русского языка состоит из 32 букв(если не различать е и ё, ь и ъ), включая промежуток между буквами. Вычислить энтропию однобуквенного текста, считая вероятности появления любой из букв в заданном месте текста одинаковыми.

С2. Источник вырабатывает ансамбль сообщений

X =

Символы в последовательности независимы. Вычислить энтропию источника и определить избыточность.

С3. Найти число значений m равномерно распределенной случайной величины Y, при котором ее энтропия будет равна энтропии случайной величины, заданной следующей таблицей:

xj	x1	x2	x3	x4	x5	x6	x7	x8
p(xj)	1/2	1/4	1/8	1/16	1/32	1/64	1/128	1/128

С4. Производится стрельба по мишени. Сделано 2 выстрела. Вероятность попадания при одном выстреле ½. Найти неопределенность исхода стрельбы (числа попаданий) по мишени.

С8. Выполнить задачу 3.7, если условные вероятности переходов p(x_j⁽²⁾/ x_i⁽¹⁾) заданы таблицей

i – индекс предыдущей буквы	j – индекс последующей буквы
	1	2
1	0,0	0,2	0,4	0,4
2	0,2	0,2	0,3	0,3
3	0,25	0,0	0,25	0,5
4	0,2	0,4	0,4	0,0

Безусловные вероятности букв x₁ … x₄ равны соответственно 0,5; 0,25; 0,125; 0,125.

С10. Система радиозонда измеряет давление. Барометр имеет 10 отметок шкалы, и его отсчеты могут изменяться до любого допустимого значения за 0,01 с. Связь между отсчетами отсутствует. Найти энтропию источника за 1 с, если показания барометра будут появляться со следующими вероятностями:

Отметка шкалы	0	1	2	3	4	5	6	7	8	9
Вероятность	0,05	0,05	0,05	0,05	0,1	0,2	0,3	0,1	0,05	0,05

Задачи на дом.

Д1. В двух урнах имеется по 15 шаров: в первой урне 5 красных, 7 белых и 3 черных; во второй соответственно 4, 4, 7. Из каждой урны вынимается по одному шару. Сравнить неопределенности исхода опытов для двух урн.

Д2. Алфавит источника сообщений состоит из двух букв x₁ и x₂ с вероятностями 0,6 и 0,4. в последовательности на выходе источника символы статистически зависимы. Условные вероятности переходов p(x_j⁽²⁾/ x_i⁽¹⁾) заданы следующей таблицей:

i – индекс предыдущей буквы	j – индекс последующей буквы
	1	2
1	0,2	0,8
2	0,7	0,3

Определить энтропию на один символ текста X⁽¹⁾ X⁽²⁾. Вычислить избыточность источника.

Д3. Символы азбуки Морзе могут появиться в сообщении с вероятностями: для точки – 0,51, для тире – 0,31, для промежутка между буквами – 0,12, между словами – 0,06. Определить среднее количество информации в сообщении из 500 символов данного алфавита, считая, что связь между последовательными символами отсутствует.

Д4. Измеряемое напряжение лежит в пределах 0¸6 В. Телеметрический датчик регистрирует приращение напряжения Du = 0,01В. Найти наибольшее среднее количество информации, получаемое за 10 независимых отсчетов.

Д5*. Вероятность того, что проводная линия выдержит испытание, уменьшается с увеличением ее длины L по экспоненциальному закону

p = exp (– L/ L₀), где L₀ = 200 км.

При какой длине линии исход испытания обладает наибольшей неопределенностью?

Д6*. Из многолетних наблюдений за погодой известно, что в некотором пункте А вероятность того, что 15 июня будет дождь, равна 0,4, а вероятность того, что осадков не выпадет, равна 0,6. Вероятность того, что будет дождь 15 ноября, равна 0,2, а вероятность того, что выпадет снег, равна 0,45. В какой из названных дней погоду в п. А следует считать более неопределенной, если:

а) интересоваться вопросом о наличии и характере осадков;

б) интересоваться вопросом только о наличии осадков.