2к4с Технологии обработки информации / ТОИ. КР для заочников

СОДЕРЖАНИЕ

2

1. ВЕРОЯТНОСТНЫЕ МОДЕЛИ В ЗАДАЧАХ ТЕОРИИ ИНФОРМАЦИИ

1.1. Случайные события. Вероятность

Событие - всякий факт, который в результате опыта может произойти

или не произойти. Вероятность события - это число, которое является мерой возможности реализации события. Вероятность P(A) случайного события A

Суммой или объединением событий называется событие A, которое

происходит тогда и только тогда, когда происходит, по крайней мере, одно из этих событий. Сумма обозначается

Произведением или пересечением событий A1 , A2 ,..., An называется такое событие A, которое происходит тогда и только тогда, когда происходят собы-

тия вместе. Произведение обозначается

События A1 , A2 ,..., An образуют полную группу событий, если в результате опыта появляется хотя бы одно из них:

n

Ai U .

i 1

События A и B называются несовместными, если их совместное появле-

ние невозможно: AB V.

Два события называются противоположными, если они несовместны и образуют полную группу. Событие, противоположное событию A, обознача-

ется A .

A A U , AA V .

3

Когда рассматриваемый опыт имеет N равновозможных исходов, кото-

рые несовместны и составляют полную группу, вероятность события А мож-

но рассчитать по формуле:

P( A) Nm ,

где m - число исходов, которые приводят к наступлению события A.

Частотой или статистической вероятностью P*(A) события A в данной серии испытаний называется отношение числа опытов n, в которых появилось событие, к общему числу N произведенных опытов:

P * ( A) Nn .

По теореме Бернулли при большом числе опытов частота сходится по вероятности к вероятности события.

Расчеты вероятности сложного события A через вероятности более про-

стых событий A1 , A2 ,..., An базируются на использовании основных теорем тео-

рии вероятностей.

Теорема сложения вероятностей. Вероятность суммы двух событий равна сумме вероятностей этих событий минус вероятность их произведения:

P(A B) P(A) P(B) P(AB).

Теорема умножения вероятностей. Вероятность совместного появле-

ния двух событий равна произведению вероятности одного из них на усло в-

ную вероятность другого при условии, что первое имело место:

P(AB) P(A) P(A / B) P(B) P(A / B),

группу. В этих случаях безусловная вероятность P(A) события A при извест-

ных вероятностях P(Bj ) и P( A / Bj ), j 1,n определяется по формуле полной ве-

роятности:

4

При этих же данных можно найти значения вероятностей событий Bj ,

если предположить, что событие A уже произошло. Задачи такого типа реша-

ются с помощью формулы Байеса:

Рассмотрим несколько примеров.

Пример 1. В последовательности из N двоичных символов имеется M

единиц. При передаче данной последовательности сохраняется n символов,

остальные теряются. Какова вероятность того, что среди них будет не более m

единиц?

Решение. Пусть A - событие, состоящее в том, что среди двоичных символов будет не более m единиц. Событие A произойдет тогда, когда среди n двоичных символов не будет ни одной единицы (событие A0 ) или одна еди-

ница (событие A1 ), или две (событие A2 ), . . ., или окажется m единиц (событие

Am ), т.е.

Вероятность P( Ak ) события Ak можно рассчитать следующим образом.

Общее число возможных выборов n символов из N равно числу сочетаний из

N по n, т.е. CNn . Благоприятствующими событию Ak являются случаи, когда из общего числа M единиц сохранено ровно K, что возможно в CMK случаях. На каждый из этих случаев в сохраненной последовательности символов может

5

Пример 2. По каналу связи с помехами передается одна из двух команд управления управления в виде кодовых комбинаций 11111 и 00000, вероятно-

сти передачи этих команд равны соответственно 0,7 и 0,3. Вероятность пр а-

вильного приема каждого из символов 0 и 1 равна 0,6. Символы искажаются помехами независимо друг от друга. На выходе канала имеем кодовую комби-

нацию 10110. Оценить, какая команда была передана.

Решение. Пусть A - событие, состоящее в приеме комбинации 10110.

Это событие может произойти только в совокупности с одним из событий: B1

- передавалась команда 11111, B2 - передавалась команда 00000. При этом

P(B1 ) 0,7, P(B2 ) 0,3.

Условная вероятность приема комбинации 10110 при условии, что пе-

редавалась команда 11111 равна

P(Bn ) P( A / BK )

K 1

Сравнивая найденные результаты, заключаем, что более вероятна передача команды 11111.

1.2. Дискретная и непрерывная случайные величины

Случайной величиной называется такая переменная величина, которая в результате опыта может принимать то или иное заранее неизвестное значение

, из известного множества значений X . Различают два основных типа слу-

чайных величин: дискретные и непрерывные.

Дискретная случайная величина может принимать конечное или беско-

нечное множество значений {x1}, которые можно пронумеровать i 1,2,...,n.

6

Полной статистической характеристикой случайной величины является

закон распределения вероятностей. В случае дискретной величины под ним понимается соотношение, устанавливающее зависимость между возможными значениями дискретной случайной величины и их вероятностями P(xi ) pi ,

Закон распределения дискретной случайной величины можно задать в различных формах: табличной, графической, аналитической. Универсальной характеристикой, одинаково пригодной для дискретных и для непрерывных одномерных случайных величин, является функция распределения вероятно-

стей F(x) (интегральная функция распределения), определяющая вероятность

P того, что случайная величина X примет значение меньше некоторого неко-

торого числа x :

F(x) P( X x).

Функция распределения обладает следующими свойствами:

Функция распределения дискретной случайной величины представляет

собой ступенчатую функцию со скачками в точках x1 , x2 , ...

Во многих ситуациях невозможно определить закон распределения слу-

чайной величины, часто в этом нет необходимости. В таких ситуациях рас-

сматривают отдельные параметры (числовые характеристики) этого закона.

Наиболее важными числовыми характеристиками случайной величины с множеством значений X {x1 ,x2 ,...,xn} и законом распределения вероятностей

P {p1 , p2 ,..., pn}

являются:

7

Возможные значения непрерывных случайных величин не могут быть заранее перечислены и непрерывно заполняют некоторый промежуток или даже всю ось. Функция распределения непрерывной случайной величины представляет собой непрерывную функцию.

Часто предполагают, что функции распределения непрерывных случай-

ных величин дифференцируемы во всей области возможных значений случай-

ных величин. При таком предположении непрерывная случайная величина X

чаще своего описывается плотностью распределения вероятности , кото-

рая иногда называется дифференциальным законом распределения или диф-

ференциальной функцией распределения. Плотность вероятности определяет-

ся как производная функции распределения:

p(x) dF(x) / dx.

Плотность вероятности обладает следующими основными свойствами: 1. Плотность вероятности неотрицательна, т.е. p(x) 0.

2. Вероятность попадания непрерывной случайной величины в интервал

(x1 , x2 ) равна интегралу от плотности вероятности в этих пределах:

3. Интеграл в бесконечных пределах от функции p(x) равен единице (ус-

ловие нормировки):

p(x)dx 1.

Для непрерывной случайной величины формулы для математического ожидания и дисперсии имеют вид:

8

Рассмотрим несколько примеров.

Пример 1. По двоичному каналу связи с помехами передаются две циф-

лучен в двух случаях: при передаче нуля или при передаче единицы, следова-

тельно, по формуле полной вероятности

P (0) P(0,0) P(1,0) P(0) P(0 / 0) P(1) P(0 / 1),

Пример 2. Производится прием символов 0 и 1 до первого появления символа 1. Вероятность появления 1 при приеме P(1) 0,4 . Принимается не более четырех символов. Вычислить математическое ожидание m, дисперсию

2 и среднеквадратическое отклонение величины числа принятых симво-

лов.

Решение. Распределение вероятностей можно рассчитать следующим

образом:

9

дящей через две точки с координатами (3,0) и (5,1). Используя уравнение пр я-

10