Часть 1. Вероятностные основы теории информации

Определение априорной и апостериорной вероятностей дискретного источника

Дискретные источники сообщений

Основные определения и оценка случайного события

Каждый объект или явление А характеризуется множеством сведений

a_i (просто сведениями):

A={a₁,a₂,…a_i_,…a_N} , N≤∞,

где │A│=N – мощность множества А, N=∞ – мощность бесконечного множества (континуума).

В процессе получения информации об объекте или явлении можно получить информацию об одном A_i={a_i} (элементарное сведение), нескольких A_r={a₁,a₂,…a_r}, r<N ( ) или сразу все сведения А о состоянии объекта или субъекта.

В общем случае сведения являются непредсказуемыми и называются случайными событиями.

Случайное событие – событие, которое при неоднократном воспроизведении одного и того же опыта протекает каждый раз по своему.

Исходя из этого, а_iназывают элементарным случайным событием,

A_i – случайным событием, A – множеством элементарных случайных событий. Если │А│>1, то событие А называется сложным событием.

Помни: А_i – простое событие, которое нельзя разложить на составляющие;

А_r – сложное событие, представленное в виде суммы элементарных событий.

События можно складывать, вычитать, перемножать.

Множество подмножеств А_rв пространстве событий А называется алгеброй событий F(A).

Пример 1.1. А = {1,2,3,4,5,6} – пространство исходов бросаний игральной кости, событие A₁={2,4,6} – выпадение четного числа очков (сложное событие), A₂={6} – выпадение числа 6 (элементарное событие).

Случайное событие оценивается числом, определяющим интенсивность этого события. Это число называется вероятностью события P(A_i). Вероятность элементарного события обозначают р_i.

Вероятность события есть численная мера степени объективности, возможности этого события. Чем больше вероятность, тем более возможно событие.

Событие А называется достоверным событием, если ; невозможным событием, если . Все остальные события имеют вероятность от 0 до 1.

События А и Ā называются противоположными, если А наступает тогда, когда не наступает Ā (например, выпадение четного и нечетного числа очков)

Событие А₁ и А₂называются несовместными, если не существует никакого исхода, общего для этих событий

Ø.

В рамках теории информации дискретные подмножества называются сообщениями, элементарные события – элементарными сообщениями. Источники, из которых получены эти сообщения, названы дискретными источниками сообщений.

Способы определения случайных событий

Для определения вероятностей случайных событий используют непосредственные и косвенные схемы подсчетов. При непосредственном подсчете различают априорную и апостериорную схемы подсчетов:

А). Априорная схема подсчетов – априорно (до опыта) подсчитывают число опытов m, в которых событие появилось, и общее число произведенных опытов n.

Б). Апостериорная схема подсчетов – апостериорно (после опыта) подсчитают число опытов m, в которых событие появилось, и общее число произведенных опытов n.

Косвенные схемы подсчетов – схемы, основанные на аксиоматической теории. Здесь события определяются как множества, над которыми можно осуществлять все теоретико-множественные операции.

Теория множеств является логическим фундаментом современной теории вероятности и была предложена в 1933 г. А.Н. Колмогоровым. Им сформулированы основные аксиомы теории вероятностей.

Аксиома 1. Поле событий F(A) является алгеброй множеств.

Эта аксиома указывает на аналогию теории множеств и теории вероятности.

Аксиома 2. Каждому множеству A_rиз F(A) поставлено в соответствие действительное число P (A_r), называемое вероятностью события A_r_.