Двоичные однопредметные явления

Событие	Антисобытие
Дождь идет	Дождь не идет
Снег идет	Снег не идет
Машина работает	Машина стоит
Лампа горит	Лампа погашена
Уровень достигнут	Уровень не достигнут

Двоичные двухпредметные явления

Случай 1.

Дождь

Идет Не идет

Случай 2.

Снег

Не идет Идет

Другой вид сообщений составляют двухпредметные двоичные явления, которые распадаются на четыре элементарных акта. Например:

1) дождь идет; 2) дождь не идет; 3) снег не идет; 4) снег идет.

Могут быть также исключающие друг друга события. Например, если выпал герб, то не может одновременно выпасть решка. Если в цепи установилось напряжение 100 В, то не может в той же цепи одновременно существовать напряжение 12 В.

Будем под событием далее понимать элементарное однопредметное явление, которое может быть с вероятностью от р=0 до р=1 или не быть с вероятностью от q= 1 –p= 1 доq= 1 –p= 0.

Когда р = 0,5 и q= 0,5, будет иметь место наибольшая неопределенность в ситуации.

События можно рассматривать как возможные исходы некоторого опыта, причем все исходы составляют ансамбль, или полную группу событий. Последняя характеризуется тем, что сумма вероятностей событий в ней равна единице

p₁ + p₂ + … + p_i + … +p_k= 1. (7)

Опытом может быть и измерение случайной величины Х, принимающей различные значения. Тогда каждое определяемое значение имеет смысл исхода или элементарного события.

Вообще событиями х₁, х₂, …, х_кмогут бытьквозможных дискретных состояний какой-либо физической системы, напримеркзначений измеряемой величины,кположений регулирующего органа, состояние к элементов производственного оборудования.

Этому соответствует приведенная ниже таблица, называемая схемой ансамбля.

Исходы опыта	А1	А2	…	Аi	…	Аk
Значения измеряемой величины	х1	х2	…	хi	…	хk
Вероятности исхода или значения	р1	р2	…	рi	…	рk

В простейшем случае эти события несовместимы. Они составляют полную группу, в которой обязательно реализуется одно из событий и имеет место условие

. (8)

В общем случае вероятности не остаются постоянными. Они могут изменяться во времени, в зависимости от условий и обстоятельств. Тогда и статические характеристики (среднее значение и дисперсия) становятся переменными величинами. Процессы, описываемые этими величинами, называются нестационарными в статистическом смысле.

Понятие энтропии

Неопределенность каждой ситуации характеризуется величиной, называемой энтропией.

Понятие энтропии распространилось на ряд областей знания.

Энтропия в термодинамике означает вероятность теплового сочетания вещества, в математике – степень неопределенности ситуации или задачи, в информатике она характеризует способность источника отдавать информацию.

Все эти понятия родственны между собой и в общем отображают степени богатства и неожиданности состояний.

Согласно второму закону термодинамики (Больцмана) энтропия замкнутого пространства выражается как

, (9)

где N– общее количество молекул в данном пространстве;n_i‑количество молекул скоростиv_i+v.

Но n_i/Nесть частоты событий и, следовательно, вероятности того, что молекулы имеют скоростьv_i+v:

n_i/N = p_i ,

тогда

(10)

Можно заменить lnнаlog₂, учитывая, чтоlog₂M= 1,44logM:

. (11)

Таким образом, энтропия, полученная разными способами, может различаться постоянным коэффициентом перед знаком суммы.

Все другие виды энтропии выражаются аналогичными формулами.