1. Дифференциальный; 2) интегральный;

3) Плотность вероятностей.

16. Закон распределения w(x)=dF(x)/dx, определяемый дифференцированием функции распределения F(x), называют:

1. Дифференциальный; 2) интегральный; 3) числовой.

17. Особое место среди вероятностных характеристик случайных величин занимает нормальный дифференциальный закон распределения (плотность вероятностей)

(где σ² – дисперсия, а – среднее значение, σ – среднеквадратическое отклонение) представлен на рис. 2.4, для a=0

Рис. 2.4.

Значение интегральной функции распределения

при x₁=0, x₂=∞ равно:

1. 1; 2) 0,5; 3) 0.

18. при x₁=-∞, x₂=+∞ равно:

1. 0; 2) 0,5; 3) 1.

19. при x₁=-∞, x₂=0 равно:

1. 1; 2) 0; 3) 0,5.

20. Числовая характеристика случайной величины x, определяемая как начальный момент 1-порядка по формуле

(где ω(x) плотность вероятностей)

называют:

1. среднеквадратическое отклонение; 2)среднее значение;

3) дисперсия.

21. Числовая характеристика случайной величины x определяемая как центральный момент 2-го порядка по формуле:

(где m₁(x) – среднее значение, ω(x) – плотность вероятностей)

называют:

1. среднеквадратическое отклонение; 2) среднее значение;

2. дисперсия.

22. Числовая характеристика случайной величины x, определяемая как корень квадратный из центрального момента второго порядка по формуле:

(где m₁(x) – среднее значение, w(x) – плотность вероятностей) называют:

1. дисперсия; 2) среднеквадратическое отклонение;

3) математическое ожидание.

23. Числовая характеристика случайного процесса x(t), определяющая меру статистической связи между значениями случайного процесса в два разных момента времени x(t₁) и x(t₂), определяемая по формуле:

(где W₂(…) – двумерная плотность вероятностей) называют функцией:

1. времени; 2) корреляции; 3) интегральной.

24. Интервал τ₀ на рис. 2.5, где показана нормированная корреляционная функция ρ_x(τ)

(где B_x(τ) – функция корреляции)

называют:

1. интервалом корреляции; 2) интервалом независимости;

3) интервалом стационарности.

3. Количественная оценка информации.

3.1 Энтропия, как мера неопределенности выбора независимых сообщений дискретного источника [1,2,3,4 и др.].

В данном разделе ставятся задачи установления количественных мер неопределенности и информации и выяснения их основных свойств для дискретного источника.

Начнем рассмотрение с источника информации, который может в каждый момент времени случайным образом принять одно из конечного множества возможных состояний. Такой источник называют дискретным источником информации. При этом принято говорить, что различные состояния реализуются вследствие выбора их источником. Каждому состоянию источника x ставится в соответствие условное обозначение в виде знака (в частности, буквы) из алфавита данного источника: x₁, x₂, …, x_N.

Для получения результата выбора источником конкретного состояния x можно высказать ряд предположений, базирующихся на априорных сведениях об источнике информации. Поскольку одни состояния выбираются источником чаще, а другие реже, то в общем случае он характеризуется ансамблем X, т.е. полной совокупностью состояний с вероятностями их появления, составляющими в сумме единицу:

или (3.1)

причем

или

Обе формы записи используются в дальнейшем на равных основаниях.

Опираясь на эти сведения, введем сначала меру неопределенности выбора состояния источника. Ее можно рассматривать и как меру количества информации, получаемой при полном устранении неопределенности относительно состояния источника. Мера должна удовлетворять ряду естественных условий. Одним из них является необходимость выбора, т.е. числа возможных состояний источника N, причем недопустимые состояния (состояниями с вероятностями, равными нулю) не должны учитываться, так как они не меняют неопределенности.

Ограничиваясь только этим условием, за меру неопределенности можно было бы взять число состояний, предположив, что они равновероятны. Однако такая мера противоречит некоторым интуитивным представлениям. Например, при N=1, когда неопределенность отсутствует, она давала бы значение, равное единице. Кроме того, такая мера не отвечает требованию аддитивности, состоящему в следующем.

Если два независимых источника с числом равновероятных состояний N и M рассматривать как один источник, одновременно реализующий пары состояний n_im_j, то естественно предположить, что неопределенность объединенного источника должна равняться сумме неопределенностей исходных источников. Поскольку общее число состояний объединенного источника равно NM, то искомая функция должна удовлетворять условию

(3.2)

Соотношение (3.2) выполняется, если в качестве меры неопределенности источника с равновесными состояниями и характеризующего его ансамбля x принять логарифм числа состояний:

(3.3)

Тогда при X=1 H(X)=0 и требование аддитивности выполняется.

Указанная мера была предложена американским ученым Р. Хартли в 1928 г. Основание логарифма не имеет принципиального значения и определяет только масштаб или единицу неопределенности. Так как современная техника базируется на элементах, имеющих два устойчивых состояния, то обычно выбирают основание логарифма равным двум. При этом единица неопределенности называется двоичной единицей или битом и представляет собой неопределенность выбора из двух равновероятных событий (bit – сокращение от англ. binary digit – двоичная единица). Если основание логарифма выбрать равным десяти, то неопределенность получим в десятичных единицах на одно состояние (дитах).

Однако ясно, что такая оценка меры неопределенности учитывает не все априорные сведения, характеризующие опыт X. В этой оценке меры неопределенности не учтены вероятности различных исходов.

Дальнейшее развитие понятия неопределенности получило в работах К. Шеннона. Он ограничил рамки применимости формул Хартли лишь случаем, когда все N исходов в опыте X равновероятны. В этом случае вероятность любого исхода p_i=1/N и формулу (3.3) можно переписать в виде

(3.4)

Формула показывает, что неопределенность исхода зависти от вероятности исхода. К. Шеннон применил эту формулу к разновероятным исходам, усреднив затем полученные неопределенности по всем исходам. Для опыта X={x₁, …, x_m}, где x₁, …, x_m – возможные исходы с вероятностями p₁, …, p_m, неопределенность каждого исхода –log(p₁), -log(p₂), …, -log(p_m), а математическое ожидание

(3.5)

Данная мера неопределенности получила название энтропии.

Заметим, что под опытом X мы можем принимать информативный параметр сигнала. Поэтому, говоря об энтропии опыта со случайными исходами, мы с полным правом можем говорить и об энтропии сигнала как о мере его неопределенности до получения конкретной реализации сигнала.

Следовательно, мера К. Шеннона является обобщением меры Хартли на случай ансамбля с неравновероятными состояниями. Она, энтропия, позволяет учесть статистические свойства источника информации.

Понятие энтропии тесно связано с понятием количества информации. Под количеством информации обычно понимается мера снятой неопределенности в процессе получения сигнала адресатом.

Предположим, что априорно ситуация характеризовалась энтропией H₁. После получения сигнала энтропия уменьшилась до H₂. Тогда количество информации, полученное адресатом,

(3.6)

Пример 3.1. Сравнить неопределенность, приходящуюся на букву источника информации, Х (алфавита русского языка), характеризуемого ансамблем, представленным в табл. 3.1,с неопределенностью, которая была бы у того же источника при равновероятным использовании букв.

При одинаковых вероятностях появления всех 32 букв алфавита неопределенность ,приходящаяся на одну букву, составляет

Буква	Пробел	о	е, ё	а	и	т	н	с	р	В	л
Вероятность	0,175	0.090	0,072	0,062	0,062	0,053	0,053	0.045	0,040	0,038	0,035
Буква	к	м	д	п	у	я	ы	з	ь, ъ	Б	г
Вероятность	0,028	0,026	0,025	0,023	0.021	0,018	0,016	0,016	0,014	0,014	0,013
Буква	ч	й	х	ж	ю	ш	ц	щ	э	Ф
Вероятность	0,012	0,010	0,009	0,007	0,006	0,006	0,004	0,003	0,003	0,002

таблица 3.1

Энтропию источника H₁(X) для независимых букв (табл. 3.1), находим, используя формулу (3.5):

Пример 3.2. Приводятся значения энтропий H_i,приходится на одну букву русского и английского алфавитов с учетом различных корреляционных (статистических) связей в буквенных сочетаниях (H₀, H₁, H₂, …, H_N). Вероятность появления букв в английском алфавите приведены в таблице 3.2.

таблица 3.2

Буква	Пробел	e	t	o	a	n	i	r	s	h
Вероятность	0,2	0,105	0,072	0,0654	0,063	0,059	0,055	0,054	0,052	0,047
Буква	d	l	c	f	u	m	p	y	w	g
Вероятность	0,035	0,029	0,023	0,0225	0,0225	0,021	0,0175	0,012	0,012	0,011
Буква	b	v	k	x	j	q	z
Вероятность	0,0105	0,008	0,003	0,002	0,001	0,001	0,001

Значения энтропии H_i, приходящихся на одну букву с учетом различных многобуквенных сочетаний (H₂, H₃, …, H_N – энтропия на букву текста при учете вероятности появления двухбуквенных H₂, трехбуквенных H₃, …, H_N сочетаний) приведены в таблице 3.3

таблица 3.3

Энтропия	H0	H1	H2	H3	H5	H8
Русский текст Английский текст	5,00 4,75	4,35 4,03	3,52 3,32	3,00 3,10	– 2,16	– 1,86

Таким образом, энтропия приходящаяся на одну букву смыслового текста при учете многобуквенных сочетаний уменьшается. Это характеризует избыточность наиболее распространенных языков. Во многих случаях выгодно первоначальный алфавит источника представить при помощи другого алфавита путем кодирования.