
- •Тема 20 . Проверка статистических гипотез
- •1. Задачи статистической проверки гипотез
- •2. Статистическая гипотеза, статистический критерий
- •3. Проверка гипотезы об однородности двух или более
- •4. Проверка гипотез о законе распределения
- •5. Критерий согласия ( Критерия Пирсона)
- •6. Критерий Колмогорова
- •7. Критерий однородности Смирнова
- •8. Проверка гипотезы об однородности параметров распределений
- •8.1. Критерий Стьюдента (критерий)
- •8.2. Критерий Фишера (критерий)
- •Глава v1
- •Прикладные вероятностные теории
- •Тема 21. Основы теории информации
- •1. Энтропия как мера неопределённости
- •2. Характеристика (определение) количества информации
- •3. Основы теории измерений
- •4. Основы теории кодирования и передачи информации
- •4.1. Основные понятия, формирование экономичного кода алфавита
- •4.2. Определение характеристик канала передачи информации
- •5. Основы теории надежности
- •6. Определение количественных характеристик
4.2. Определение характеристик канала передачи информации
Из теоремы Шеннона следует, что если
по линии связи (или каналу передачи
информации) за единицу времени можно
передать L
элементарных сигналов, принимающих
различных
значений, то скорость передачи сообщений
по такой линии не может быть большей,
чем
(21)
Величина
(22)
,
не зависящая от самой линии связи, указывает наибольшее количество единиц информации, которое можно передать по данной линии за единицу времени, и называется пропускной способностью линии связи.
Выражения (21) и (22) характеризуют линию
связи без помех, т.е. идеализированную
линию. В отличие от нее линия связи с
помехами может быть математически
описана заданием не только
и
,
но
и
неотрицательных чисел
представляющих вероятность трансформации
элементарного сигнала
,
в сигнал
,
вызванную влиянием помех.
Пропускная способность линии связи с помехами:
(23)
где
(24)
Для дискретного канала с основаниемвеличина
,
что показывает неопределенность
некоторого опыта
.
При передаче информации об этом опыте
в результате действия помех возникает
дополнительная неопределенность
,
снижающая получаемую на выходе линии
связи информацию об этом опыте. Для
дискретного симметричного канала с
основанием
вероятность трансформации любого
символа:
(25)
а вероятность трансформации символа
,
в символ
( при
):
(26) .
Тогда вероятность прохождения символа
(при
):
(27)
а дополнительная неопределенность:
(28)
.
В этом случае
(29)
В частном случае, когда
(двоичный симметричный канал),
пропускная способность линии связи
(30)
Основная теорема о кодировании при наличии помех формулируется следующим образом:
Для любой линии связи с помехами всегда
можно подобрать специальный код,
позволяющий передавать сообщения по
этой линии с заданной скоростью, сколь
угодно близкой к
определённой формулой (21),так,
чтобы вероятность ошибки в определении
каждой переданной буквы оказалась
меньше любого заранее заданного числа
.
Из формул (21) и (30) следует, что скорость
передачи информации при
зависит от величины
и экономичности кода
.
В свою очередь, число
зависит
от величины и характера помех. Поэтому
при наличии помех и заданного
можно
достичь необходимой скорости передачи
информации путем ее соответствующего
кодирования.
Пример 8.
Определить влияние вероятности
трансформации символа
(влияние помех), характеристик
кодирования (
)
на пропускную способность линии связи
и скорость передачи сообщения, в
частности:
1)при
,
;
2)при
,
;
3)при
,
и
-
равномерный код,
-
код Шеннона-Фано.
Решение. Первую задачу решим на основании выражения (21), и результат представим в виде графика (рис. 2.9), вторую задачу - на основании (30) и графика (рис. 2.10).
Зависимость
при
(рис. 2.9) по Равномерный казывает, что с
увеличением основания кода пропускная
способность растет, однако при этом
усложняется схемная реализация.
Зависимость
при
(рис. 2.10) показывает, что уже при
пропускная
способность падает почти вдвое, а при
она
практически пропадает (при
).
Это вполне очевидно, поскольку при
равновероятном появлении сигнала 0 или
1 возникает полная неопределенность.
При дальнейшем увеличении
наблюдается симметричное возрастание
:
здесь вступает в силу инверсия 0 и 1.
Зависимости
приведены на (рис. 2.11), а расчетные
значения приведены в в таблице .
.
Скорость передачи сообщения
Вид кода |
Вероятность трансформации символа | ||||||
|
0, 01 |
0,1 |
0,25 |
0,5 |
0,75 |
0,9 |
1 |
Равномерный |
30,7 |
17,7 |
6,3 |
0 |
6,3 |
17,7 |
30,7 |
Шеннона-Фано |
40,0 |
23,0 |
8,3 |
0 |
8.3 |
23,0 |
40,0 |
Идеальный |
41,8 |
24,0 |
8,6 |
0 |
8,6 |
24, 0 |
41,8 |
