Статрадиофизика%202015

информации, приходящегося на один символ принятого сигнала, определяется на множестве распределений вероятностей между символами 1 .

Пропускная способность дискретного канала без помех определяется следующей формулой:

Пропускная способность дискретного симметричного канала с помехами определяется следующей формулой:

где P – суммарная вероятность ошибки.

Пропускная способность дискретного двоичного симметричного канала с помехами при этом вычисляется по формуле:

7.2Задачи

7.2.1Лектор в среднем произносит около сорока шестибуквенных слов в минуту. Рассматривая его как источник дискретных сообщений, определить его производительность. Для простоты принять, что все буквы алфавита равновероятны и статистически независимы.

Ответ: ( ) = 20 бит/с.

7.2.2 Источник сообщений выдает символы из ансамбля = { } (здесь i =

=1, 2, 3, 4) с вероятностями ( 1) = 0,2; ( 2) = 0,3; ( 3) = 0,4; ( 4) = 0,1.

Вычислить энтропию и избыточность заданного источника.

Ответ: ( ) = 1,86 бит/символ, = 0,07.

7.2.3 Источник вырабатывает 3 различных символа 1, 2, 3 с

соответственными вероятностями 0,5; 0,3 и 0,2. Заданы возможные длительности

символов: 10 с, 4 с, 2 с.

Определить максимальную скорость передачи информации.

41

= 0,384 бит/с.

7.2.4 Найти, при каких значениях вероятностей появления 0 и 1

достигается максимальная скорость передачи информации по бинарному каналу,

если длительность передачи 0 – 0,2 с, а 1 – 0,8 с.

Ответ: 1 = 0,275; 0 = 0,725.

7.2.5 Чему равна пропускная способность симметричного канала, если источник вырабатывает со скоростью 2 знака в секунду сообщения,

закодированные кодом с основанием 10, а вероятность ложного приема – 0,03?

Ответ: п = 6,064 бит/с.

7.2.6 Чему равна скорость передачи информации по каналу связи,

если известно, что на выходе источника сообщений символы вырабатываются со скоростью 50 знаков в секунду?

Ответ: = 41,7 бит/с.

7.2.7 Передаваемые сообщения состоят из алфавита А, В, С. Вероятности появления символов алфавита в сообщениях А = 0,2; В = 0,3; С = 0,5.

Влияние помех в канале связи задано через условные вероятности (А/А) =(В/В) = (С/С) = 0,97; (В/А) = (С/А) = (А/В) = (С/В) = (А/С) =(В/С) = 0,015.

Чему равна скорость передачи информации, если на выходе источника сообщения создаются со скоростью 10 знаков в секунду?

Ответ: = 12,76 бит/с.

7.2.8 Сообщения составлены из алфавита А, В, С. Вероятности появления символов алфавита А = 0,7; В = 0,2; С = 0,1. Помехи в канале связи заданы следующей канальной матрицей:

42

0,98 0,01 0,01( / ) = ( 0,1 0,75 0,15).

0,2 0,3 0,5

Определить скорость передачи информации, если среднее время передачи одного символа – 0,02 с.

Ответ: = 32,8 бит/с.

7.2.9 В памяти ПК накоплено 106 бит количества информации. Для ее передачи используют бинарную симметричную линию связи. Техническая скорость передачи равна 500000 бит/с, а вероятность ошибки – 0,0035.

Найти минимальное время передачи накопленной в ПК информации.

Ответ: = 2,07 с.

7.2.10 По каналу связи передается сообщение, формируемое из восьми символов с вероятностями появления ( 1) = ( 2) = 0,2; ( 3) = ( 4) = 0,15; ( 5) = ( 6) = 0,1; ( 7) = ( 8) = 0,05. Канал имеет полосу пропускания, позволяющую передавать элементы сообщения со средней длительностью 0,5 мс. Шум в канале отсутствует.

Определить пропускную способность канала и скорость передачи информации.

Ответ: п = 2000 символов/с, = 5700 бит/с.

43

8.ОПТИМАЛЬНОЕ КОДИРОВАНИЕ

8.1Основные понятия и расчетные формулы

Оптимальное (эффективное) кодирование сообщений для передачи их по дискретному каналу базируется на теоремах Шеннона:

1. Если производительность источника сообщений

где – сколь угодно малое положительное число, а п – пропускная способность канала, то существует такой код, при котором вероятность ошибки на приемном конце сколь угодно мала.

2. Если поток информации, создаваемый источником

то среди кодов, обеспечивающих сколь угодно малую вероятность ошибки,

существует код, при котором скорость передачи информации

то никакой код не может сделать вероятность ошибки сколь угодно малой.

Минимальные потери информации в единицу времени при этом равны .

Теоремы не указывают конкретного способа кодирования, но можно видеть,

что при выборе каждого символа кодовой комбинации необходимо стараться,

чтобы он нес максимальную информацию. Следовательно, каждый символ должен принимать значения от 0 до 1 по возможности с равными вероятностями и каждый выбор должен быть независимым от значений предыдущих символов.

Верхняя и нижняя границы средней длины кодового слова L определяются соотношением:

− длина − го кодового слова (число знаков в кодовом слове),− вероятность элементов из алфавита , − основание кода.

В качестве примера рассмотрим алгоритм Шеннона-Фано. Код строят следующим образом: знаки алфавита сообщений выписывают в таблицу в порядке убывания вероятностей. Затем их разделяют на две группы так, чтобы суммы вероятностей в каждой из групп были по возможности одинаковы. Всем знакам верхней половины в качестве первого символа приписывают 0, а всем нижним – 1. Каждую из полученных групп, в свою очередь, разбивают на две подгруппы с одинаковыми суммарными вероятностями и т.д. Процесс повторяется до тех пор, пока в каждой подгруппе останется по одному знаку.

8.2 Задачи

8.2.1 Какое минимальное число вопросов необходимо задать собеседнику,

чтобы угадать любое число из 64, если собеседник отвечает только «да» или

«нет»?

Ответ: = 6.

8.2.2Чему равна длина кодовых комбинаций оптимального кода для передачи сообщений, составленных из 16, 32 и 28 равновероятных символов?

8.2.3Подобрать оптимальный код сообщений, состоящих из 8

равновероятных букв.

8.2.4 Построить оптимальный код сообщения, в котором вероятности появления букв подчиняются закону = (12) , то есть буквы данного сообщения могут быть расположены таким образом, что вероятность появления каждой из них в 2 раза меньше вероятности появления предыдущей.

45

8.2.5 Построить оптимальный код для передачи сообщений, в которых вероятности появления букв первичного алфавита: А1 − 0,5; А2 − 0,25; А3 −

0,098; А4 − 0,052; А5 − 0,04; А6 − 0,03; А7 − 0,019; А8 − 0,011.

8.2.6 Определить эффективность кода Шеннона-Фано для ансамбля

сообщений с вероятностями 0,25; 0,25; 0,125; 0,125; 0,0625; 0,0625; 0,0625; 0,0625.

46

9. СПРАВОЧНЫЕ ДАННЫЕ

9.1. Табличные сведения

∞

9.1.4∫ − 2 = √ .

−∞

47

9.2 Значения функции: −

48

49

50