Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Ответы по ТЭС.docx
Скачиваний:
111
Добавлен:
25.04.2019
Размер:
232.7 Кб
Скачать

2. Количество информации. Энтропия.

Количество информации, которое заключено в некотором сообщении А с вероятностью появления p(А), равно: I=-log2p(А).Свойства количества информации:

1)чем меньше р, тем больше I (количество информации.)

2)количество информации в достоверном событии с вероятностью появления p=1 равно 0.

3)аддитивное свойство: количество информации, заключенное в совокупности двух независимых сообщений, равно сумме количеств информации, заключенных в каждом сообщении в отдельности.

4)количество информации величина неотрицательная.

Энтропия H - это среднее кол-во информации приходящееся на одно сообщение

Для дискретного источника независимых сообщений энтропия вычисляется по формуле:

Т.к. сообщения принимают различные значения с разными вероятностями, то ввели понятие энтропии (это среднее количество информации приходящееся на одно сообщение):

H=-∑mk=1 pklogpk, m – основание кода, pk - вероятность определенного символа)

Энтропия дискретного источника независимых сообщений максимальна, если все сообщения равновероятны

Hmax=logm

Наиболее часто используются двоичные системы связи m=2. Энтропия двочного источника вычисляется по формуле:

H(m=2)=-p(1)*logp(1)-[1-p(1)]log[1-p(1)]

Энтропия двоичного источника максимальна если p(1)=p(0)=0.5

Основные способы увеличения энтропии:

1)наличие корреляционных связей между символами уменьшает энтропию.

Чтобы увеличить энтропию, мы кодируем не буквы а слова. Это называется укрупнение алфавита источника.Эта же цель достигается путем предсказания - кодирования с предсказанием последующих символов по предыдущим

2) Неравновероятность символов уменьшает энтропию. Для устранения неравновероятности строят "кодовое дерево". Наиболее вероятные символы передаются наиболее короткими кодовыми комбинациями.

3)Для дальнейшего увеличения энтропии увеличивают основание кода m

Билет 7

1. Потенциальная помехоустойчивость.

Способность системы связи препятствовать мешающему влиянию помех называется помехоустойчивостью.

Максимально достижимая помехоустойчивость называется потенциальной помехоустойчивостью.

Количественной мерой помехоустойчивости называется вероятность ошибки

P=lim(N->∞)Nош/N

N-общее количество переданных символов, сообщений

Nош-количество ошибок, т.е. количество неверно принятых символов, сообщений

Высокой помехоустойчивости соответствует малая вероятность ошибки, низкой помехоустойчивости соответствует большая вероятность ошибки.

Потенциальной помехоустойчивости соответствует минимальная вероятность ошибки.

Система связи работает с такими вероятностями: р=10-1−10-3 удовл.качество

р=10-4−10-6 хорошее качество (используют для передачи речи); р=10-7−10-9 отличное.

Приемник, реализующий потенциальную помехоустойчивость, т.е. обеспечивающий минимальную вероятность ошибки, называется оптимальным приемником.

Приемник реализующий потенциальную помехоустойчивость, т.е. обеспечивающий минимальную вероятность ошибки, называется оптимальным приемником