Часть 3 .
Вопрос 1 .
Дайте определение количества информации ?
Ответ :
Количество информации – это выбор между двумя знаками (битами) О и L , где L может отождествляться с 1 , “да” , “истина” и т.п. , а О с 0 , “нет” , “ложь” .
Вопрос 2 .
Когда понятия энтропии и количества информации полностью совпадают ?
Ответ :
Количество информации можно измерять тем , насколько понизилась энтропия системы после поступления сообщения .
Вопрос 3 .
Сформулируйте свойства энтропии дискретных сообщений ?
Ответ :
Энтропия заранее известного сообщения равна 0 ;
Во всех других случаях Н>0
Вопрос 4 .
В чём состоит процедура Шеннона-Фано ?
Ответ :
Процедура Шеннона-Фано состоит в построении оптимального неравномерного кода .
Вопрос 5 .
Как , исходя из теоремы кодирования Шеннона , добиться безызбыточного кодирования ?
Ответ :
Чтобы получить кодирование , о котором говорится в п.2 теоремы , следует не просто кодировать каждый знак в отдельности , а рассматривать вместо этого двоичные кодирования для п(к) групп по к знаков .
Вопрос 6 .
В чём заключается естественная избыточность языков человека ?
Ответ :
Различные сочетания букв не являются равновероятными . Поэтому , если при подсчёте энтропии русского текста исходить из двухбуквенных сочетаний , то она уменьшается ещё более – примерно до Н2 = 3,5 бита . С учётом трёхбуквенных сочетаний энтропия сокращается до Н3 = 2,98 бит , а если иметь в виду ещё более длинные сочетания , то приблизительно до Н4 = 2,5 бита . Каждая буква имеет в среднем информацию около 2,5 бита то есть примерно половину букв в осмысленных текстах можно было бы выбросить ; при этом по оставшимся буквам текст может быть понят и восстановлен . В теории информации говорят , наш язык обладает избыточностью порядка 50% . Это и есть естественная избыточность .
Вопрос 7 .
Для чего вносят искусственную избыточность в кодирование информации ?
Ответ :
Этот способ повышения помехоустойчивости основывается на том предположе-нии , что помеха носит случайный характер . Поэтому возможны как полжите-льные , так и отрицательные значения помехи , и многократной передачей одного и того же сигнала можно свести её влияние к нулю .
Вопрос 8 .
Каким образом решают проблему помехоустойчивости кода ?
Ответ :
Итак , избыточность кода – явление отнюдь не отрицательное . В информацион-ных системах обрабатывается , главным образом , цифровая информация и защищать её от помех можно практически лишь путём введения искусственной избыточности . Простейший способ повышения надёжности приёма информации – многократное повторение сообщений .
Вопрос 9 .
Для чего необходимо дискретное представление непрерывного сигнала ?
Ответ :
В дискретном случае имеют две причины избыточности : неравновероятность символов и наличие между ними статистической связи .
Вопрос 10 .
В чём суть теоремы отсчётов ?
Ответ :
Другими словами , функцию можно восстановить по значениям в точках отс-чёта (nts) , если частота отсчёта 1/ts не меньше удвоенной критической частоты. При этом не произойдёт никакой потери информации . Это утверждение и сост-авляет суть теоремы отсчётов .
Вопрос 11 .
Сформулируйте свойства энтропии непрерывных сообщений ?
Ответ :
ОЭНС не изменится , если к сигналу прибавить не случайную величину с .
Для случайной величины , ограниченной на конечном отрезке , максимальная энтропия достигается при равномерном распределении .
Дифференциальная энтропия непрерывного сигнала , распределённого по гауссовскому закону , прямо пропорциональна логарифму дисперсии вероят-ных значений этого сигнала .
Вопрос 12 .
Что такое пропускная способность канала связи ?
Ответ :
Этот предел называется пропускной способностью канала :
С = sup RA ,
{A}
Вопрос 13 .
Какие существуют способы оценки полезности информации ?
Ответ :
Рассмотрим некоторые способы оценки полезности (ценности) информации в практических задачах теории управления . Предположим , что информация ха- рактеризуется некоторым минимальным набором показателей : количество ин- формации I , качество (ценность) единицы информации с точки зрения достиже- ния определённых целей и себестоимость единицы информации С . Производ-ными от этого минимального набора показателей являются : количество взвешен-ной по ценности информации (полезная информация) :
I n = f (I , ) .