- •Предисловие
- •Введение
- •Концептуальные основы информационных процессов.
- •О понятии «Информация» [1,2]
- •1.2. Виды и свойства информации [2].
- •1.3. Этапы обращения информации [1].
- •1.4. Информационные системы [1].
- •1.5. Система передачи информации [1].
- •1.6. Уровни проблем передачи информации [1].
- •1.7. О смысле «Теории информации» в системе связи [1].
- •2. Математические основы теории вероятностей [6,4].
- •2.1. Случайное событие и вероятность.
- •2.2 Случайные величины и их вероятностные характеристики.
- •Случайные функции и их вероятностное описание.
- •2.4 Корреляционные характеристики случайных процессов.
- •Дифференциальный; 2) интегральный;
- •3) Плотность вероятностей.
- •Дифференциальный; 2) интегральный; 3) числовой.
- •Свойства энтропии [1,3 и др.].
- •Условная энтропия и ее свойства [1,2 и др.].
- •Свойства условной энтропии
- •Энтропия непрерывного источника информации (дифференциальная энтропия) [1, 2 и др.].
- •Передача информации от дискретного источника [1 и др.].
- •Передача информации от непрерывного источника [1 и др.].
- •Основные свойства количества информации [1 и др.].
- •4. Информационные характеристики источника сообщений и канала связи.
- •4.1. Введение [1 и др.].
- •4.2. Информационные характеристики источника дискретных сообщений.
- •4.2.1 Модели источника дискретных сообщений [1 и др.].
- •4.2.2 Свойства эргодических последовательностей знаков [1 и др.].
- •4.2.3 Избыточность источника [1 и др.].
- •4.2.4 Производительность источника дискретных сообщений [1 и др.].
- •4.3. Информационные характеристики дискретных каналов связи.
- •4.3.1 Модели дискретных каналов [1, 4, 5 и др.].
- •Скорость передачи информации по дискретному каналу [1 и др.].
- •Пропускная способность дискретного канала без помех [1 и др.].
- •Пропускная способность дискретного канала с помехами [1 и др.].
- •Информационные характеристики непрерывных каналов связи [1 и др.].
- •Согласование физических характеристик сигнала и канала [1 и др.].
- •Согласование статистических свойств источника сообщений и канала связи [1 и др.].
- •4.6 Контрольные вопросы к разделам 3 и 4 в форме «Задание – тест» тема: «Количественная оценка информации».
- •1) Бод; 2) бит (двоичная цифра); 3) байт.
- •1) Сумма; 2) произведение; 3) разность.
- •1) Безусловной энтропией; 2) условной энтропией;
- •3) Совместной энтропией.
- •1) Объем алфавита;
- •2) Объем алфавита и вероятности создания источником отдельных знаков; 3) вероятности создания источником отдельных знаков.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Максимальная скорость; 2) пропускная скорость; 3) предел скорости.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •5.2. Классификация кодов [4 и др.].
- •5.3. Представление кодов [4 и др.].
- •5.4. Оптимальное (эффективное) статистическое кодирование [3 и др.].
- •5.4.1 Методы эффективного кодирования некоррелированной последовательности знаков [1 и др.].
- •Методика построения кода Шеннона – Фано [1].
- •Методика построения кода Хаффмена [2 и др.].
- •5.4.2 Свойство префиксности эффективных кодов [1 и др.].
- •5.4.3 Методы эффективного кодирования коррелированной последовательности знаков.
- •5.4.4 Недостатки системы эффективного кодирования.
- •1) Номер разряда;
- •2) Множитель, принимающий целочисленные значения;
- •3) Количество разрядов.
- •Всякий блочный код можно представить таблицей:
- •Всякий блочный код можно представить таблицей:
- •Литература:
- •Содержание
1) Объем алфавита;
2) Объем алфавита и вероятности создания источником отдельных знаков; 3) вероятности создания источником отдельных знаков.
Дискретная последовательность состояний источника, в которой вероятности отдельных знаков и их сочетаний не зависит от расположения последних по длине называется:
1) стационарной; 2) регулярной; 3) детерминированной.
Источник сообщений, статистические характеристики в котором, полученные при исследовании одного достаточно длинного сообщения с вероятностью близкой к единице, справедливы для всех сообщений, создаваемых источником, называют:
1) эргодическим; 2) постоянным; 3) детерминированным.
Цепь Маркова порядка n характеризует последовательность дискретных событий, вероятности которых зависят от того, какие n событий предшествовали данному. При n = 1 цепь Маркова называется:
1) короткой; 2) простой; 3) сложной.
Дискретные последовательности источника, каждая из которых имеет настолько ничтожную вероятность, что даже суммарная вероятность всех таких последовательностей очень мала, называют:
1) типичными; 2) нетипичными; 3) регулярными.
Дискретные последовательности источника, которые при достаточно большом их числе отличается тем, что вероятности их появления практически одинаковы, называют:
1) типичными; 2) нетипичными; 3) регулярными.
С увеличением избыточности D определяемой по формуле: D = [Hmax(Z) – H(Z)]/[Hmax(Z)] (где Hmax(Z) – максимальная энтропия, H(Z) – энтропия источника) скорость передачи информации:
1) увеличивается; 2) уменьшается; 3) постоянная.
Увеличение избыточности источника D, определяемой по формуле: D = [Hmax(Z) – H(Z)]/[Hmax(Z)] (где Hmax(Z) – максимальная энтропия, H(Z) – энтропия источника) обеспечивает __________ помехоустойчивости:
1) повышение; 2) понижение; 3) постоянную.
Количество информации, вырабатываемой источником в единицу времени, называют:
1) объемом; 2) производительностью; 3) возможностью.
ТЕМА: «Информационные характеристики источника
дискретных сообщений».
Совокупность технических средств, предназначенных для передачи дискретных сигналов, называют __________ каналом:
1) регулярным; 2) постоянным; 3) дискретным.
Информационная модель дискретного канала с помехами задается множеством символов на его входе и выходе и описанием вероятностных свойств передачи отдельных символов. В каждом состоянии канал характеризуется матрицей условных вероятностей {p(vj/ui)} того, что переданный символ ui, будет воспринят на выходе как символ vj. Если p(vj/ui) зависит от времени, то канал называется: