- •Н.Н. Куцый, в.Н. Сизых введение в теорию информации учебное пособие
- •Оглавление
- •Часть 1. Вероятностные основы теории информации
- •Часть 2. Основы прикладной теории информации
- •Введение
- •Часть 1. Вероятностные основы теории информации
- •Определение априорной и апостериорной вероятностей дискретного источника
- •Дискретные источники сообщений
- •Основные определения и оценка случайного события
- •Способы определения случайных событий
- •Определение априорной вероятности
- •Элементы комбинаторики
- •Схемы подсчетов априорной вероятности по формуле (1.1)
- •Задачи для самостоятельной работы
- •Определение апостериорной вероятности
- •Задачи для самостоятельной работы
- •2. Условная и полная вероятности дискретного источника
- •2.1. Условная вероятность
- •Свойства независимых несовместных событий а1 и а2
- •Свойства зависимых событий а1 и а2
- •Задачи для самостоятельной работы
- •2.2. Полная вероятность
- •Задачи для самостоятельной работы
- •3. Случайные величины дискретных источников
- •3.1. Случайные величины
- •Задача для самостоятельной работы
- •4. Законы распределения дискретных случайных величин
- •4.1. Числовые характеристики дискретных св
- •4.2. Типовые законы распределения вероятностей дискретных св
- •Задачи для самостоятельной работы
- •5. Системы дискретных случайных величин
- •5.1. Характеристики систем дискретных случайных величин
- •5.2. Закон распределения системы дискретных случайных величин
- •Задачи для самостоятельной работы
- •6. Дискретные случайные процессы
- •6.1. Случайные процессы
- •6.2. Потоки событий
- •7. Марковские цепи
- •7.1. Марковские цепи с дискретными состояниями
- •7.2. Марковские цепи
- •7.3. Расчет цепи Маркова для стационарного режима
- •Задачи для самостоятельной работы
- •Часть 2. Введение в прикладную теорию информации
- •8. Энтропия как мера неопределенности
- •8.1. Энтропия
- •8.2. Условная энтропия
- •Задачи для самостоятельной работы
- •9. Оценка информационных характеристик дискретных источников
- •9.1. Условные и безусловные вероятности появления символов в виде стохастического вектора и матрицы дискретного источника
- •Снятые статистические данные источника
- •9.2. Информационные характеристики дискретного источника
- •Задача для самостоятельной работы
- •10. Основы теории кодирования и передачи информации
- •10.1. Кодирование информации
- •10.2. Формирование экономичного кода алфавита
- •10.2.1. Код Шеннона–Фано
- •10.2.2. Код Хаффмена
- •Задачи для самостоятельной работы
- •Решения и ответы задач для самостоятельной работы
- •Дополнительные задачи по курсу «Теория информации» Задача 1
- •Задача 2
- •Задача 3
- •Задача 8
- •Задача 22
- •Задача 23
- •Задача 24
- •Задача 25
- •Приложения Приложение 1. MatLab – программы для расчета цепи Маркова
- •Приложение 2. MatLab – программа для определения энтропии дискретного источника
- •Приложение 3. MatLab – программа для оценки информационных характеристик дискретных источников с памятью
- •Приложение 4. Алгоритмы кодирования и декодирования
- •Алгоритм построения кодового дерева кода Хаффмена
- •MatLab-программа декодирования арифметического кoда
Задачи для самостоятельной работы
Задача 2.5. Имеются две папки с документами по 12 и 10 документов в каждой соответственно, причем в каждой папке один документ еще не зарегистрирован. Документ, взятый случайно из первой папки, переложен во вторую. Определить вероятность извлечения незарегистрированного документа из второй папки.
Задача 2.6. Один из трех студентов вызывается для ответа на вопрос преподавателя. Ответ правильный. Вероятность правильного ответа для первого студента равна 0,3; для второго – 0,5; для третьего – 0,8. Найти вероятность того, что вызван был второй студент.
Задача 2.7. Условием сдачи зачета является ответ на один из двух заданных вопросов. Студент не знает ответов на 5 вопросов из 30 возможных. Какова вероятность сдачи зачета? Как изменится вероятность сдачи зачета, если студент должен ответить на два вопроса из трех заданных.
Задача 2.8. Придумайте сами и решите по одной задаче на использование формулы полной вероятности и формулы Байеса.
3. Случайные величины дискретных источников
3.1. Случайные величины
Случайной называют величину, которая в результате опыта может принимать заранее неизвестное значение из некоторого диапазона ее изменения.
Случайная величина (СВ) есть функция, которая каждому событию Аj из множества А ставит в соответствие множество точек на числовой прямой прямой. Каждое значение СВ имеет некоторую вероятность появления (исхода).
СВ называется дискретной, если множество ее возможных значений счетное и конечное, то есть пространство исходов конечно. Общими формами представления распределения для дискретной СВ являются:
1) ряд распределения;
2) функция распределения.
Рядом распределения P(z) дискретной СВ z называют таблицу, в которой перечислены возможные значения СВ z1, z2,…, zn и соответствующие им вероятности р1, р2,…, рn
Таблица 3.1. – Ряд распределения
zi |
z1 |
z2 |
… |
zn |
pi |
p1 |
p2 |
… |
pn |
Здесь
,
Функцией распределения дискретной СВ называют функцию F(z), равную вероятности P(Z<z) того, что СВ будет меньше произвольно выбранного значения z. Функция распределения F(z) вычисляется по формуле
(3.1)
где суммирование ведется по всем значениям i, для которых zi<z. Таким образом, F(z) является функцией накопления вероятностей.
Вероятность попадания СВ z на интервал (а, b) выражается формулой
.
(3.2)
Пример 3.1. При дискретном подбрасывании игральной кости получены следующие результаты: «1» выпала два раза, «2» – один раз, «3» – четыре раза, «4» – два раза, «5» – ноль раз, «6» – один раз. Требуется определить функцию распределения СВ – выпадения некоторого количества очков на игральной кости.
Решение. Вероятность выпадения k очков определим по формуле pk=nk/ 10, где k – количество исходов, в которых зафиксировано выпадение k очков. Значения функции распределения вероятности выпадения k очков определим как сумму F(k)=p1+p2+…+pk-1+pk
р1=0,2; р2=0,1; р3=0,4; р4=0,2; р5=0; р6=0,1.
Результаты для вычисления функции распределения сведем в таблицу 3.2.
Таблица 3.2. – Распределения вероятностей
k |
1 |
2 |
3 |
4 |
5 |
6 |
pk |
0,2 |
0,1 |
0,4 |
0,2 |
0 |
0,1 |
F(k) |
0 |
0,2 |
0,3 |
0,7 |
0,9 |
0,9 |
Полученные значения вариационного ряда и функции распределения в графическом виде представлены на Рисунках 3.1, 3.2.
Рисунок
3.1. – Вариационный ряд
Рисунок
3.2. – Функция распределения
;
…;
