- •Д.Е. Турчин
- •Лабораторный практикум
- •Кемерово 2013
- •Описание лабораторного практикума
- •1.2.2. Понятие кода и кодирования. Моделирование дискретных источников сообщений без памяти
- •1.3. Порядок выполнения работы
- •1.4. Контрольные вопросы
- •Марковские источники сообщений.
- •Эффективность, избыточность и производительность источника сообщений.
- •Кодовые деревья и префиксные коды.
- •2.3. Порядок выполнения работы
- •2.4. Контрольные вопросы
- •3.2.2. Пропускная способность дискретного канала связи. Кодеры и декодеры канала связи. Код с битом четности Пропускная способность дискретного канала связи.
- •Кодер и декодер канала связи. Код с битом четности.
- •3.3. Порядок выполнения работы
- •3.4. Контрольные вопросы
- •Метод Шеннона-Фано.
- •4.2.2. Методы кодирования источников сообщений по Хаффману Кодирование дискретного источника сообщений без памяти по Хаффману.
- •4.3. Порядок выполнения работы
- •4.4. Контрольные вопросы
- •Декодирование арифметического кода.
- •5.2.2. Метод адаптивного арифметического кодирования и его программная реализация
- •5.3. Порядок выполнения работы
- •5.4. Контрольные вопросы
- •6. Сжатие информации методами Лемпела-Зива
- •6.1. Цель работы
- •6.2. Основные теоретические сведения
- •Код Хэмминга.
- •7.2.2. Расширенный код Хэмминга. Программная реализация кода Хэмминга Расширенный код Хэмминга.
- •7.3. Порядок выполнения работы
- •7.5. Контрольные вопросы
- •8. Построение и декодирование линейных блоковых кодов
- •8.1. Цель работы
- •8.2. Основные теоретические сведения
- •8.3. Порядок выполнения работы
- •8.4. Контрольные вопросы
- •Приложение п.1. Понятие события и его вероятности. Теоремы сложения и умножения вероятностей Понятие события и вероятности события. Непосредственный подсчет вероятностей.
- •Теорема сложения вероятностей.
- •Теорема умножения вероятностей.
- •П.2. Данные для расчета энтропии и количества информации
- •П.3. Матрицы и операции над ними п.4. Многочлены и операции над ними
- •П.5. Вопросы к экзамену
Приложение п.1. Понятие события и его вероятности. Теоремы сложения и умножения вероятностей Понятие события и вероятности события. Непосредственный подсчет вероятностей.
Событием (или «случайным событием») называется всякий факт, который в результате опыта может произойти или не произойти.
Вероятностью события называется численная мера степени объективной возможности этого события.
Вероятность события А обозначается через р(А) или р.
Достоверным называется событие U, которое в результате опыта непременно должно произойти:
р(U) = 1.
Невозможным называется событие V, которое в результате опыта не может произойти:
р(V) = 0.
Вероятность любого события А заключена между нулем и единицей:
0 < р(А) < 1.
Полной группой событий называется несколько событий таких, что в результате опыта непременно должно произойти хотя бы одно из них.
Примеры событий, образующих полную группу:
• выпадение герба и цифры при бросании монеты;
• появление 1, 2, 3, 4, 5, 6 очков при бросании игральной кости;
• попадание и промах при выстреле и др.
Несколько событий в данном опыте называются несовместными, если никакие два из них не могут появиться вместе.
Несколько событий в данном опыте называются равновозможными, если есть основание считать, что ни одно из этих событий не является объективно более возможным, чем другое.
Если несколько событий образуют полную группу, несовместны и равновозможны, то они называются случаями.
Случай называется благоприятным событию, если появление этого случая влечет за собой появление события.
Если результаты опыта сводятся к схеме случаев, то вероятность события А вычисляется по формуле
;
где N — общее число случаев; n(A) – число случаев, благоприятных событию А.
Суммой двух событий A и B называется событие C, состоящее в появлении хотя бы одного из событий A или B.
Произведением двух событий A и B называется событие C, состоящее в совместном появлении события A и события B.
Теорема сложения вероятностей.
Вероятность суммы двух несовместных событий равна сумме вероятностей этих событий:
р(А + B) = р(А) + р(B).
В случае, когда события А и В совместны, вероятность их суммы выражается формулой
р(A + В) = р(A) + р(В) – р(АВ),
где АВ – произведение событий А и В.
Событие
называется противоположным
событию А,
если оно состоит в непоявлении события
А.
Сумма вероятностей противоположных событий равна единице:
р(А) + р( ) = 1.
Событие A называется независимым от события B, если вероятность события A не зависит от того, произошло событие B или нет.
Событие A называется зависимым от события B, если вероятность события A меняется в зависимости от того, произошло событие B или нет.
Условной вероятностью события A при наличии B называется вероятность события A, вычисленная при условии, что событие B произошло. Эта вероятность обозначается через p(A|B).
Условие независимости события A от события B можно записать в виде
p(A|B) = p(A).
Теорема умножения вероятностей.
Вероятность произведения двух событий равна вероятности одного из них, умноженной на условную вероятность другого при наличии первого:
р(АВ) = р(А)р(В|А)
или
р(АВ) = р(В)р(А|В).
Для независимых событий A и В
р(АВ) = р(А)р(В).
Для нескольких событий A1, A2, … , An теорема умножения вероятностей будет иметь следующий вид:
р(A1A2…An) = р(A1)р(A2|A1)р(A3|A1A2)…р(An|A1A2…An-1).
