Лабораторная работа №6. Типичные и нетипичные комбинации источника дискретных сообщений
Все последовательности, длинной выдаваемые дискретным источником сообщений можно разделить на типичные и не типичные. Например, типичная комбинация для дискретного источника сообщений, выдающий осмысленный текст на русском языке, это слова с средней длинной символов. Не типичная комбинация, в этом случае будет бессмысленный набор символов длинной .
Если,
в качестве выходной информации источника
рассматривать типичные комбинации
(обозначим его как
),
то максимально возможная энтропия
такого источника будет равна
В
этом случае энтропию исходного источника
сообщений, через количество типичных
комбинаций
можно записать как
Исходя из (6.1) количество типичных комбинаций можно выразить как
(6.2)
С
учетом того, что избыточность источника
,
,
формулу (6.2) можно переписать как
.
Общее количество комбинаций источника дискретных сообщений длиной равно
Соотношение между типичными и нетипичными комбинациями можно выразить как
, (6.3)
. (6.4)
Например, если в качестве источника дискретных сообщений рассмотреть текст, написанный на русском языке, то средняя длинна слова будет равна шести символам. Будем рассматривать в качестве типичной комбинации рассматривать осмысленные слова, а в качестве нетипичной комбинации бессмысленный набор символов длинной в шесть символов.
В
этом случае при
и
,
.
Исходя
из выше изложенного можно утверждать,
что всего в русском языке можно построить
возможных слов, но осмысленными из них
будет только
слов.
Выполнение лабораторной работы
Для выполнения лабораторной работы необходимо запустить программу лабораторной работы TIPSlab6.exe и загрузить в окно программы текстовый файл. Ознакомится с информационными характеристиками рассматривая в качестве источника сообщений последовательно: слова, буквы, биты.
Сравнить информационные характеристики источников дискретных сообщений (для слов, букв, бит) с учетом реальных длин последовательностей символов кодирующих устройств (для слов – букв, для букв – бит).
В качестве текста для обработки рекомендуется взять электронные издания, доступные в сети Internet. Например, на рис. 6.1 приведены результаты обработки поэмы А.В.Гоголя «Мертвые души». Для более точных результатов анализа рекомендуется конвертировать текст к одному регистру и избавится от всех знаков препинания, переносов и тп. Данную операцию удобнее всего проделать в Ms Word, после чего сохранить файл в формате текста.
Рис.6.1. Внешний вид программы лабораторной работы и результаты расчета
Содержание отчета
Отчет по лабораторной работе должен содержать:
Информационные характеристики выбранного Вам текса, представленные последовательно для слов, букв, бит.
Результаты Вашего расчета количества типичных комбинаций бит и букв.
Сравнение результатов и выводы по лабораторной работе.