Этап II

Написать программу в MatLab для расчета энтропии источника дискретных сообщений с памятью. Программа реализуется на основе программы предыдущей лабораторной работы.

Алгоритм программы приведен на рис. 5.2. Иллюстрация работы алгоритма показан на рис. 5.3.

Рис. 5.2. Алгоритм программы вычисления информационных характеристик дискретного источника с памятью

Рис. 5.3. Иллюстрация работы программы вычисления энтропии

источника дискретных сообщений с памятью

Этап III. Изучение информационных характеристик источника дискретных сообщений с памятью более чем на два элемента.

Запустить программу TIPSlab5.exe. Изучить информационные характеристики дискретного источника сообщений с памятью на несколько элементов (предельное число выбирается в настройках программы), сравнить с заранее рассчитанными, для русского текста значениями энтропии с памятью на 2, 3, 4 и 5 элементов. В качестве источника сообщений Вам предлагается взять уже готовый текстовый файл, который будет преобразован к одному регистру, и в котором будут оставлены только русские символы.

Экспериментально определить значение энтропии с памятью для русского текста. С этой целью компьютер загадает предложение, которое Вам изначально будет неизвестно. Вам необходимо посимвольно угадать все слова этого предложения. Если Вы не правильно угадали символ, то компьютер показывает правильный символ и пишет его в заглавном регистре. После того как будет открыто все предложение, программа по количеству правильно угаданных Вами символов рассчитает избыточность сообщения и энтропию русского языка полученную по экспериментальным данным. Сравнить значение со значениями полученными в первом этапе лабораторной работы, и с известными Вам из теории.

Изучить влияние совместной вероятности появления символов в сообщении. Для этого Вам необходимо ввести сообщение, набор символов которого будет рассматриваться в качестве исходного набора символов для автоматической генерации сообщений. Программа позволяет ввести сообщение, показывает статистику входящих в него символов. После Вам предоставляется возможность сгенерировать сообщение из созданного набора символов на основе вероятности появления символов в русском языке, в том числе и с учетом влияния последовательности появления символов (взаимная вероятность на 2, 3, 4 и 5 символов).

Пример и результаты работы программы приведены на рис. 5.4.

Рис. 5.4. Изучение статистических свойств русского языка

Содержание отчета

Отчет по лабораторной работе должен содержать:

1. Пример сообщения и расчет энтропии, избыточности для дискретного источника сообщений с памятью.

2. Алгоритм и листинг программы расчета энтропии, избыточности для источника дискретных сообщений с памятью.

3. Результаты сравнения информационных характеристик источника дискретных сообщений с памятью и без памяти, полученных в собственной реализации и в программе лабораторной работы.

4. Таблицу значений энтропии источника дискретных сообщений с памятью на 2, 3, 4 и 5 символов. Сравнение полученной величины со справочными материалами приведенными в программе.

5. Результаты экспериментального определения энтропии русского языка, включая иллюстрацию способа получения.

6. Результаты автоматического построения предложения из заданного набора символов.

7. Выводы по работе.