ИТ (AC-310) / ИТ_ЛР / Семестр 1 / Лабораторная 1 / лр1 Задание

Лабораторная работа №1

Исследование свойств энтропии дискретного источника

Предметом исследования являются формулы К. Шеннона для вычисления количества информации в сообщениях дискретного источника и его энтропии, а также простейшие модели дискретных источников.

Цель работы – исследование свойств энтропии как количественной меры неопределенности дискретного источника.

В ходе работы требуется произвести теоретические исследования энтропии, а также численное моделирование простейших дискретных стационарных и нестационарных источников. Отчет по лабораторной работе выполнить на основе данного преподавателем шаблона и оформить согласно требованиям ГОСТ 7.32-2001 «Отчет о научно-исследовательской работе. Структура и правила оформления» [2].

Задачи лабораторной работы:

а) повторить теоретический материал [1]: дискретные источники сообщений, собственное количество информации и энтропия, стационарные и нестационарные источники;

б) аналитически найти минимальное и максимальное значения энтропии дискретного источника и условия, при которых они достигаются;

в) построить и проинтерпретировать график энтропии источника с двумя состояниями;

г) численно вычислить значения энтропии простейших стационарных систем:

• идеальной монеты (вероятности выпадения «орла» и «решки» одинаковы);

• фальшивой монеты со смещенным центром тяжести (взять произвольные значения вероятностей, отклоняющихся от 1/2 не более, чем на 30%; сравнить и объяснить разницу в неопределенности результата броска идеальной монеты и фальшивой);

• игральной кости (шесть равновероятных исходов);

• фальшивой игральной кости со смещенным центром тяжести в сторону единицы (шестерка на противоположной грани кости выпадает чаще; значения 2÷5 – по-прежнему с вероятностью 1/6; взять произвольные вероятности единицы и шестерки, отклоняющиеся от 1/6 не более, чем на 20%; сравнить и объяснить разницу в неопределенности результата броска идеальной кости и фальшивой);

д) смоделировать дискретный нестационарный источник и построить гистограмму значений энтропии при принятии определенной серии сообщений (за множество сообщений взять множество различных букв в вашем ФИО + символ ­"_" в качестве разделителя слов; прописные и строчные не различать; вероятности вычислить по частотам вхождения букв в ФИО; при моделировании предположить, что источник по буквам формирует в точности ваше ФИО; проинтерпретировать динамику изменения энтропии).

Список использованных источников

1 Советов Б.Я. Информационная технология: Учеб. для студ. вузов по спец. «Автоматизированные системы обработки информации и управления». – М.: Высш. шк., 1994. – 268c.

2 Методические указания по оформлению текстовых документов при выполнении учебных заданий студентами всех курсов специальности 220200 / А.В. Никонов. Режим доступа: Кафедральный сервер: [Оформление2.doc] / Омск. гос. техн. ун-т. Каф. АСОИУ. – Омск, 2002.