МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ

Государственное образовательное учреждение

высшего профессионального образования

«МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

ПРИБОРОСТРОЕНИЯ И ИНФОРМАТИКИ»

Кафедра ИТ-4 «Персональные компьютеры и сети»

УТВЕРЖДАЮ

Заведующий кафедрой ИТ-4

______________/Михайлов Б.М./

"____"_______________200__ г.

МЕТОДИЧЕСКИЕ УКАЗАНИЯ

НА ПРАКТИЧЕСКИЕ ЗАНЯТИЯ

ПО ДИСЦИПЛИНЕ

1412 ИНФОРМАТИКА

для студентов 1 курса факультета ИТ

специальности 230101

«Вычислительные машины, комплексы, системы и сети»

Обсуждены на заседании кафедры

«___» _________________ 2007 г.

Протокол № _____

Разработаны: доц., к.т.н. Родина Н.В.

Москва 2007

1 Практическое занятие №1

1.1 Тема практического занятия

Расчет вероятностных характеристик сообщения. Определение количества информации в статистическом смысле.

1.2 Цель практического занятия

Освоение методик и приобретение практических навыков расчета вероятностных характеристик сообщения для определения количества информации в статистическом смысле. Рассчитанные характеристики должны быть использованы для следующего ПЗ по кодированию.

1.3 Рекомендуемая литература

1. Информатика. Базовый курс. 2-е изд. / Под ред. С.В. Симоновича. СПб.: Питер, 2007. – 640 с.

2. Брукшир Дж. Информатика и вычислительная техника. 7-е изд. – СПб.: Питер, 2004. – 620с.

3. Стариченко Б.Е. Теоретические основы информатики: Учебное пособие для вузов. – 2-е изд. – М.: Горячая линия–Телеком, 2003. – 312 с.

4. Родина Н.В. Информатика: учебное пособие, ч.1. – М.: МГУПИ, 2006. – 103 с.

1.4 Самостоятельная работа студентов при подготовке к практическому занятию

1. Ознакомиться с целями практического занятия.

2. Изучить теоретические основы, обращая особое внимание на следующие вопросы:

   • Понятие энтропии в теории информации.

   • Связь энтропии и информации в теории информации.

   • Определение количества информации, связанного со знаком некоторого алфавита.

   • Определение количественного значения информации в сообще­нии.

1.5 Теоретический материал по теме практического занятия

Энтропия

В данном разделе используются понятия и соотношения теории вероятностей. Этот раздел математики определяет понятийный и математический аппарат для описания случайных событий.

Случайными называются события, исход которых не может быть однозначно определен до того, как они произошли.

Другими словами, то, что событие случайно, означает отсутствие полной уверенности в его наступлении, что, в свою очередь, создает неопределенность в исходах опытов, связанных с данным событием.

Безусловно, степень неопределенности различна для разных ситуаций.

Явный вид функции, описывающей меру неопределенности опыта, имеющего n равновероятных исходов: f(n)=log₂n.

Эта величина получила название энтропия. Обозначается Н. Единица измерения неопределенности при двух возможных равновероятных исходах опыта называется бит.

Обобщая эту ситуацию, когда опыт  имеет m неравновероятных исходов A₁,A₂ … A_m, получим

H()= ).

При прочих равных условиях наибольшую энтропию имеет опыт с равновероятными исходами.

Энтропия максимальна в опытах, где все исходы равновероятны.

Энтропия и информация

Энтропия опыта равна той информации, которую получаем в результате его осуществления.

Формула определения количественного значения информации

I =  .

То есть информация опыта равна среднему значению количества информации, содержащейся в каком-либо одном его исходе.

Приведенное выражение является статистическим определением понятия «информация», поскольку в него входят вероятности возможных исходов опыта.

Единица измерения – бит.

Еще одно определение понятия информации.

Информация – это содержание сообщения, понижающего неопреде­лен­ность некоторого опыта с неоднозначным исходом. Убыль связанной с ним энтропии является количественной мерой информации.

Величина I, определяемая описанным выше способом, показывает, сколько в среднем необходимо сделать парных выборов для установления результата (полного снятия неопределенности), если опыт повторить многократно. Таким образом, количество информации может быть измерено числом вопросов с двумя равновероятными ответами.

Сообщение – последовательность знаков некоторого алфавита. Появление конкретного знака в конкретном месте сообщения – явление случайное. Следовательно, узнавание знака требует получения некоторой информации. Можно связать эту информацию с самим знаком и считать, что знак несет в себе некоторое количество информации.

Оценка количества информации, связанной со знаком алфавита.

Самое грубое (нулевое) приближение – предположим, что появление всех знаков алфавита – равновероятно.

Тогда для английского алфавита (26 букв + пробел):

I₀ ^еn = log₂27 = 4.755 бит, для русского – I₀ ^ru = log₂34 = 5.087.

Получается, что со знаком русского алфавита в среднем связано больше информации, чем со знаком английского. С точки зрения техники это означает, что сообщения из равного количества символов будут иметь различ­ную длину (и время передачи) и большими они окажутся у сообщения на русском языке.

Уточним нулевую оценку.

Относительная частота, то есть вероятность появления различных букв в тексте (сообщении) – различна.

Если р_i – вероятность знака с номером i данного алфавита из N знаков, то среднее количество информации, приходящееся на один знак, равно:

.

Это и есть знаменитая формула К. Шеннона.

Сообщения, в которых вероятность появления каждого отдельного знака не меняется со временем, называется шенноновским, а порождающий их отправитель – шенноновский источник.

Если сообщение является шенноновским, то набор знаков и связанная с каждым знаком информация известны заранее. В этом случае интерпретация сообщения сводится к задаче распознавания знака. А такая задача может быть решена серией парных выборов. При этом количество информации, содержащееся в знаке, служит мерой затрат по его выявлению.

Для русского языка значение средней информации на знак бит, английского бит, французского бит, немецкого бит, испанского .

Можно оценить предельную информацию на знак в данном языке I_ , которая будет отражать минимальную неопределенность, связанную с выбором знака алфавита без учета семантических особенностей языка. В то же время I₀ является другим предельным случаем, поскольку характеризует наибольшую информацию, которая может содержаться в знаке данного алфавита.

Шеннон ввел величину, которую назвал относительной избыточностью языков R= 1 .

Избыточность является мерой бесполезно совершаемых альтернативных выборов при чтении текста. Эта величина показывает, какую долю лишней информации содержат тексты данного языка; лишней в том отношении, что она определяется структурой самого языка и, следовательно, может быть восстановлена без явного указания в буквенном виде.

Исследования Шеннона для английского языка дали значение

I_=1.4 1.5 бит, что дает R=0,68.

Подобные оценки показывают, что и для других европейских языков, в том числе русского, избыточность составляет 60-70%. Это означает, что в принципе возможно почти трехкратное (!!!) сокращение текстов без ущерба для их содержательной стороны и выразительности.

Пример расчета вероятностных характеристик сообщения и определения количественного значения информации.

Шенноновский источник порождает множество шестизначных сообщений, каждое из которых содержит 1 знак «*», 2 знака «%» и 3 знака «!». Определить количество информации, связанное с каждым символом, приходящееся в среднем на один символ и в целом сообщении.

Решение задачи.

1. Определим вероятность (относительную частоту) появления каждого символа. Они равны соответственно

р_*=1/6, р_%=2/6, р_!=3/6.

2. Количество информации, связанное с каждым символом, будет равно

I_* =  log₂1/6 = 2.585 бит,

I_%=  log₂2/6 = 1.585 бит, и

I_! =  log₂3/6 = 1бит.

3. В среднем на один символ приходится

I_ср= р_* * I_* + р_% * I_% + р_!* I_! = 1/6 * 2.585 + 2/6 * 1.585 + 3/6 * 1 = = 1.459 бит.

4. В целом количество информации в статистическом смысле, содержащееся в сообщении, равно

I _сообщ = I_ср * 6 = 8.755 бит.