Министерство образования РФ

Томский государственный университет

Систем управления и радиоэлектронике

(ТУСУР)

Центр дистанционного обучения.

Кафедра автоматизированных систем управления (асу)

Контрольная работа № 2

по дисциплине: «Информатика»

тема: «Математические основы информатики»

Автор методического пособия: С. Л. Миньков

1. Дайте определения количества информации.

Шенноновская теория информации исходит из элементарного альтернативного выбора между двумя знаками (битами) O и L, где L может отождествляться с 1, “да”, “истина” а O с 0, “нет”, ”ложь”. Такой выбор соответствует приему сообщения, состоящего из одного двоичного знака, и, тем самым, мы снимаем имеющегося неопределенность в выборе.

В настоящее время получили распространение подходы к определению понятия "количество информации", основанные на том, что информацию, содержащуюся в сообщении, можно нестрого трактовать в смысле её новизны или, иначе, уменьшения неопределённости наших знаний об объекте. Эти подходы используют математические понятия вероятности и логарифма.

Количество информации содержащееся в таком сообщении, принимается за единицу и также называется битом. Бит – это и двоичный знак, и единица измерения количества информации, определяемая как количество информации в выборе с двумя взаимоисключающими равновероятными исходами.

Скоростью передачи информации называется количество информации, передаваемой в единицу времени. Эта величина определяется по формуле: I(x, y) = H(x) – H(x/y) [бит] где указанные энтропии вычисляется на единицу времени.

Количество информации (в единицу времени) является не характеристикой одного из объектов, а характеристикой их связи, это случайных объектов.

Количество информации – это выбор между двумя знаками (битами) О и L, где L может отождествляться с 1, “да”, “истина” и т.п., а О с 0 , “нет”, “ложь”.

2. Когда понятия энтропии и количества информации полностью совпадают.

Понятие энтропии и количества информации полностью совпадают, если событие заранее известно. В этом случае энтропия (согласно ее свойств) будет равна 0 и количество информации тоже будет равно 0.

Понятия энтропии и количества информации полностью совпадают, когда все события равновероятны.

Количество информации можно измерять тем, насколько понизилась энтропия системы после поступления сообщения.

Если один знак встречается часто, то, естественно, количество выборов, требующихся для его опознания стремится сделать как можно меньше. Соответственно, для опознания более редких знаков можно использовать большее число альтернативных выборов. Иными словами, часто встречающиеся знаки содержат малое количество информации, а редкие знаки – большое количество информации. Это вполне согласуется с обыденным смыслом сообщений: чем неожиданнее новость, тем больше ее информативность.

Итак, если i знак выделяется после Ki альтернативных выборов, то вероятность его появления pi равна (½)^Ki наоборот, Ki = ld(1/pi)².

Количество информации, содержащееся в знаке, задается частотой появления этого знака: ld (1pi) бит.

Тогда среднее количество информации, приходящееся на один произвольный знак равно

H = бит, причем =1

Величина H называется информацией на знак (на один символ сообщения), или энтропией источника сообщений.