
Добавил:
blk_kakadu
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Лекции / 6. Энтропия и ее свойства.ppt
X
- •Теория информационных процессов и систем
- •Лекции читает канд.техн.наук, доцент Литвинов Владислав Леонидович
- •Энтропия и ее свойства
- ••Пусть информационная система может порождать ансамбль
- ••Энтропия не зависит от конкретного сообщения. Это характеристика информационной системы (источника сообщений или
- •Свойства энтропии
- •• Раскроем неопределенность вида 0∙∞ по правилу Лопиталя.
- •2.Энтропия - величина неотрицательная и ограниченная.
- •3.Энтропия системы, имеющей m равновероятных состояний, максимальна и равна log2m.
- ••Следовательно, при двух символах в алфавите максимум энтропии достигается в случае равновероятных символов.
- •4.Совместная энтропия независимых источников сообщений равна сумме энтропий.
- •Условная энтропия
- ••Пусть источник А порождает ансамбль Na сообщений (a1, a2,…, aNa), источник B порождает
- •• В первом слагаемом индекс j имеется только у B, изменив порядок
- ••Если ввести данное понятие и использовать его обозначение, то второе слагаемое будет иметь
- ••Полученное выражение представляет собой общее правило нахождения энтропии сложной системы. Совершенно очевидно, что
- •Энтропия непрерывных сообщений
- •Относительная энтропия
- ••Одно и то же количество информации I(s) может содержаться в
- •Количественные характеристики источника сообщений
- ••Экономичность источников информации
- ••Очевидно, что троичный алфавит является более экономичным, чем двоичный. Именно поэтому в истории
- ••Производительность источника сообщений
- •Вопросы и задачи к главе
- •3.Бросаются одновременно две игральные кости. Определить количество информации, содержащееся в сообщении о том,
- •5.Имеются два ящика, в каждом из которых по 12 шаров. В первом –
- ••Какое количество информации требуется, чтобы узнать исход броска монеты?
- ••Игра «Угадайка–4». Некто задумал целое число в интервале от 0 до 3. Наш
- •Таким образом, для решения задачи оказалось достаточно двух вопросов независимо от того, какое
- ••В Белгороде 28000 жителей. Какое минимальное количество вопросов, требующих ответа "да" или "нет",
- ••Эллочка-Людоедка знает 20 слов. В обычном состоянии она произносит в среднем 50 слов
- ••В буфере ИС ожидают обработки 6 заданий. 2 из них запрашивают дополнительный ресурс
- ••Какими свойствами обладает логарифмическая мера информации?

•Какими свойствами обладает логарифмическая мера информации?
•Из каких соображений получена шенноновская мера информации?
•Что называется энтропией?
•Что такое приведенная энтропия?
•Что такое условная энтропия?
•Докажите, что для независимых источников сообщений A и B выполняется H(B|A)=H(B)
•Каковы причины появления избыточности в сообщении?
Соседние файлы в папке Лекции