- •Определение количества информации
- •Объемный подход измерения количества информации
- •Объемный подход измерения количества информации
- •Объемный подход измерения количества информации
- •Объемный подход измерения количества информации
- •Объемный подход измерения количества информации
- •Уточнение понятия количества информации
- •Уточнение понятия количества информации
- •Уточнение понятия количества информации
- •Уточнение понятия количества информации
- •Уточнение понятия количества информации
- •Формула Хартли
- •Формула Хартли
- •Формула Хартли
- •Аддитивность информации
- •Одна логическая задача
- •Понятие вероятности
- •Понятие условной вероятности
- •Абсолютная и относительная энтропия
- •Абсолютная энтропия
- •Мера Шеннона определения количества информации
- •Мера Шеннона определения количества информации
- •Графическая интерпретация абсолютной энтропии
- •Графическая интерпретация абсолютной энтропии
- •Условная энтропия
- •Мера Шеннона определения количества информации
- •Мера Шеннона определения количества информации
- •Мера Шеннона определения количества информации
Определение количества информации
Объемный подход измерения количества информации
|
Задача 1. Угадывание предмета |
|
|
|
Пример диалога: |
Да. |
|
1. |
Он съедобен? |
|
|
2. |
Он производится в Свердл. области? |
Нет. |
3.Его форма имеет углы? Нет.
4.Его форма круглая? Да.
5.Это овощ? Нет.
6.Это фрукт? Да.
7.Его обычный вес более 1 кг? Да.
Ответ - арбуз
Объемный подход измерения количества информации
Задача 1. (продолжение)
Какое количество информации потребовалось получить, чтобы отгадать задуманное слово ?
«Да» – 1, «Нет» – 0
Т.о., получим: 1 0 0 1 0 1 1
Количество информации соответствует длине кодового слова и равно 7 бит
При объёмном подходе под количеством информации понимается число символов в
сообщении
Объемный подход измерения количества информации
Задача 2. В доме имеется 16 квартир, в одной
из которых живет Елена. Сколько требуется задать вопросов чтобы узнать адрес Елены?
Наиболее очевидный способ: Живет ли Лена в 1-ой квартире ? Живет ли Лена во 2-ой квартире ?
- - - - - - - - - - - - - - - - - - - - - - - -
Живет ли Лена в 15-ой квартире ? Наихудший вариант – 15 вопросов – 15 бит