- •Определение количества информации
- •Объемный подход измерения количества информации
- •Объемный подход измерения количества информации
- •Объемный подход измерения количества информации
- •Объемный подход измерения количества информации
- •Объемный подход измерения количества информации
- •Уточнение понятия количества информации
- •Уточнение понятия количества информации
- •Уточнение понятия количества информации
- •Уточнение понятия количества информации
- •Уточнение понятия количества информации
- •Формула Хартли
- •Формула Хартли
- •Формула Хартли
- •Аддитивность информации
- •Одна логическая задача
- •Понятие вероятности
- •Понятие условной вероятности
- •Абсолютная и относительная энтропия
- •Абсолютная энтропия
- •Мера Шеннона определения количества информации
- •Мера Шеннона определения количества информации
- •Графическая интерпретация абсолютной энтропии
- •Графическая интерпретация абсолютной энтропии
- •Условная энтропия
- •Мера Шеннона определения количества информации
- •Мера Шеннона определения количества информации
- •Мера Шеннона определения количества информации
Объемный подход измерения количества информации
|
Задача 2. (продолжение) |
|
|
|
Применение метода дихотомического поиска: |
||
1. |
Номер квартиры > 8 ? |
Да. |
1 |
2. |
Номер квартиры > 12 ? |
Нет. |
0 |
3. |
Номер квартиры > 10 ? |
Нет. |
0 |
4. |
Номер квартиры > 9 ? |
Да. |
1 |
|
1 0 0 12 = 1010 |
|
|
Ответ: Елена живет в 10-ой квартире
Количество информации – 4 бита
Объемный подход измерения количества информации
Наиболее очевидной мерой количества информации является число символов в сообщении или длина кодового слова:
I – количество информации, бит l – длина кодового слова
Для решения первой задачи потребовалось 7 бит информации, для второй – 4 бита, при этом
мы оставляем без внимания содержание и значение информации
Задача 3. Хватило бы для решения задачи 2 четырех вопросов, если задать их все сразу, не дожидаясь ответов на предыдущие?
Предположительно – Нет. Закодируем номера квартир:
1 – 0001 Четыре вопроса объединим в следующий: 2 – 0010 Правда ли, что в закодированном номере
- - - - - - - квартиры первая цифра равна «1», 10 – 1001 вторая цифра равна «1», третья цифра
- - - - - - - равна «1», четвёртая цифра равна «1» 16 – 1111
Ответ: Да, Нет, Нет, Да (1 0 0 12=1010)
Уточнение понятия количества информации
Дерево решений для N = 16