Вопросы и задания
Есть ли связь между объемным подходом к измерению информации и содержанием информации?
В чем измеряется объем письменного или печатного текста?
Оцените объем одного печатного листа данного учебника в количестве знаков.
Что такое бит с позиции объемного подхода к измерению информации?
Как определяется информационный объем текста по А.Н.Колмогорову?
Какой информационный вес имеет каждая буква русского алфавита?
Какие единицы используются для измерения объема информации на компьютерных носителях?
Сообщение, записанное буквами из 64-символьного алфавита, содержит 100 символов. Какой объем информации оно несет?
Сколько символов содержит сообщение, записанное с помощью 16-символьного алфавита, если объем его составляет 1/16 Мб?
Сообщение занимает 2 страницы и содержит 1/16 Кб информации. На каждой странице – 256 символов. Какова мощность используемого алфавита?
Возьмите страницу текста из данного учебника и подсчитайте получаемый информационные объемы текста при кодировании его семиразрядным кодом и восьмиразрядным компьютерным кодом. Результаты выразите в килобайтах и мегабайтах.
1.2.2. Измерение информации. Содержательный подход Неопределенность знаний и количество информации
Содержательный подход к измерению информации отталкивается от определения информации как содержания сообщения, получаемого человеком. Сущность содержательного подхода заключается в следующем: сообщение, информирующее о каком-то событии, снимает неопределенность знаний человека об этом событии.
Чем больше первоначальная неопределенность знаний, тем больше информации несет сообщение, снимающее эту неопределенность.
Приведем примеры, иллюстрирующие данное утверждение.
Ситуация 1. В ваш класс назначен новый учитель информатики; на вопрос: «Это мужчина или женщина», вам ответили: «Мужчина».
Ситуация 2. На чемпионате страны по футболу играли команды Динамо и Зенит. Из спортивных новостей по радио вы узнаете, что игра закончилась победой Зенита.
Ситуация 3. На выборах мера города было четыре кандидата. После подведения итогов голосования вы узнали, что избран Никитин Н.Н.
Вопрос: в какой из трех ситуаций полученное сообщение несет больше информации?
Неопределенность знаний – это количество возможных вариантов ответа на интересовавший вас вопрос. В первой ситуации – 2 варианта: мужчина, женщина; во второй ситуации 3 варианта: выиграли, ничья, проиграли; в третьей ситуации – 4 варианта: 4 кандидата на пост мера.
Согласно данному выше определению, наибольшее количество информации несет сообщение в третьей ситуации, поскольку неопределенность знаний о результате события (выборов мера) в этом случае была наибольшей.
В
В теории информации единица измерения информации определяется следующим образом.
Клод Элвуд Шеннон
(1916-2001)
Сообщение, уменьшающее неопределенность знаний о результате некоторого события в два раза, несет 1 бит информации
Согласно этому определению, сообщение в первой из описанных ситуаций несет 1 бит информации, поскольку из двух возможных вариантов ответа был выбран один.
Следовательно, количество информации, полученное во второй и в третьей ситуациях, больше, чем один бит. Но как их измерить?
Рассмотрим другой пример выбора одного из четырех вариантов, более удобный для измерения количества информации.
Ученик написали контрольную по информатике и спрашивает учителя о полученной оценке. Оценка может оказаться любой: от 2 до 5. На что учитель отвечает: «Угадай оценку за два вопроса, ответом на которые может быть «да» или «нет»». Подумав, ученик задает первый вопрос: «Оценка выше тройки?». «Да»,-ответил учитель. Второй вопрос: «Это пятерка?». «Нет», - ответил учитель. Ученик понял, что он получил четверку. Какая бы не была оценка, таким способом она будет угадана!
Первоначально неопределенность знаний (число вариантов полученной оценки) была равна четырем. С ответом на каждый вопрос неопределенность уменьшалась в 2 раза и, следовательно, согласно данному выше определению одного бита, передавался 1 бит информации.
Первоначальные варианты :
Варианты, оставшиеся после 1-го вопроса: (1 бит)
Вариант, оставшийся после 2-го вопроса: (+1 бит) |
|
Узнав оценку (одну из четырех возможных) ученик получил 2 бита информации.
Рассмотрим еще один частный пример, а затем выведем общее правило.
Вы едете на электропоезде, в котором 8 вагонов, а на вокзале вас встречает товарищ. Товарищ позвонил вам по мобильному телефону и спросил, в каком вагоне вы едете. Вы предлагаете угадать номер вагона, задав наименьшее количество вопросов, ответами на которые могут быть слова «да» или «нет».
Немного подумав, товарищ стал спрашивать:
— Номер вагона больше четырех?
— Да.
— Номер вагона больше шести?
— Нет.
— Это шестой вагон?
— Нет.
— Ну теперь все ясно! Ты едешь в пятом вагоне!
Схематически поиск номера вагона выглядит так:
Первоначальное число вариантов:
После 1-го вопроса (1 бит):
После 2-го вопроса (+1 бит):
После 3-го вопроса (+1 бит): |
|
Каждый ответ уменьшал неопределенность в два раза. Всего было задано три вопроса. Значит в сумме набрано 3 бита информации. И если бы сразу было сказано, что вы едете в пятом вагоне, то этим сообщением было бы передано те же 3 бита информации.
Способ поиска решения проблемы, примененный в примерах с оценками и вагонами, называется методом половинного деления: ответ на каждый вопрос уменьшает неопределенность знаний наполовину. При этом каждый такой ответ несет 1 бит информации.
Заметим, что поиск решения методом половинного деления наиболее рационален. Таким способом всегда можно угадать, например, любой из восьми вариантов за 3 вопроса. Если бы поиск производился последовательным перебором: «Ты едешь в первом вагоне?» - «Нет», «Во втором вагоне?» - «Нет» и т.д., то про пятый вагон смогли бы узнать после пяти вопросов, а про восьмой – после восьми. К проблеме поиска информации мы еще вернемся в нашем курсе.