1. Измерение информации

Определить понятие «количество информации» довольно сложно. В решении этой проблемы существуют два основных подхода. Исторически они возникли почти одновременно. В конце 40-х годов XX века один из основоположников кибернетики американский математик Клод Шеннон развил вероятностный подход к измерению количества информации, а работы по созданию ЭВМ привели к «объемному» подходу.

1.1 Содержательный подход

Количество информации, заключенное в сообщении, определяется объемом знаний, который несет это сообщение получающему его человеку. Сообщение содержит информацию для человека, если заключенные в нем сведения являются для этого человека новыми и понятными и, следовательно, пополняют его знания.

При содержательном подходе возможна качественная оценка информации: полезная, безразличная, важная, вредная... Одну и ту же информацию разные люди могут оценить по-разному, поэтому имеет место такой подход, как неизмеряемость информации в быту (информация как новизна для получателя).

Прежде, чем измерять значение какой-либо физической величины, надо ввести единицу измерения. У информации тоже есть такая единица – бит, но смысл ее различен при измерении информации в рамках разных подходов к определению понятия «информация».

Вы получили некоторое сообщение, например, прочитали статью в журнале. В этом сообщении содержится какое-то количество новых для Вас сведений. Как оценить, сколько информации Вы получили? Другими словами, как измерить информацию? Можно ли сказать, что чем больше статья, тем больше информации она содержит?

Разные люди, получившие одно и то же сообщение, по-разному оценивают его новизну и информационную емкость. Это происходит оттого, что знания людей о событиях, явлениях, о которых идет речь в сообщении, до получения сообщения были различными. Поэтому те, кто знал об этом мало, сочтут, что получили много информации, те же, кто знал больше, могут сказать, что информации не получили вовсе. Таким образом, количество информации в сообщении, зависит от того, насколько ново это сообщение для получателя.

Количество информации в одном и том же сообщении должно определяться отдельно для каждого получателя, т.е. иметь субъективный характер. Но субъективные вещи не поддаются сравнению и анализу, для их измерения трудно выбрать одну общую для всех единицу измерения. Поэтому, с точки зрения новизны, мы не можем однозначно и объективно оценить количество информации, содержащейся даже в простом сообщении. Что же тогда говорить об измерении количества информации, содержащейся в научном открытии, новом музыкальном стиле, новой теории общественного развития. Поэтому, когда информация рассматривается как новизна сообщения для получателя, вопрос об измерении количества информации не ставится.

1.2 Объемный подход

Объемный (алфавитный) подход к измерению информации позволяет определить количество информации, заключенной в тексте. Алфавитный подход является объективным, т.е. он не зависит от субъекта (человека), воспринимающего текст.

Он основан на подсчете числа символов в сообщении, т.е. связан только с длиной сообщения и не учитывает его содержания.

Длина сообщения зависит от числа знаков, употребляемых для записи сообщения. Например, слово «мир» в русском алфавите записывается тремя знаками, в английском – пятью (Peace), а в КОИ-8 (код обмена информацией 8 битный) – сорока битами.

Множество символов, используемых при записи текста, называется алфавитом. Количество символов алфавита называется мощностью (размером) алфавита.

Один символ алфавита мощностью 256 (2⁸) несет в тексте 8 бит информации. Такое количество информации называется байт. Алфавит из 256 символов используется для представления текстов в компьютере: 1 байт = 8 бит.

В двоичной системе счисления знаки 0 и 1 будем называть битами. В компьютере бит является наименьшей возможной единицей информации. Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе, определяется количеством требуемых для такой записи двоичных символов, целым количеством бит (в отличие от вероятностного подхода).

Для удобства использования введены более крупные, чем бит, единицы количества информации. Так, двоичное слово из восьми знаков содержит один байт информации. 1024 байта образуют килобайт (Кбайт), 1024 килобайта – мегабайт (Мбайт), а 1024 мегабайта – гигабайт (Гбайт).

Между вероятностным и объемным количеством информации неоднозначное соотношение. Далеко не всякий текст, записанный двоичными символами, допускает измерение объема информации в кибернетическом смысле, но заведомо допускает его в объемном. Если некоторое сообщение допускает измеримость количества информации в обоих смыслах, то это количество не обязательно совпадает, при этом кибернетическое количество информации не может быть больше объемного.

Пример 1.2.1 Книга, набранная с помощью компьютера, содержит 150 страниц; на каждой странице – 40 строк, в каждой строке – 60 символов. Каков объем информации в книге?

Решение: Мощность компьютерного алфавита равна 256. Один символ несет 1 байт информации. Значит, страница содержит 40 х 60 = 2400 байт информации. Объем всей информации в книге (в разных единицах):

2 400 х 150 = 360 000 байт.

360 000/1024 = 351,5625 Кбайт.

351,5625/1024 = 0,34332275 Мбайт.

ЗАДАЧИ

1. Некоторый алфавит состоит из 8 букв. Какое количество информации несет одна буква этого алфавита?

2. Сообщение, записанное буквами из 64-х символьного алфавита, содержит 20 символов. Какой объем информации оно несет?

3. Информационное сообщение объемом 1,5 Кбайта содержит 3 072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?

4. Объем сообщения, содержащего 2 048 символов, составил 1/512 часть Мбайта. Каков размер алфавита, с помощью которого записано сообщение?

5. Сколько символов содержит сообщение, записанное с помощью 16-ти символьного алфавита, если объем его составил 1/16 часть Мбайта?

6. Сколько килобайт в сообщении, содержащем 12 288 бит?

7. Сколько килобайт составит сообщение из 384 символов 16-ти символьного алфавита?

8. Для записи текста использовался 256-символьный алфавит. Каждая страница содержит 30 строк по 70 символов в строке. Какой объем информации содержат 5 страниц текста?

9. Сообщение нанимает 3 страницы по 25 строк. В каждой строке записано по 60 символов. Сколько символов в использованном алфавите, если все сообщение содержит 1125 байт?

10. Для записи сообщения использовался 64-х символьный алфавит. Каждая страница содержит 30 строк. Все сообщение содержит 8 775 байт информации и занимает 6 страниц. Сколько символов в строке?

11. Сообщение занимает 2 страницы и содержит 1/16 Кбайта информации. На каждой странице записано 256 символов. Какова мощность использованного алфавита?

12. Сколько двоичных разрядов потребуется для хранения и записи 1 бита, 5 бит, 16 бит?

13. ДНК человека можно представить как некоторое слово четырехбуквенного алфавита, где буквы соответствуют нуклеотидам. Определить, какое количество информации содержит ДНК, если она состоит примерно из 1,5×1023 нуклеотидов.

14. Сообщение, записанное буквами 64-символьного алфавита, содержит 20 символов. Какой объем информации оно содержит?

15. На книжном стеллаже 16 полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга?

16. Страница книги состоит из 50 строк по 50 символов в строке. Чему равен информационный объем данной книги, если в ней 345 страниц (Ответ привести в Мб).

17. Сколько страниц машинописного текста (60 символов, 40 строк) содержится в текстовом файле объемом 500 Kб?

18. Подсчитайте информационный объем сообщения «Закончилась сессия!» (с точки зрения технического подхода, то есть, не учитывая смысл сообщения). Выразите этот объем в битах, байтах, килобайтах.

19. Для записи текста используются только строчные буквы русского алфавита и «пробел» для разделения слов. Какой информационный объем имеет текст, состоящий из 2 000 символов (одна печатная страница)?

20. Вычислить информационный объем текста размером в 2 000 символов, в записи которого использован алфавит компьютерного представления текстов мощностью 256.

21. Необходимо вычислить количество информации, содержащейся на одной странице набранного на компьютере текста. Текст состоит из 50 строк по 60 символов. Вычислить количество информации на 10 страницах.

22. Объем информационного сообщения 12 288 бит. Сколько это будет в байтах, Килобайтах, Мегабайтах?

23. Мощность некоторого алфавита равна 64 символам. Какой объем информации содержится в тексте, содержащем 100 символов?

24. Изображение на экране содержит 128 х 64 точек. Каждая точка может иметь один из 256 оттенков. Каков минимальный объем памяти, необходимый для хранения этого изображения?

25. Сообщение объемом информации 0,25 Кбайт содержит по 128 символов на каждой из 4 страниц. Чему равна мощность использованного алфавита?

26. Определить количество байт, переданных по каналу с пропускной способностью 100 Мбит/с за 4 секунды.

27. Сообщение занимает 3 страницы по 25 строк. Каждая строка содержит 60 знаков. Информационный объем сообщения – 1125 байт. Какое количество символов использовано для записи данного сообщения?

28. Какое количество информации, необходимо для кодирования оценок «неудовлетворительно», «удовлетворительно», «хорошо» и «отлично»?

29. Два сообщения содержат одинаковое количество символов. Количество информации в первом тексте в 1,5 раза больше, чем во втором. Известно, что число символов в каждом алфавите не превышает 10 и на каждый символ приходится целое число бит. Определите мощность второго алфавита.

30. Требуется закодировать информацию объемом 1 000 бит с помощью алфавита, содержащего 16 знаков. Определить минимальную длину закодированного сообщения.