Лабораторная работа 1
.pdfЛабораторная работа 1. Количество и единицы измерения информации
Теоретическое обоснование
Единицы измерения информации
Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знания (энтропией). Если сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию. За единицу количества информации принято такое количество информации, которое содержит сообщение, уменьшающее неопределенность знания в два раза.
Такая единица является минимальной и названа бит. Существуют более крупные единицы измерения информации:
1 Байт=8 бит, 1 Килобайт=1024 байт=210 байт, 1 Мегабайт = 1024 Кбайт= 220 байт,
1 Гигабайт=1024 Мбайт=230 байт, 1Терабайт=1024 Гбайт= 240 байт,
1 Петабайт=1024 Тбайт=250 байт, 1Экзабайт=1024 Пбайт= 260 байт.
Задания:
1) Расставьте знаки <, =, > в следующей цепочке:
20 байт … 1000 бит … 1 Мбайт … 1024 Кбайт … 1 Гбайт.
2) Упорядочите величины по возрастанию:
1025 байт, 1 Кбайт, 1 Мбайт, 1023 Кбайт, 1 Тбайт, 1025 бит.
3) Выберите правильные ответы: 5 Мбайт - … меньше 5000 Кбайт, равны
5120 Кбайт, равны 512 Кбайт, больше 5000 Кбайт, больше 1 Гбайта?
4) Установите соответствия между единицами измерения информации?
1600 бит = |
|
2048 байт |
|
|
|
|
|
2 |
Кбайт = |
|
10240 Мбайт |
|
|
|
|
2 |
Мбайт = |
|
2048 Кбайт |
|
|
|
|
10 Гбайт = |
|
200 байт |
|
|
|
||
5) Найдите х из соотношений: |
|||
а)16х бит=32 Мбайт, |
б)8хКбайт=16 Гбайт |
||
Количество информации (энтропийный способ)
1. Равновероятные события. Любая система характеризуется своими состояниями, которые происходят в результате определенных событий.
События равновероятны, если при возрастающем числе опытов число состояний системы (например, «орла» и «решки» монеты) постепенно сближаются. Так, при бросании равносторонней четырехгранной пирамиды существует 4 равновероятных события, а при бросании шестигранного игрального кубика - 6 равновероятных событий.
Формула Хартли определяет количество информации I в битах для количества возможных равновероятных событий N следующим образом:
I=log 2 N. (1)
Для определения количества возможных событий, если известно количество информации, применяют обратную формулу:
N=2I. |
(2) |
Для вычисления значения логарифма с помощью калькулятора можно
использовать формулу |
I |
ln N |
. |
|
|||
|
|
ln 2 |
|
Задания: |
|
|
|
1)Чему равно наибольшее натуральное число, кодируемое 7 битами, 128, 127, 256, или 64?
2)Сколько информации содержится в одном разряде двоичного числа?
3)Какое количество информации содержит сообщение, что нужный файл находится на одном из 8 лазерных дисков?
4)Сообщение о том, что лекция будет на 10 этаже, несет 4 бита информации.
Сколько этажей в доме?
2. Неравновероятные события. Если в результате эксперимента события происходят с разными вероятностями, то события
неравновероятны. Например, если одна из сторон монеты будет более тяжелой, то она будет чаще выпадать. Или если из 10 карандашей будет 2
красных и 8 синих, то вероятность доставания красного карандаша будет значительно больше, чем синего.
Количество информации для одного из событий с различными
вероятностями определяется по формуле: |
|
|
I = log2 (1/p) , |
|
(3) |
где вероятность p= K/N, K – количество интересующего события, |
N– |
|
общее количество событий. |
|
|
Количество информации для событий с различными вероятностями |
||
определяется по формуле Шеннона: |
|
|
n |
|
|
I pi log2 pi (p1 log2 p1 p2 log2 p2 |
pn log2 pn ) , |
(4) |
i 1
где pi– вероятности отдельных событий.
Пример: В коробке лежит 8 ручек с черной пастой и 24 с красной. Сколько информации несет сообщение о том, что достали ручку с черной пастой?
Дано: Kч=8, Kк=24 . Найти Iч=? N=8+24=32всего ручек
Рч=8/32=1/4-вероятность доставания черной ручки
Iч=log2(1/1/4)=2 бита
Т.о. сообщение о том, что достали ручку с черной пастой, несет 2 бита информации.
Задания:
1)Студент на первом курсе получил 100 оценок. Сообщение о том, что он получил пятерку, несет 2 бита информации. Сколько пятерок студент получил на первом курсе?
2)В группе 30 студентов. За контрольную по информатике получено 15
пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации в
сообщении о том, что Иванов получил пятерку?
3)В коробке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать сообщение о цвете вынутого шарика.
4)Поступили заявки на оборудование из трех городов: А (10 заявок), В
40 заявок), С (30 заявок). Не удалось выполнить только одну из них. Какое
количество информации, содержится в сообщении о том, что не выполнена заявка из города В?
3. Алфавитный подход к измерению информации. Для человека количество информации зависит от ее понятности и новизны, т.е. с точки зрения уменьшения неопределенности наших знаний (энтропии). Любое техническое устройство работает с данными и использует алфавитный подход к измерению информации, так как сигналы кодируют определенные символы в соответствии с алфавитом. Мощность алфавита – полное количество его символов, включая буквы, цифры, знаки препинания и специальные символы. Чем больше мощность алфавита, тем большее количество информации несет один символ.
Предположим, что символы алфавита встречаются с одинаковой вероятностью и несут одинаковое количество информации. Для измерения
информации с точки зрения алфавитного подхода (когда количество не зависит от содержания, а зависит от мощности алфавита и количества символов в тексте) используется алгоритм:
1)Найти мощность алфавита – N.
2)Найти информационный объем одного символа Ic по формуле Хартли (1).
3)Найти количество символов в сообщении К.
4)Найти информационный объем всего сообщения (количество информации)
по формуле
I=Iс ∙К, |
(5) |
Пример: Найти объем информации, содержащейся в тексте из 1000
символов, написанном русскими буквами.
Решение: Используем алгоритм:
1)Найдем мощность алфавита N=33 русских прописных букв +33 русских строчных букв +21 спец.знаков=87 символов
2)Информационный объем одного символа по формуле (1):
Iс=log2 87=6,4 бит
3)Количество символов в сообщении К=1000
4)Информационный объем всего сообщения по формуле (5): I=6,4∙1000=6400 бит.
Задания: 1) Текст из 1000 символов написан на английском, на русском и на греческом языках. Сравнить объемы информации, содержащейся в текстах.
2) Ученик читает текст со скоростью 250 символов в минуту. Текст использует алфавит из 64 символов. Какой объем информации получит ученик, если непрерывно будет читать 30 минут?