Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Учебное пособие по курсу «Информатика». Ч.1. Учебное пособие
.pdf
2.2. Данные, сообщения, сигналы
21
.
методов
информация
.
динамическим объектом,
.
.
дуализм:
,
,
. уализма информации
,
, ,
Сигнал
-
;
.
2. Информация: формы, измерение, количество и качество
22
t
x(t), [4].
1. Непрерывные или аналоговые сигналы (
,
.
2. Дискретизированные или дискретно непрерывные сигналы
( 5
t
.
3. Дискретные по уровню или квантованные сигналы (
x=x
k+1
xk
.
4. Дискретные по уровню и по времени сигналы (
.
t
0
x(t)
Рис. 4.
t
0
x(t)
Рис. 5.
2.3. Меры информации
23
t
0
x(t)
Рис. 6.
t
0
x(t)
Рис. 7.
2.3. Меры информации
мерами.
синтаксическая мера -
семантическая мера ;
прагматическая мера
2.3.1. Синтаксическая мера
.
Синтаксическая мера ,
Объём данных (V
.
2. Информация: формы, измерение, количество и качество
24
дит (dit decimal digit
битах (bit binary digit).
B);
10 kB);
1 10 MB);
1 10 GB);
1 10 TB);
1 10 PB);
1 10 EB);
1 10 ZB);
1 10 YB).
Пример 1. Рассмотрим, какой объем данных занимают привычные
нам информационные объекты при двоичном кодировании:
)
;
(150
0,5 ;
,
-
1 ;
135 .
2.3. Меры информации
25
Количество синтаксической информации I
[7]
.
энтропией
,
H
I = H,
)
= H(
количество информации
-
()
,
).
2. Информация: формы, измерение, количество и качество
26
.
.
Пример 2. Рассмотрим классический пример подбрасывания мо-
неты. Монета симметрична, две стороны абсолютно равны, т.е. одинаково вероятно, что выпадет какая-то из них. Начальная неопределенность перед броском монеты характеризуется двумя возможными исходами: орел или решка. После того как монета упала, одна сторона оказалась сверху, получена полная ясность, всякая неопределенность исчезла
(стала равной нулю).
(1)
Pi i-; i
; N
(2)
:
(3)
формулой Хартли:
, (4)
N
:
2.3. Меры информации
27
битах (binary digit)
дитах (decimal digit).
-
).
.
0.
(4) N
)
(5)
i N
2 2 = - log2 4 = -
log28 = 3.
:
, (6)
i N
Пример 3. Рассмотрим пару электрических лампочек А и В, каждая
из которых независимо друг от друга может быть включена или выключена. Для такой системы возможны больше двух состояний:
0 0 1 1
0 1 0
1
Чтобы получить полную информацию о состоянии системы, необходимо задать два вопроса типа «да-нет»: включена ли лампочка А и
2. Информация: формы, измерение, количество и качество
28
включена ли лампочка В. Полная информация о такой системе определяется равной 2 битам, а число возможных состояний системы – 22 = 4.
Если система включает три лампочки, то для получения полной информации необходимо уже три вопроса, ответы, на которые принесут
3 бита информации. Количество состояний такой системы увеличивается до 23 = 8 и т. д.
.
.
.
N – m –
n –
Пример 4. Определим минимальное количество двоичных разрядов,
необходимое для кодирования одного символа русского алфавита (объемом
алфавита m = 33). Количество двоичных разрядов кода равно количеству
информации, которую несет один символ этого алфавита, представленному в битах. Один символ алфавита можно рассматривать как систему
с m равновероятными состояниями, так как он может принять одно из m
возможных значений (считаем, что вероятность появления всех символов
алфавита одинакова). Тогда полная информация об этой системе:
Поскольку бит является неделимой величиной, логарифм при вычис-
лении формулы Хартли всегда округляется до большего целого.
Как видим, количество информации, которую несет символ, со-
ставляет 6 бит и для представления символа русского алфавита необходимо 6 двоичных разрядов. Действительно, двоичный код длиной 5 символов имеет только 25 = 32 различных комбинаций и, соответственно, недостаточен для представления 33 букв заданного алфавита, а 6-символьный
двоичный код имеет уже 64 комбинации, 33 из которых можно использовать для кодирования русских букв.
2.3. Меры информации
29
Пример 5. Пусть по каналу связи передается сообщение из n симво-
лов алфавита объемом m. Поскольку количество возможных кодовых комбинаций длины n в этом алфавите будет равно
то при равной вероятности появления любой из них количество информации, полученной абонентом в сообщении, составит
.
Например, слово из 5 букв (n = 5) латинского алфавита (m = 26) будет
нести количество информации, равное
.
Коэффициент информативности
.
,
.
2.3.2. Семантическая мера
,
Тезаурусная мера
.
тезаурус
пользователя
. тезаурус
Ic
S
Sp.
2. Информация: формы, измерение, количество и качество
30
.
I
c
opt
S
p
S
p
Рис. 8.
Ic
Sp
Sp
Ic
S
Sp (Sp = S
p opt
,
), .
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]