Измерение информации
Меры информации
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Синтаксическая |
|
|
|
|
Семантическая |
|
|
|
Прагматическая |
|
|
||||
|
мера |
|
|
|
|
мера |
|
|
|
мера |
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Объем данных
VД
Количество
информации Iβ(α)
Количество
Информации
IC = C * VД
Основы информатики |
11 |
Синтаксическая мера информации
Объем данных VД
Объем данных в сообщении измеряется количеством символов (разрядов) в этом сообщении.
Например:
в двоичной системе счисления единица измерения – бит (bit - binary digit - двоичный разряд);
в десятичной системе счисления единица измерения – дит (десятичный разряд).
Основы информатики |
12 |
Синтаксическая мера информации
Количество информации I
Количество информации на синтаксическом уровне определяют с помощью понятия неопределенности состояния системы (энтропии системы).
Iβ(α) = H(α) – H (α)
α – априорные (предварительные) сведения о системе;
H(α) – энтропия системы, мера недостающей информации о системе; β – сообщение, дополнительные сведения о системе;
H ( ) – неопределенность состояния системы после получения сообщения ; Iβ(α) – количество информации о системе, полученной в сообщении .
Если H ( ) = 0, то Iβ(α) = H(α)
Основы информатики |
13 |
Синтаксическая мера информации
Формула Шеннона для энтропии
N
H ( ) Pi log Pi
i 1
где
N – количество возможных состояний системы;
Pi – вероятность того, что система находится в i-м состоянии.
Если все состояния системы равновероятны (вероятности Pi =1/N), то энтропия определяется соотношением
N |
1 |
|
1 |
|
|
H ( ) |
log |
|
|||
N |
N |
||||
i 1 |
|
||||
Основы информатики |
14 |
Синтаксическая мера
информации
Информация в компьютере кодируется числовыми кодами в той или иной системе счисления. Одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта:
N = mn
где
N – число всевозможных отображаемых состояний системы;
m – основание системы счисления (разнообразие символов, применяемых в алфавите);
n – число разрядов (символов) в сообщении.
Например:
N = 28 = 256 – в одном байте (8 разрядов или битов) можно закодировать 256 различных символов
N = 216 = 65536 – в двух байтах (16 разрядов)
Основы информатики |
15 |
Синтаксическая мера информации
Коэффициент (степень) информативности
(лаконичность) сообщения определяется отношением количества информации к объему данных
Y = I / VД , причем 0<Y<1.
Основы информатики |
16 |
Семантическая мера информации
Тезаурус – это совокупность сведений, которыми располагает пользователь или система.
Зависимость количества семантической информации, воспринимаемой потребителем, от его тезауруса IС = f (SР)
Iс
IС = max
IС – количество семантической информации SР – тезаурус пользователя
при SР = 0 пользователь не воспринимает, не понимает поступающую информацию;
при Sp пользователь всё знает и поступающая информация ему не нужна.
при Sp = Sp opt поступающая информация
Sp opt |
Sp |
понятна пользователю и несет ему ранее не |
|
известные (отсутствующие в его тезаурусе) |
|||
|
|
||
|
|
сведения. |
Основы информатики |
17 |
Семантическая мера информации
Коэффициент содержательности C – есть отношение количества семантической информации к ее объему:
C = IС / VД
Основы информатики |
18 |
Прагматическая мера информации
определяет полезность информации (ценность) для достижения пользователем поставленной цели.
величина относительная, обусловленная особенностями использования этой информации в той или иной системе.
измеряется в тех же самых единицах (или близких к ним), в которых измеряется целевая функция.
Основы информатики |
19 |
Прагматическая мера
информации
Пример
В экономической системе прагматические свойства (ценность) информации можно определить приростом экономического эффекта функционирования, достигнутым благодаря использованию этой информации для управления системой:
IП (y) = П(y/ ) - П(y), где
IП ( ) – ценность информационного сообщения для системы управления y;
П( ) – априорный экономический эффект функционирования системы управления y;
П( / ) – ожидаемый эффект функционирования системы y при условии, что для управления будет использована информация, содержащаяся в сообщении .
Основы информатики |
20 |