Основы теории информации
1. Понятие информации, виды информации. Свойства информации.
В переводе с латинского informatio означает «сведения, разъяснения, изложение».
В настоящее время не существует единого определения термина информация. Информация — совокупность данных, зафиксированных на материальном носителе, сохранённых и распространённых во времени и пространстве.
Инф не явл ни материей не энергией, в отличие от них она может возникать и исчезать. Понятие инф предполагает наличие 2х объектов – источника и приёмника инф, ктр передаётся в материально-энергетической форме в виде сигналов, распространяющихся в определенной среде.
Основные виды информации:
графическая или изобразительная — первый вид, для которого был реализован способ хранения информации об окружающем мире в виде наскальных рисунков, а позднее в виде картин, фотографий, схем, чертежей на бумаге, холсте, мраморе и др. материалах, изображающих картины реального мира;
звуковая — мир вокруг нас полон звуков и задача их хранения и тиражирования была решена с изобретением звукозаписывающих устройств в 1877 г.; ее разновидностью является музыкальная информация — для этого вида был изобретен способ кодирования с использованием специальных символов, что делает возможным хранение ее аналогично графической информации;
текстовая — способ кодирования речи человека специальными символами — буквами, причем разные народы имеют разные языки и используют различные наборы букв для отображения речи; особенно большое значение этот способ приобрел после изобретения бумаги и книгопечатания;
числовая — количественная мера объектов и их свойств в окружающем мире; особенно большое значение приобрела с развитием торговли, экономики и денежного обмена; аналогично текстовой информации для ее отображения используется метод кодирования специальными символами — цифрами, причем системы кодирования (счисления) могут быть разными;
видеоинформация — способ сохранения «живых» картин окружающего мира, появившийся с изобретением кино.
Свойства информации:
Достоверность – инф. достоверна если она отражает истинное положение дел.
Полнота – инф. полна если её достаточно для понимания и принятия решений
Ценность – ценная инф. зависит от того, на сколько она важна для решения задачи.
Своевременность – только своевременная полученная инф. может принести пользу.
Понятность – инф. становится понятной, если она выражена языком на ктр говорят те, кому предназначена эта инф.
Доступность – инф. должна преподноситься в доступной по уровню восприятию в форме.
Краткость – инф. должна излагаться сжато, без несущественных деталей.
2. Способы измерения информации. Вероятностный подход к измерению дискретной и непрерывной информации. Семантическая информация.
Измерение информации (меры информации)
Мера информации |
Единицы измерения |
Примеры |
Синтаксическая: шенноновский подход компьютерный подход |
Степень уменьшения неопределенности Единицы представления информации |
Вероятность события Бит, байт, Кбайт и т.д. |
Семантическая |
Тезаурус Экономически показатель |
Пакет прикладных программ, ПК ,компьютерные сети Рентабельность, производительность и т.д. |
Прагматическая |
Ценность использования |
Емкость памяти, производительность ПК, скорость передачи данных и т.д. Денежное выражение |
Алгоритмическая |
Минимальное число внутренних состояний машины |
Машина Тьюринга |
Вероятностный подход к измерению дискретной и непрерывной информации
В основе теории информации лежит предложенный Шенноном способ измерения количества информации, содержащейся в одной случайной величине, относительно другой случайной величины, Этот способ приводит к выражению количества информации числом.
Д
ля
дискретных случайных величин X
и Y
, заданных законами распределения
,
и совместным распределением
,
количество информации, содержащейся в
X
относительно Y,
равно
Для непрерывных
случайных величин, X
и Y
, заданных плотностями распределения
вероятностей
,
и
, аналогичная формула имеет вид
Очевидно, что
и, следовательно,
Семантическая мера информации.
Тезаурус- это совокупность сведений, которыми располагает пользователь или система.
В зависимости от соотношений между смысловым содержанием информации S и тезаурусом пользователя Sp. изменяется количество семантической информации Ic, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус.
при Sp≈0 пользователь не воспринимает, не понимает поступающую информацию; при Sp→ ∞ пользователь все знает, и информация ему не нужна.
Максимальное количество информации Ic потребитель приобретает при согласовании ее смыслового содержания S со своим тезаурусом Sp ( Sp = Sp opt) ,когда поступающая информация понятна пользователю и несет ему ранее не известные (отсутствующие в его тезаурусе) сведения.
Относительной мерой количества семантической информации может служить коэффициент содержательности C, который определяется как отношение количества семантической информации к ее объему:С= Ic / Vд.