13. Классификация мер информации.
Кажется очевидным, что одни сообщения содержат мало информации, а другие — много. Для измерения информации вводятся два параметра: количество информации I и объем данных VД. Количество информации имеет разные выражения и интерпретацию в зависимости от рассматриваемой формы адекватности. Каждой форме адекватности соответствует своя мера количества информации.
14. Синтаксические меры информации.
В основе всей теории информации лежит открытие, сделанное в 1928 г. американским инженером Р.Хартли и состоящее в том, что информация, передаваемая по каналам связи, допускает количественную оценку. Завершенный и полный вид этой теории придал в конце 1940-х гг. К.Шеннон.
Количество информации I на синтаксическом уровне невозможно определить без рассмотрения понятия неопределенности состояния системы. Подход Хартли основан на фундаментальных теоретико-множественных, по существу комбинаторных основаниях, а также нескольких интуитивно ясных и вполне очевидных предположениях.
Хартли принял «количество информации», передаваемое по каналу связи относительно двух равноправных исходов и снимающее неопределенность путем оказания на один из них, за единицу информации, получившую название «бит» (bit –binary digit – двоичный разряд).
Создатель статистической теории информации Клод Шеннон обобщил результат Хартли и его предшественников. Его труды явились ответом на бурное развитие в середине века средств связи: радио, телефона, телеграфа, телевидения. Теория информации Шеннона позволяла ставить и решать задачи об оптимальном кодировании передаваемых сигналов с целью повышения пропускной способности каналов связи, подсказывала пути борьбы с помехами на линиях и т.д.
Получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы. Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе . Мерой его неосведомленности о системе является функция H(), которая в то же время служит и мерой неопределенности состояния системы.
После получения некоторого сообщения β получатель приобрел некоторую дополнительную информацию Iβ(α), уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения β) неопределенность состояния системы стала Нβ(α). Тогда количество информации Iβ(α) о системе, полученной в сообщении β, определится как Iβ(α)= Н(α) - Нβ(α), т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.
Объем данных VД в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных: в двоичной системе счисления единица измерения – бит, в десятичной – дит. Коэффициент (степень) информативности (лаконичность) сообщения определяется отношением количества информации к объему данных, т.е. У = I/ VД, причем 0<У<1. С увеличением У уменьшаются объемы работ по преобразованию информации (данных) в системе, поэтому стремятся к повышению информативности, для чего разрабатываются специальные методы оптимального кодирования информации.
результатов состоит в согласовании результатов с целью исследования, сформулированными требованиями к результату и принятии решения об использовании результатов либо об уточнении модельных представлений и формулировки задачи.