14. Вероятностная оценка количества информации (по Хартли Шеннону). Примеры. Энтропия и информация.

Количеством информации называют числовую характеристику сигнала, которая не зависит от его формы и содержания и характеризует степень неопределенности, которая исчезает после выбора (получения) сообщения в виде данного сигнала.

Идеализированную модель ситуации называют опытом, а возможный вариант результата опыта – исходом. С проведением опыта связана некоторая неопределенность. Взять опыт с двумя шарами разного цвета (например черный и белый), находящимися в урне, то цвет вынутого шара заранее предсказать нельзя. Ни один из вероятных исходов не имеет преимуществ перед другим. Тогда говорят, что исходы равновозможны или равновероятны.

Определим вероятность как число, характеризующее меру потенциальной возможности осуществления. .

Впервые количественную оценку неопределенности ввел в 1928 году американский ученый Хартли для опыта Х с различными исходами H(X)=k*logan, где X – информативный параметр сигнала; k- коэффициент пропорциональности; n- число возможных выборов; a- основание логарифма. «а» обычно используют равное двум. Полученная при этом единица измерения количества информации называется битом. Однако в оценке Хартли не учтены вероятности различных исходов. Шеннон ограничил рамки применимости оценки Хартли случаем, когда все н исходов в опыте Х равновероятны, а затем применил формулу к равновероятным исходам, усреднив полученные неопределенности по всем исходам.

Интуитивно ощущается связь между заключенной в опыте неопределенность и информацией об исходе – чем больше изначальная неопределенность исхода, тем больше информации о его фактическом наступлении, т.е. понятие энтропии тесно связано с понятием количества информации, под которым понимается мера снятия неопределенности в процессе получения сигнала адресатом.

Количество информации тем больше, чем больше свобода в выборе сообщения, т.е. чем более неопределенно или менее вероятно передаваемое сообщение. Энтропия заранее известного сигнала равна нулю.

Энтропия есть мера недостатка информации. Ее величина тем больше чем более вероятно рассматриваемое состояние. В то же время информации тем больше, чем менее вероятно передаваемое сообщение.

15. Оценка качества информации. Основные показатели. Оценка адекватности.

Основные показатели оценки качества информации:

1.Достаточность сведений для информационного обеспечения решаемой задачи.

2.Адекватность информации, т.е. соответствие текущему состоянию объектов или процессов.

3.Релевантность или чистота информации, т.е. доля полезной информации в общем ее объеме.

4.Важность, оцениваемая как с точки зрения важности самих задач, для которых она предназначена, так и с точки зрения ценности информации, используемой при их решении.

5.Толерантность, т.е. форма представления информации с точки зрения удобства восприятия и использования в процессе решаемой задачи.

Оценка адекватности.

Адекватность информации – это определенный уровень соответствия созданного с помощью полученной информации образа реальному объекту, процессу или явлению. Адекватность информации определяется двумя характеристиками: а) объективностью съема информации о предмете, процессе или явлении; б) продолжительностью интервала времени между началом съема информации и текущим моментом, т.е. до момента оценки ее адекватности. Объективность полученной информации, т.е. насколько точно отражает информация исследуемый процесс или предмет, в свою очередь, зависит от способа ее получения и качества ее реализации.

Для оценки адекватности информации по длительности интервала между моментом начала съема информации и текущим моментом пользуются известным в теории информации законом старения информации.

16. Оценка полноты, релевантности, толерантности информации. Для оценки важности используется коэффициент, который характеризует значимость как с точки зрения задач, так и с точки зрения обработки. К этим аспектам соответствуют две группы критериев:

1. а) Квз – коэффициент важности задач.

б) Киз - коэффициент важности степени информации.

2. а) Ксв - характеризует стоимость восстановления информации.

б) Кпи - потеря информации в процессе обработки под воздействием помех.

Кви=f(Квз, Киз, Ксв, Кпи)

Для оценки нужно знать функцию f, и уметь рассчитывать коэффициент.

Полнота (достаточность) информации – относительный показатель поскольку информация оценивается применительно к определенной задаче или группе задач. Необходимо заранее составить перечень сведений, требуемых для решения конкретной задачи. Это должна быть полная и хорошо структурированная совокупность данных, необходимых для информационного обеспечения объекта в соответствии с его целевым назначением.

Для оценки полноты информации обозначим через dmv элемент находящийся в мютой строке и нютом столбце рассматриваемого компонента соответствующей объекто – характеристической таблице (ОХТ), причем d_mv =1, если по данному элементу информация имеется; 0-в противном случае.

Тогла в качестве меры коэффициента полноты информации в данной ОХТ можно принять величину: K_n= , где m- число строк, а n – число столбцов рассматриваемой ОХТ.

Если учесть значимость каждого из элементов, то в качестве меры взвешенной полноты информации в рассматриваемой ОХТ можно принять величину:K_Bⁿ .Релевантность есть показатель, характеризующий долю полезной информации в ее общем объеме V.

Коэффициент релевантности К = , где N_p- количество полезной информации, N_o- общий размер информации.

Количественная оценка такого показателя затруднительна. Заметим, что различают два вида информации – документальную и фактографическую. К первому относят источники, где могут быть необходимые данные, документы о фактах, а ко второму – собственно факты, т.е. элементы информации, пригодные для непосредственного использования.

Толерантность – способ представления информации с точки зрения ее использования потребителем характеризуется временем на извлечение, средствами, затраченными на извлечение информации, средствами отображения, возможностью восприятия информации и др. подходы к оценке толерантности являются достаточно сложными.