Количество информации, получаемое от отдельного сообщения

Возникает вопрос о том, какую информацию содержит одно отдельное сообщение, один, а не совокупность сообщений, необходимых для полного выяснения состояния системы.

Количество информации получаемое от отдельного сообщения, зависит от вероятности события Р и определяется формулой

.

В соответствии с этой формулой, если Р=1,то I=0. То есть, если мы звоним человеку, который априори должен быть дома в 8 утра и он поднимает трубку, то объем полученной информации равен нулю.

При Р=1/2 количество информации, полученное от отдельного сообщения I=1 бит. Рассматриваемое при этом событие состоит в том, что система находится в одном из двух равновероятных состояниях – человек дома или на работе; загаданное число четное или нечетное; число от 1 до 8 находится среди меньших (1,2,3,4) чисел или больших чисел (5,6,7,8).

При Р→ 0, величина I→ ∞

Например, если мы звоним человеку в то время, как обычно он дома (в 7 утра) и он отсутствует, то такое сообщение вызывает массу вопросов. Поскольку вариантов вопросов много, то велика энтропия системы и сообщение содержит большое количество информации. Предположим, что Р=1/128. Тогда количество информации, которое содержит сообщение, равно 7 битам.

Это подтверждает положение, состоящее в том, что чем более неожиданным является сообщение, тем более информативным оно является. О сверхнеожиданных сведениях принято говорить, что это – сенсация.

Семантический подход к определению количества информации

Методы измерения количества информации на основе объемного и энтропийного подходов полностью игнорируют смысл (содержание) информации и её полезность для достижения цели (ценность).

Семантический подход связывает количество информации с её смыслом, содержанием. Согласно семантическому подходу содержание сообщения зависит от тезауруса получателя.

Понятие тезауруса является основным в семантическом подходе.

Тезаурус – в переводе с греческого означает “накопитель сокровищ”. Под тезаурусом понимается совокупность знаний, база знаний. Эта база знаний может храниться в памяти человека или в памяти компьютера. Тезаурусы, в частности, используются при усвоении и накоплении знаний человеком, при общении человека с человеком, или взаимодействии человека с компьютером. Тезаурусы используются при компьютерном переводе с одного языка на другой, при поиске научно-технической информации, при создании информационных моделей предприятий в автоматизированных системах управления и т.д.

Рассмотрим пример передачи информации получателям, имеющим различный тезаурус.

Обычно границы тезауруса являются нечёткими, размытыми. Характерным для тезауруса является его пополнение, расширение, развитие.

Пусть количество извлекаемой из сообщения информации пропорционально произведению двух показателей: интересно и понятно.

Если сообщение содержит некоторые специальные знания, то возможны следующие три характерные ситуации:

• для неспециалиста – эти знания не интересны и не понятны;

• для студентов, обучающихся по данной специальности – интересны и понятны;

• для специалистов – понятны, но не интересны, поскольку они и так уже всё знают.

Например знания по функциональному анализу – не интересны и непонятно студентам экономистам; понятны и интересны студентам – математикам; понятны, но неинтересны преподавателям – профессионалам в области функционального анализа.

Следующий пример – общение двух систем (в частности, двух человек) с различными тезаурусами.

Схема обмена информацией между двумя системами с использованием тезаурусов имеет следующий вид

а)

б) в)

Рис. 3.2. Схема обмена информацией между двумя системами с учетом их тезаурусов

а) структурная схема;

б) обмен информацией имеет место, т.к. тезаурусы пересекаются;

в) обмен информацией отсутствует, т.к. тезаурусы не пересекаются.

Для нормальной передачи семантической информации необходимо, чтобы тезаурусы систем пересекались. При общении людей это означает наличие общих интересов, общих знаний.

Если тезаурусы не пересекаются, то никакой передачи семантической информации не будет. При общении людей в этом случае говорят, что они имеют разные интересы или что они говорят на разных языках. Так, что если один человек владеет только русским, а второй – только английским, то они, естественно, не могут нормально общаться.

Метод изменения количества семантической информации пока что не выработал своих единиц измерения информации. Этот метод находится в периоде становления, развития, формирования.

Вообще процесс передачи, усвоения, переработки информации человеком является очень сложным процессом. Он зависит от образования человека, его жизненного опыта, интеллекта, культурного уровня, от профессиональных интересов, даже от настроения.