Формула избыточности определяется как
. где І факт, — количество информации в данной совокупности исходов, а I макс.— количество информации в той же совокупности при условии, что все исходы оказались бы равновероятными. Совокупности исходов равной избыточности обладают тем свойством, что с увеличением количества исходов количество информации в них увеличивается.
оказались бы равновероятными. Совокупности исходов равной избыточности обладают тем свойством, что с увеличением количества исходов количество информации в них увеличивается.
Мы очень часто пользуемся избыточностью. Например, когда преподаватель несколько раз объясняет студентам трудное место, то это и есть пе что иное, как использование избыточности с точки зрения теории информации. То же самое имеет место при телефонном разговоре в условиях плохой слышимости, когда нам приходится произносить одну фразу несколько раз.
Избыточность играет большую роль при передаче сообщений. В каналах связи обычно действуют помехи (шумы), приводящие к искажению сообщений, к потере (снижению) количества информации. А это может сказаться на смысле передаваемого сообщения. Поэтому принимаются меры к сохранению необходимого количества и смысла информации, в частности широко используется увеличение избыточности сообщений, что может выражаться в повторении тех или иных элементов сообщения, всего сообщения или же в кодировании сообщения большим числом символов (знаков).
Если бы в каналах передачи информации не было помех, то можно было бы передавать максимальное количество информации, то есть сообщения с нулевой избыточностью. Однако наличие шумов (помех) ведет к тому, что избыточность специально завышается и величина ее зависит от уровня помех. Слишком низкая избыточность может привести к искажению сообщений, слишком высокая — к уменьшению скорости передачи информации по каналу связи. Дело в том, что каждый канал связи обладает определенной пропускной способностью, то есть через него можно передать некоторое максимальное количество информации в единицу времени. К. Шеннон сформулировал теоремы, которые устанавливают условия кодирования информации при передаче ее по каналам связи (без помех и с помехами).
Вполне понятно, что в нашу задачу не входит рассмотрение всех понятий статистической теории информации. Мы остановились лишь на тех из них, которые, как нам представляется, имеют отношение к выяснению природы информации.
Как уже отмечалось, основополагающие идеи статистической теории информации были изложены Шенноном еще в 1948 году. Но и до него ряд мыслей высказывались Р. Фишером, Л. Сцилардом, К. Кюпфмюллером, Р. Хартли, Г. Найквистом, В. А. Котельниковым. До создания статистической теории информации, которая дала метод количественного анализа сообщений, существовали определенные идеи об информации, которые необязательно покоились на вероятностных, статистических представлениях. Под информацией обычно понимали сообщения, сведения о чем-либо, которые получали или передавали люди. Первоначальные идеи об информации были преимущественно связаны с речью людей, со сведениями, которые человек получал в результате производственной, познавательной и иной деятельности.
Применение статистических, вероятностных методов не только сделало возможным количественное исследование сообщений, сведений. Оно поставило вопрос о расширении объема понятия информации. Действительно, статистическая теория информации отвлекается от требований осмысленности информации, от возможности ее использования человеком. С позиций этой теории можно считать, что информацию несет не только человеческая речь, но и вообще любые объекты и процессы, которые подчиняются статистическим закономерностям. Последние имеют место и в человеческом обществе, они присущи живой и неживой природе.
Вместе с тем из анализа статистической теории информации мы еще не можем сделать вывода о том, что информация — это всеобщее свойство материи.
Информация пока предстает перед нами как снятая неопределенность, связанная лишь со случайными процессами, а также с превращением возможностей в действительность, причем лишь тех из них, которые имеют место в случайных процессах (в статистических информационных процессах всегда происходит выбор: из некоторого множества возможностей в действительность превращается лишь часть). Уже .формула Шеннона выступает как операция превращения случайных величин , [— log р (Аi)] в неслучайную — среднее количество информации, что наталкивает на мысль о связи информационных процессов не только с чисто случайными, но и с неслучайными, необходимыми процессами, закономерностями, точнее, с превращением случайностей в необходимость. Однако из анализа статистической теории информации не вытекает, что информация может быть присуща необходимым процессам, например процессам, описываемым законами классической механики.
До недавнего времени считалось общепринятым, что теория информации — ветвь теории вероятностей. Это положение достаточно прочно вошло в математическую и философскую литературу. Так, Е. С. Вентцель отмечала, что «теория информации представляет собой не просто прикладную науку, в которой применяются вероятностные методы исследования, а должна рассматриваться как раздел теории вероятностей» 4. Н. И. Жуков также полагает, что современная количественная теория информации является «разделом математической теории вероятностей» 5,
Но такое заключение уже не отвечает современному уровню развития теории информации. В последние годы в связи с развитием невероятностных подходов в математических, семантических и других концепциях информации появилась иная, более широкая точка зрения на соотношение теории информации и теории вероятностей, на природу информации. Поэтому, анализируя природу информации, мы не можем ограничиваться только статистической теорией, а обязаны, по возможности, рассматривать все основные концепции (теории) информации