Лекция 1. Базовые понятия информации Введение
Мы начинаем первое знакомство с величайшим достижением нашей цивилизации, стоящем в одном ряду с изобретением книгопечатания и открытием электричества – компьютером. Сначала мы вспомним базовые понятия информатики, как науки, изучающей основные аспекты получения, хранения, преобразования и передачи информации.Затем мы раскроем сущность, принцип работы компьютера как технического устройства. Затем мы изучим наиболее оптимальные способы соединений компьютерных устройств и технологий с целью получения максимальной эффективности хранения, обработки и передачи информации.
Особенностью нашего курса будет пристальное внимание к фундаментальным аспектам компьютерных и сетевых технологий. Еще одна особенность, мы будем помнить, что ПК давно перестал быть просто вычислителем. Это универсальная система обработки больших и разнородных информационных потоков. А что такое информационный поток? Или более конкретно - Что такое информация?
В сотнях книг и учебниках это понятие трактуется по-разному. А ведь все мы интуитивно понимаем, что это такое. В чем здесь дело? А дело в том, что понятие информации стоит в одном ряду с такими фундаментальными понятиями как энергия, вещество, энтропия, время. Действительно, в природе существует два фундаментальных вида взаимодействия:обмен веществом и обмен энергией(не будем вдаваться в тонкости фактической эквивалентности этих двух явлений). Фундаментальность их проявляется в том, что все остальные взаимодействия происходят только посредством этих взаимодействий. Эти два взаимодействия являютсясимметричнымии подчиняются фундаментальномузакону сохранения – сколько вещества и/или энергии один объект передал другому, столько он потерял, а другой приобрел (рассматриваются замкнутые системы, в которых потери можно охарактеризовать просто другими видами взаимодействия).
Когда в процессе взаимодействия приобретения и потери НЕ совпадают, НЕ равны – такое взаимодействие называют несимметричным. Очевидно, что в предельном случае несимметричного взаимодействия при передаче некоторой субстанции между объектами один из них ее приобретает, а другой НЕ теряет.
Исходя из этого, попробуем выделить необходимый и достаточный признак, по которому можно будет определить, относится то или иное явление к обмену веществом/энергией или к обмену информацией. В этом контексте сформулируем наиболее общее свойство информации.
Любое взаимодействие между объектами, в процессе которого один приобретает некоторую субстанцию, а другой ее не теряет называется ИНФОРМАЦИОННЫМ ВЗАИМОДЕЙСТВИЕМ. При этом передаваемая субстанция называется ИНФОРМАЦИЕЙ.
Отсюда следуют некоторые очевидные свойства информации:
если энергия определяет возможность совершения действия, то информация определяет возможность целесообразного выбора этого действия;
информация не может существовать вне взаимодействия объектов;
информация не теряется ни одним из них в процессе этого взаимодействия;
информация устраняет неопределенность, предоставляет человеку или техническому устройству возможность сделать выбор в пользу одного из нескольких равноправных вариантов.
Впервые понятие информации ввел американский математик Клод Шеннон, рассматривая процесс передачи сообщения между двумя точками в 1948 г. как численную меру неопределенности или неупорядоченности, с которой посланное сообщение прибывает в пункт назначения. Он назвал этот параметр энтропией, применив термин из термодинамики, который там используется для оценки неупорядоченности материи и характеризует несимметричные взаимодействия. Более того, Шеннон предложил формулу, позволяющую определить количество информации, содержащееся в сообщении:
I = Log 2 P
где I– количество информации в битах или энтропия вероятности;
P– вероятность, величина неопределенности, число возможных вариантов.
М
одель
передачи сообщения по Шеннону
Отметим одну интересную особенность этого выражения: символ с высокой вероятностью появления кодируется несколькими битами, тогда как маловероятный символ требует многих бит. Другими словами, энтропия системы, объекта с большим числом степеней свободы очень велика, больше величина хаоса, беспорядка. Однако не всем и не сразу стала очевидной связь количества информации и энтропии, попробуем разобраться в этом.
В работах Планка, а главным образом Больцмана понятие энтропии трактовалась, как мера неумолимой тенденции всякой системы двигаться от менее вероятного состояния кболее вероятному состоянию. Наиболее вероятным состоянием системы является РАВНОВЕСНОЕ состояние, а любая система движется к состоянию равновесия. Содержание второго постулата (принципа) термодинамики формулирует этот закон более строго – энтропия замкнутой системы не убывает (растет для необратимых процессов и остается постоянной для обратимых:
Hs = k Ln Wt
где k– постоянная Больцмана;
Wt– термодинамическая вероятность состояния системы.
Сравним это выражение с определением количества информации данное Шенноном. Очевидно сходство обоих выражений и это сходство носит фундаментальный характер. Как мы уже говорили, энтропия является функцией статистического состояния системы (мерой ее неупорядоченности, хаоса). Пусть имеется некоторая система, энтропия которой равна Ннач. После получения некоторой информации (либо о состоянии объекта, либо о взаимодействии с внешней средой) энтропия должна уменьшаться (растет порядок, уменьшается хаос). В широком смысле можно сказать, что информация, принимаемая объектом,необходимоявляется для него целесообразной, в противном случае это – дезинформация. Следовательно, количество полученной информации можно определить следующим образом:
I = Н нач – Н кон
Количество получаемой объектом информации численно равно неопределенности по выбору действий ведущих к достижению целей объекта или энтропии устраненной благодаря сообщению. Очевидно, что в данном случае речь идет о синтаксической мере информации. Информация устраняет неопределенность, структурирует систему.
Пример:
Примитивные формы информационного взаимодействия в чистом виде можно выделить уже в неживой природе. Действительно, каталическое взаимодействие. Объект, называемый катализатором изменяет скорость протекания химической реакции между группой других объектов, сам катализатор остается неизменным по всем своим свойствам. Ярчайшим примером информационного взаимодействия в ходе которого уменьшается энтропия всей системы, а химические, физические свойства катализатора остаются неизменными – является реакция кристаллизации насыщенного солевого раствора в присутствии кристаллической «затравки».
Обратите внимание на еще одно немаловажное свойство информации – изменение возможно и без получения информации, но при этом оно будет менее вероятным.