Государственное образовательное учреждение высшего профессионального образования кгту

Филиал КГТУ в г.Железногорске

КАФЕДРА АВТОМАТИЗИРОВАННЫХ СИСТЕМ

ОБРАБОТКИ ИНФОРИМАЦИИ И УПРАВЛЕНИЯ

Теория информации

(НАЧАЛЬНЫЙ КУРС ЛЕКЦИЙ)

Учебное пособие

на 225 листах

Железногорск, 2006

Аннотация.

Представленный ниже материал

– является кратким изложением лекций по теории информации, читаемых автором в пятом семестре для студентов факультета информа-ционных технологий филиала КГТУ в городе Железногорске, и

– предлагается в качестве учебного пособия при изучении

«Начального курса теории информации».

Пособие представляет собой доступное изложение основных понятий и теорем теории информации. Оно состоит из ВВЕДЕНИЯ, трёх тематических разделов: СООБЩЕНИЕ, СИГНАЛ, КАНАЛ СВЯЗИ и

МАТЕМАТИЧЕСКОГО ДОПОЛНЕНИЯ.

Во ВВЕДЕНИИ даётся предельно краткий феноменологический анализ окружающей человека объективной реальности, в результате которого в ней (в мире в целом) выделяется явление, которое далее становится объектом изучения. Во ВВЕДЕНИИ же неоднократно уточняется:

• что конкретно (какие стороны и отдельные свойства выделенного в ходе анализа явления) станет предметом особого внимания в предлагаемом здесь начальном курсе теории информации, а

• что останется нерассмотренным потому, что на самом деле является предметом изучения других наук об информации и об устройстве окружающего нас мира вообще.

В тематических разделах настоящего пособия рассматриваются назван-ные в заголовке соответствующего раздела основополагающие понятия ста-тистической теории связи (теории информации). В соответствии с характе-ром этой теории, такое рассмотрение заключается в выявлении содержания и объёма основных понятий, в построении математических моделей стоя-щих за каждым из таких понятий реальных явлений, а также – в знакомстве с основными теоремами, которые определяют отношения между этими явле-ниями реальности.

В связи с отмеченной выше особенностью, в рамках пособия предус-мотрено МАТЕМАТИЧЕСКОЕ ДОПОЛНЕНИЕ, которое, строго говоря, дополнением к теории информации не является. Оно содержит краткие (в качестве напоминания) сведения из тех разделов математики, которые ис-пользуются при построении упомянутых, моделей, то есть служат матема-тическим «каркасом» статистической теории информации.

Введение.

При общении друг с другом, стремясь к взаимопониманию, люди тща-тельно подбирают подходящие к случаю слова – слова, способные точно вы-разить высказываемые при таком общении мысли. Но хорошо известно, что возможности слова в этом смысле ограничены. Например, любое одиноко прозвучавшее вдруг слово практически бессмысленно. Не потому, что это слово может обозначать (как, например, слово «коса») очень разные вещи, а потому что одна и та же вещь может быть неожиданно разной.

Действительно, что может обозначать, например, простое и часто употребляемое в разговорном языке, но внезапно и одиноко прозвучавшее слово «стол»? Очевидно, – ничего определенного.

Слово оказывается правильно воспринятым человеком (в разговоре или в тексте) только потому, что оно «будит» в сознании воспринимающего его человека вполне определенный комплекс представлений, привязанных в ре-зультате предшествующего жизненного опыта этого человека именно к это-му слову. Вот этот комплекс представлений и составляет (образует собой) объем, структуру и содержание понятия, которое данный человек (вслед за остальным человечеством) давно обозначил для себя услышанным только что словом.

Понятие формируется в сознании каждого человека в процессе его ин-дивидуального воспитания, а по мере накопления человеком личного жиз-ненного опыта наполняется всё новым и новым содержанием, приобретает новые оттенки – становится для этого человека более содержательным и многогранным. В начале жизни «стол» – это только обеденный стол. Поз-же это слово может обозначать: письменный, ломберный, слесарный, вегета-рианский, шведский, хирургический, шахматный (столик) и т.д. А у И. А. Крылова: «и под каждым ей кустом был готов и стол и кров» в это слово вложен уже несколько иной смысл. Тот же, «стол», что в словосочетании «… стол в пансионате был приличным…».

Услышав определённое слово в плавной осмысленной речи, которая звучит в конкретной обстановке, легко понять, о чем идет речь, хотя в обы-денном языке (в чём мы только что убедились) слово «стол», например, мо-жет означать: праздничный стол, игральный стол в казино, слесарный стол в мастерской и очень многое другое. Осмысленным, (имеющим ясный и точ-ный смысл) его делают конкретная обстановка, тема разговора и сопутствую-щие (обозначающие дополнительные признаки стола) слова, – все, что и на-зывают контекстом.

Понятие до разговора уже имелось в сознании человека. Оно туманно и смутно активизировалось во всем его объеме в тот момент, когда обозна-чающее его слово едва коснулось слуха воспринимающего его человека. Ко-да же сознание восприняло и слово, и весь контекст, понятие четко конкре-тизировалось. При этом из всего объёма понятия сознанием выделяется только та его часть, та грань его многозначности, которая соответствует данному контексту. Только в определённом контексте слово полностью и чётко реализует своё предназначение, обретая определенный смысл.

В окружающем человека внешнем мире (в реальной действительности) понятию соответствует определенная вещь или явление, в языке – слово. Од-ну и ту же вещь или явление разные люди в соответствии со своим личным социальным опытом воспринимают по-разному, а слово, которым в языке названа эта вещь, – для всех одно. В связи с этим, хорошее и быстрое взаи-мопонимание людей одного поколения, одного круга весьма вероятно. И, на-оборот, при общении людей разного воспитания, разных поколений, чье вос-питание и жизненный опыт по условию различны, с взаимопониманием воз-можны проблемы. Потребуются дополнительные слова и время.

Таким образом, слово – это символ, которым люди договорились обо-значать определенную вещь или явление в окружающем их мире, общеиз-вестный, но «условный ярлык», который в сознании каждого человека «наве-шен» на сформировавшееся в этом сознании понятие.

Прозвучавшее в определенном контексте слово для каждого человека значит ровно то, что содержит понятие, которое сформировалось в его голове в процессе личного общения этого человека с обозначенным этим словом реальной вещью (предметом), событием (явлением) и с миром в целом.

Итак, подведем первый итог.

Вещи и явления в окружающем человека мире – объективны, индивидуальный человеческий опыт, накопленный в сознании человека в форме понятий и их взаимоотношений, – субъек-тивен, а слова – условные символы, которыми люди дого-ворились обозначать вещи и явления, чтобы понимать друг друга.

Как мы убедились выше на простом примере с обыденным житейским словом «стол», соответствующее ему понятие содержательно и многогран-но. И в этом его богатом содержании для одних людей ближе к поверхности (первым «всплывает» в сознании) шведский стол отеля на Багамах, а для других – слесарный стол в мастерской. Но в разговоре люди отлично понима-ют друг друга, – выручает контекст.

Между тем, в разговорном языке не все так просто, как со словом «стол». Возьмем, например, слово «клетка». Оно многозначно. Все отлично понимают словосочетания: «тетрадь в клетку», «в клетке – попугай» или «грудная клетка». Здесь снова выручает контекст, который уменьшает мно-гозначность слова и она (многозначность) перестаёт быть помехой для вос-приятия смысла этого слова. Но вот звучит: «клеточная мембрана», и здесь суть словосочетания поймут не столь многие, как в случае с попугаем. И дело здесь не в многозначности слова «клетка». В данном контексте слово «клет-ка» не просто имеет другое значение. Здесь оно обозначает не житейское по-нятие, а научное. Здесь слово «клетка» – это научный термин, уместный не в обыденной беседе, а в тексте научной или, по крайней мере, научно-по-пулярной статьи по биологии, где речь идет о живой клетке. Это – научное понятие, которое по своему статусу выше, а по содержанию – изначально точнее и конкретнее понятия житейского, – понятия, которое формируется и используется в языке на уровне обыденного (бытового) общения.

Таким образом, мы выявили два вида понятий:

обыденное понятие и научный термин.

Более того, некоторые научные понятия на самом деле имеют в еще более высокий статус – они в рамках своей науки являются не просто науч-ными терминами, а фундаментальными научными понятиями. Именно та-ким является в биологии понятие «живая клетка», вобравшее в себя итоги более полутора веков интенсивного развития науки о жизни.

«Живая клетка» – фундаментальное понятие современной биологии. Очевидно, что его статус выше статуса просто научного понятия. Более того, некоторые авторы склонны называть научные понятия столь высокого ранга (статуса) научными категориями. С этим можно согласиться, помня при этом, что категориями чаще всего называют предельно широкие научные понятия, отображающие наиболее общие, существенные явления вещи и от-ношения, с которыми сталкивается человек в своей деятельности, в частнос-ти, при познании окружающего его мира. Понятия столь высокой познава-тельной мощности свойственны в большей степени философии, чем конкрет-ным наукам, к которым, при всей ее значимости, относится биология. Фило-софская категория – это «высшая должность» слова.

К предельно широким философским категориям относятся понятия: материя, сознание, пространство, время, движение, взаимодействие и т.п.

Весь этот (полезный для расширения кругозора, но) не имеющий не-посредственного отношения к теории информации, разговор о соотношении понятий и обозначающих их слов и, особенно, о понятиях различной позна-вательной силы и, следовательно, различного их статуса в языке, открывает ВВЕДЕНИЕ в «Начальный курс теории информации» потому, что сло-во «информация» в современной устной и письменной речи используется:

– в общепринятом его значении на уровне повседневного разго-ворного языка,

– в теории информации в качестве одного из основополагающих

(фундаментальных) понятий этой науки и

– в ряду основных общесистемных категорий (с этой уже упомянутой выше «новой разновидностью» понятий мы по-дробнее познакомимся чуть позже).

Ниже мы коротко остановимся на значении этого слова в каждом из перечисленных здесь его качеств.

Вплоть до начала ХХ века слово «информация» не встречалось ни в одном периодическом издании, ни в одном толковом словаре. В России оно появляется лишь в «Толковом словаре русского языка» под редакцией Н .Д. Ушакова, изданном в 1935 году, и определяется как действие по гла-голу «информировать», как осведомление о чём-либо.

В обычном разговорном языке слово «информация» появилось гораз-до раньше. Оно пришло из латинского, в центре Европы имело хождение в основном в журналистских кругах и означало процесс информирования, как сейчас говорят «широких кругов общественности» о важнейших событиях (войны, коронации, географические открытия и т. п.) в жизни общества. В этом же значении во времена Петра I оно пришло в русский язык (в основном – в официальный), как полагают, – из Польши.

Широко в разговорном языке это слово начинает появляться только в сороковых годах прошлого века одновременно с перенесением его основного значения с глагольной формы (процесса информирования) на предметную, на содержание передаваемых при таком информировании сведений. В это же время оно всё чаще и чаще появляется в научных публикациях и технических текстах, приобретая статус научного термина, а позже – общенаучной ка-тегории. (ещё один вид понятия, ещё одна «высокая должность» слова). Та-кая его трансформация связана с социальным развитием и вызванным им (со-циальным развитием) техническим прогрессом, который, в свою очередь, это развитие ускорил. В этот период истории человеческое сообщество осозна-ло, что его развитие – это вовлечение в орбиту общественных (в основном – производственных) отношений всё более масштабных технических комплек-сов, построение и использование которых требует не только огромных мате-риальных и энергетических затрат, но и всё возрастающих объёмов знаний.

Именно синонимом слова «знания», стало на первых порах слово «ин-формация» в формирующейся в те времена первой науке об информации. Она тогда называлась «информатикой» и сводилась к инвентаризации, структурированию и упорядочению достижений науки и техники, к созданию условий своевременного о них информирования (в форме библиографий, ка-талогов, библиотечных картотек, реферативных журналов, справочников и т.п.) заинтересованных в этом социальных субъектов, что обеспечивало быс-трый поиск нужных знаний, их доступность в целях эффективного использо-вания в личных и общественных интересах.

С тех пор многое изменилось. В современном разговорном языке сло-вом «информация» в различных контекстах обозначаются: интересные но-вости, ожидаемые и неожиданные вести, нужные сведения, любопытные фак-ты, необходимые данные и многие другие им подобные вещи.

В обыденной жизни мы обмениваемся информацией в разговорах и при переписке, считываем информацию с этикеток, ценников, вывесок и плака-тов; ищем ее в объявлениях, расписаниях, справочниках и каталогах. Она до-ставляется нам домой в газетах и журналах, а также по каналам радио и теле-видения. В последнее время любая информация из перечисленных и не пере-численных выше ее разновидностей общедоступна в Internet’е.

Во всех перечисленных выше житейских ситуациях слово «информа-ция» не всегда означает одно и то же, но, как и в случае со словом «стол», конкретный контекст делает свое дело, и собеседники при общении всегда отлично понимают его смысл.

Таким образом, в языке обыденного общения слово «информация» и соответствующее ему житейское понятие «информация» соотносятся так же, как соотносится большинство житейских понятий с обозначающими их сло-вами. Объём и содержание житейского понятия «информация» в каждой конкретной ситуации выявляется и воспринимается интуитивно, благодаря контексту, и в соответствии с жизненным опытом, интересами и эрудицией конкретной личности.

Современный научный термин «информация» не так прост. Основной причиной этого является ещё не устоявшийся характер обозначаемого этим термином понятия. Оно ещё спорно. Спорно потому, что благодаря активно-му и широкому вниманию наук к тому, что в окружающем нас мире они (раз-ные науки) обозначают одним и тем же словом «информация» разные ве-щи, не успев договорится между собой. Обозначаемое этим словом понятие в наше время активно развивается и только одной науки (информатики, в кото-рой слово «информация» используется в ранге обыденного понятия) оказа-лось мало для выявления его содержания.

«Начальный курс теории информации», который открывается этим ВВЕДЕНИЕМ, предполагает определённый объём и содержание об-суждаемого здесь научного понятия. Сам факт существования этой науки убедительно доказывает, что понятие «информация» в статусе научного понятия существует. Вместе с тем, изучая этот курс, мы с Вами убедимся, что он (курс) проясняет для нас понятие «информация» частично, только с одной его стороны, выявляет только одну его грань. Если уж простое жи-тейское понятие «стол» (в чём мы убедились выше) богато содержанием и многогранно, то применительно к такому совсем не простому понятию со-временной науки, как «информация», это тем более справедливо. И в этом мы здесь, во ВВЕДЕНИИ, постараемся разобраться. Но это – ниже, а сейчас продолжим разговор выяснением смысла слова «информация» в ранге по-знавательной категории.

До середины прошлого ХХ-го века о таком высоком статусе относи-тельно редко используемого в то время слова «информация» не могло быть речи. Сотни лет ведущие места в ряду основных познавательных категорий занимали такие понятия, как материя, сознание, пространство, время, движение. И еще – энергия – понятие рангом ниже, но достаточно содержа-тельное, ибо оно означает меру движения материи.

С конца, теперь уже позапрошлого, XIX ^-го века пространство и время, движение и энергия были ведущими познавательными категориями, которыми оперировала наука и которые определили магистральное развитие техники того времени в направлениях освоения (изучения и практического использования) различных форм движения материи и превращения энергии из одной формы в другую. Основой такого развития, как известно из исто-рии развития техники, были физические науки и в первую очередь – меха-ника и термодинамика.

Позже на смену им пришли химические науки, электротехника, атомная физик и электроника . Все эти науки изучают материю, её движение (то есть – превращения энергии из одной её форму в другую).

В середине ХХ^-го века, очевидной стала недостаточность только энер-гетического подхода к создаваемым человеком для удовлетворения разнооб-разных своих потребностей техническим комплексам. Для полной характе-ристики таких комплексов и организации их эксплуатации требовались до-полнительные параметры и их (параметров) меры. После первых работ Нор-берта Винера по кибернетике и Клода Шеннона по теории связи, на пер-вый план стали выходить такие категории, как организация, связь, информа-ация, управление. Вскоре они, а с ними и понятие «информация» уверенно встроились в ряд основных познавательных категорий и стали активно опре-делять новые направления в развитии техники. Количество публикаций на эти темы в резко возросло, а влияние информации на цивилизацию с того времени стало беспрецедентным. Бурное развитие средств дальней связи и информационных технологий, а также уже упоминавшийся здесь, Internet – убедительное этому подтверждение. Все это вместе означает, что в наше время основой прогресса являются информационные технологии, а понятие «информации», именно в высоком статусе познавательной категории, – очень деятельная социальная реальность. Но это ещё не философская, а общенаучная категория. В философии она «поглощается» более все-объемлющей категорией «отражение».

«Начальный курс теории информации», не предполагает под-робного знакомства с понятием «информации» в его высшем статусе. Бо-лее того, эта категория в наше время, как никогда и как ни какая другая, ди-намично развивается. Поэтому установившегося общепринятого ее толко-вания еще нет. Вместе с тем, без чёткого уяснения сути общесистемного познавательного аспекта категории «информация», которая (суть) служит базой для правильного толкования этого слова во всех других его значениях, все дальнейшие рассуждения на эту тему могут оказаться безрезультатными. Поэтому ниже, в рамках настоящего ВВЕДЕНИЯ, предпринята попытка, дать самые общие сведения об объеме, структуре и содержании этой категории. В связи с уже упомянутым отсутствием сложившегося общепринятого взгляда на этот вопрос, мы сделаем это, опираясь на собственную (авторскую) точку зрения, которую, разумеется, не следует рассматривать в качестве истины в последней инстанции. В специальной литературе Вы можете встретить и дру-гие мнения по этому вопросу, которые мы можем походу курса обсудить со-вместно, если потребность в этом возникнет.

Напомним, что проблема, которую мы намерены прояснить, сложна и спорна, поэтому начинать приходиться с бесспорных, хотя и довольно об-щих: с философских истин. Первая из них звучит так.

В мире нет ничего, кроме вечно движущейся материи, представленной нашему сознанию бесконечным разнообразием материальных систем – форм ее существования.

Здесь словом «материя» обозначена предельно абстрактная философс-кая категория, единственным конкретным свойством которой является свойство – быть объективной реальностью, то есть существовать и дви-гаться вне и независимо от нашего сознания и в своем движении воздейство-вать на ( еа сознание) него через наши чувства, вызывая ощущения и более сложные познавательные последствия.

Понятие «материальная система» – рангом ниже. Оно тоже доста-точно абстрактно, но конкретнее и содержательнее понятия «материя», ибо предполагает:

- во-первых, организованность материи;

- во-вторых, отличие таких систем друг от друга, как разных форм ее существования.

В рамках конкретной материальной системы материя организована вполне определенным способом, который отличается от способа организа-ции материи в рамках другой материальной системы. Он-то (конкретный способ) и определяет структуру и энергетические параметры любой кон-кретной материальной системы.

Примерами разных материальных систем могут служить:

• атом и Солнечная система (как способы организации «неживой матери»),

• муравейник (высокоорганизованная биологическая система – зачаточная форма социальной организации «живой матери»), и

• система высшего образования (организационная социальная субструктура, как форма организации «мыслящей матери» при решении частной, но важной для общества задачи).

Организация каждой системы определяются двумя факторами:

• природой и количеством основных её составных частей, которые называют элементами этой системы, и

• структурой, т. е. характером (природой) и количеством взаимных связей между этими элементами, которые называются системообразующими связями (взаимодействиями).

Если иметь в виду атом, то его основными элементами являются элек-троны и атомное ядро, которое, в свою очередь состоит из нуклонов. Ос-новным видом взаимодействия, которое организовывает («делает» из ядра и электронов) атом, является электрическое взаимодействие положительно за-ряженного ядра и отрицательно заряженных электронов, а также внутриядер-ные силы ближнего взаимодействия, удерживающие нуклоны внутри ядра и предварительно «сделавщие» ядро, как составную часть атома.

Совершенно очевидно, что в муравейнике элементами системы явля-ются отдельные особи, а системообразующие взаимодействия имеют очень специфическую (биосоциальную) природу.

Остановимся на всём этом немного подробнее.

Возвращаясь к приведенным выше примерам материальных систем и порождающим их организующим взаимодействиям, отметим, что все атомы периодической системы Менделеева, как и атом водорода, «порождены» взаимодействиями (организующими факторами) одной природы, а отличают-ся они друг от друга только количеством одних и тех же элементов (электро-нов и нуклонов).

Далее нужно отметить, что из отдельных атомов, на основе новых – химических валентных связей, могут быть образованы материальные системы, которые существенно отличаются от атомов, – это молекулы простого вещества, состоящие из нескольких атомов (О₃, CО₂ и т.д.).

Ещё раньше надо было учесть, что атомы и их ядра, в свою очередь, составлены из специфических материальных систем, которые называются элементарными частицами. Но основе всего этого, можно говорить о раз-личных уровнях организации материальных систем, на каждом из которых действую специфические взаимодействия – свои системообразующие фак-торы.