книги из ГПНТБ / Теплов Л. Очерки о кибернетике

клеткам, положений нотных знаков на линейках и тому подобных све­ дений, из которых предстоит сделать выбор. Логарифм числа делений шкалы определяет количество единиц информации, необходимых для выбора любого из делений. Сами эти единицы информации могут быть переданы уже как угодно.

Коды бывают непрерывные и прерывистые (дискретные). Звук сирены, фотография — это непрерывные коды. Буквы, цифры, рисунок точками — прерывистые коды. Они состоят из серии отдельных сигна­ лов, в то время как непрерывный код это по существу один длинный изменяющийся сигнал. В непрерывном коде информацию несут мгно­ венные значения сигнала. Их бесконечное множество, и они очень тес­ но связаны между собой вероятностью значения: вероятность резкого изменения сигнала в каждый следующий момент движения невелика. Каждое изменение непрерывного кода на малом отрезке времени несет очень малое количество информации.

Можно доказать, что всякий непрерывный код преобразуется в дискретный и двоичный без потери информации при достаточно малом для данной системы «шаге квантования» (расстоянии между точками, образующимися при преобразовании). В основе доказательства ле­ жит теорема, выведенная в 1933 г. академиком В. А. Котельниковым.

отражающий направление изменения следующего дискретного сигнала

шихся после превращения из непрерывного сигнала, зависит не от ко­

коде, является важнейшим качеством информации и называется с о-

де р ж а т е л ь н о с т ь ю .

Сувеличением шага квантования за предел различения всякая ин­ формация становится более содержательной, а так как количество

сигналов уменьшается, ее легче и дешевле передавать. При этом коли­ чество информации, участвующей в преобразованиях, остается неиз­ менным, но часть потенциальной информации выпадает из общего по­ тока, не участвует в нем. Такие необратимые преобразования кодов можно назвать с о д е р ж а т е л ь н ы м и . После содержательного пре­ образования в информации обычно остается только общее, а детали, подробности теряются.

Художник, который нарисовал пейзаж, содержательно изменил его по сравнению с потенциальным пейзажем, который существовал в той

самой местности, где стоял прелестный домик, текла речка и шумели деревья. Он отбросил время — не перевел его в пространство, как де­

группировкой предметов. Он отбросил все натуральные оттенки цвета, сведя их к переходам одной краски — от черного к белому. Точно вос­ становить потенциальный пейзаж по картинке стало невозможным.

Все это, в общем, может сделать и машина, например обычный фотоаппарат.

Художники старых школ, особенно голландцы до Рембрандта, стремились к очень точной передаче всех подробностей, имеющихся в потенциальной картине — натуре. Их картинки можно рассматривать по частям, находя все новые и новые любопытные подробности. Совре­ менные художники относятся к натуре более содержательно, они энер­

лись построенными из кубиков. Но зрение и мышление человека при­ спосабливались к несовершенству техники, и люди переставали заме­ чать грубость развертки.

Своеобразные результаты при перекодировании изображений дает введение звеньев, обеспечивающих укрупнение квантования. Например,

пропущенный через такое устройство, становится очень обобщенным, похожим на гравюру.

Если квантовать в две ступени («белое — черное») не красочную насыщенность, а скорость ее изменения в строках — «производную», полученную в специальном дифференцирующем звене, это дает совсем неожиданный результат. Где производная имеет наибольшее значение? Там, где темное резко переходит в светлое, на границах изображаемых предметов. И здесь-то устройство выдает нам черный цвет, который образует линии, очерчивающие контуры предметов. Пейзаж превра­ щается в абрис, линейный рисунок, похожий на тот набросок каран­ дашом, который делает всякий художник, прежде чем начинает крас­ ками передавать отношения цветов.

Рисунки в этой книге черно-белые и линейные, тогда как изобра­ жаемые предметы в жизни разноцветные и не имеют линий по конту-

100

Переложение цветного и тонового рисунка на язык контура или сплош­ ных заливок может быть выполнено цепью с нелинейным звеном — реле или дифференциатором.

рам. Художник исказил даже пространственные отношения вещей: у человечка, ласково называемого «старикашка-информашка», большая голова, короткие ножки, он то меньше ружья, то почти с дом. Это не ме­ шает и даже помогает читателю: его внимание не отвлекается ненуж­ ными подробностями. ■Художник, создавая картинки, руководствовал­ ся общим принципом содержательных преобразований: он распределял информацию по сигналам равномерно и возможно более экономно. Он старался выделить много сигналов на те части сообщения, которые более неожиданны, менее вероятны для опыта читателя; наоборот, ве­ щи само собой разумеющиеся, очень вероятные он передавал не­ большим количеством сигналов, а то и вообще опускал без сущест­ венной потери информации.

Так раскрываются перед нами широкие возможности перекодиро­ вания с учетом вероятностей, составляющего суть содержательных пре­ образований информации.

Строго говоря, в мире немного таких событий, которые развивают­ ся по некоторым четко проложенным линиям с разветвлениями на­ двое в определенных точках, как в примере с поездом. Даже железно-

101

дорожная стрелка, получающая команду «переменить направление», не .обязательно получает информацию точно в 1 бит. Если эта стрелка ведет с главной магистрали в тупик, то ее положение «вдоль маги­ страли» более часто встречается, и, следовательно, оно более вероятно, чем положение «в тупик». Но тогда команда «в тупик» несет больше информации, и следует подсчитать частоту положений стрелки прежде, чем высчитывать величину информации. Это теоретическое соображе­ ние находит интересное применение в практике: если мы имеем много стрелок и много их положений, то выбор возможных программ возрас­ тает, и, чтобы его ограничить до одной, требуется довольно большое количество двоичных команд. Установив для каждого положения стрел­ ки, скажем, пять знаков кода, мы поступим не так экономно, как если решим выбрать для малоупотребительных команд более длинные ко­

подаваемых за сутки, тогда уменьшится, и работа всей системы станет проще, экономнее, точнее и надежнее.

Обычно наряду с одним наиболее вероятным продолжением процес­ са имеется «множество» или «поле» других продолжений, менее вероят­ ных. Шарик, скатывающийся по наклонной плоскости, скорее всего по­ катится по проекции отвеса на эту плоскость, но разные шероховатости и сор могут отвести его в сторону. Сообщение, что шарик катится имен­ но по проекции отвеса, не несет никакой информации, — это и так ясно, а для того, чтобы он катился по наиболее вероятному пути, не нужно никаких команд.

Но чем более запутан, полон зигзагов и поворотов путь шарика, тем сложнее получится описание его и тем больше потребуется команд, что­ бы провести шарик по этому пути второй раз, играя, например, в какуюто пародию на бильярд.

Поэтому точное исчисление информации построено на учете вероят­ ностей.

Предложенная в 1928 г. инженером Р. Хартли1, эта точка зрения была обстоятельно исследована и развита в 1944—1947 гг. американским ученым Клодом Шенноном 12.

В военное время Шеннон занимался разбором перехваченных шиф­ рованных радиограмм. Перед ним проходили бесконечные колойки цифр, точек и тире. Обычные отношения знаков в этих телеграммах были за­ темнены самыми хитроумными способами. Шеннон понимал, что смысл не исчез из этих комбинаций при всех преобразованиях и, следователь­ но, надо искать связь между статистическими свойствами кодов и содер­ жанием сообщений.

1 Р. Л. В. Хартли. Передача информации. Теория информации и ее приложения.

М„ 1959.

2 К. Шеннон. Математическая теория сообщений. Теория передачи электрических

сигналов при наличии помех. М., 1953.

102

Сэтого началось систематическое исследование информации, кото­ рое и позволило подойти к определению в точных цифрах бит таких, казалось бы, неточных понятий, как «новость», «неожиданность», «сен­ сация», «впечатление» и т. п.

Действительно, выводы теории затрагивают довольно острые и за­ путанные проблемы человеческой деятельности, неожиданно математи­ чески раскрывая их смысл. Почему внимание публики привлекают ди­ кие выдумки о снежном человеке, летающих тарелках или о тропиче­ ском дереве, которое захватывает подвижными корнями неосторожных путников и пожирает их? Почему шаблонная литературная поделка на тему о жуликах и сыщиках с погонями и переодеваниями расходится большими тиражами? Только маловероятность ситуации создает здесь видимость большого количества Информации. Курортник, собирающий камешки на морском берегу, выбирает такие, которые резко отличаются от массы других, но дома они оказываются похожими и поэтому скуч­ ными.

Сдругой стороны, каждый знает, что количество слов в книге или лекции не определяет многозначительности и глубины содержания; на­

оборот, «краткость — сестра таланта». Чеховский учитель Ипполит Ипполитович говорил то, что всем известно, и это вызывало досаду, по­ тому что никому не доставляло информации. Но бухгалтерии платят литераторам за слова и строки, полагая, что лишнее выбросил редак­ тор, а все же есть вещи, которые требуют места в книге, есть п р е д е л экономии слов и образов, после которого сокращение ведет к утрате смысла, т. е. информации.

Надеясь, что бухгалтер издательства не прочтет эти строки, я по­ пытаюсь обнаружить излишества в книге, которую написал. Допустим, что в ней 800 тысяч букв. Одна буква в идеальном случае может нести информацию величиной в 5 бит.

Почему? Да потому, что в азбуке 32 буквы (или немного больше).

встречаются неодинаково часто. Подсчитано, что на 90 букв О и 72 бук­ вы Е, 53 буквы Н и Т в русских книгах встречается только 2 буквы Ф

и3 буквы Э и Щ. Если бы легендарные Кирилл и Мефодий, сочинившие

вIX веке русскую азбуку, знали теорию информации, они должны были

присвоить звукам с малой информацией — О, Е, А, И, Т, Н, С — самые простые обозначения — точки, простые черточки, а звукам с большой ин­ формацией— Ф, Э, Щ, Ц, Ш, Ж, X — более вычурные, сложные формы. Это пришлось делать уже ке «святому», а нашему современнику Н. Со­ колову, создавшему в 1924 г. общепринятую систему русской стеногра­ фии — ГЕСС.

103

В 1961 г. академик А. Н. Колмогоров по методу К. Шеннона на опыте показал, что количество информации в одной русской букве за­ висит от ее положения в слове, фразе и фактически во всей книге. Для этого он читал буква за буквой малоизвестный отрывок из повести С. Аксакова. Сотрудник должен был угадывать, какая буква идет после названной. Когда он не мог назвать ее, считалось, что буква несет 5 бит информации. Чаще сотрудник угадывал окончания слов и фраз-—это значило, что все буквы, которые стоят в конце, лишние, никакой инфор­ мации не несут. Предыдущую фразу я сам читал по буквам и просил угадывать; получилось вот что:

ЧАЩЕ СОТРУДник УГадывал ОКОНчания Слов И Фраз. — Это Значило, Что ВСЕ БУквы, Которые СтояТ В Конце, ЛишНие, НИКакой Информации не несут ‘.

Начало изложения, начала и отчасти концы слов, таким образом, более насыщены информацией, чем конец изложения или середина слов. Поэтому мы применяем такие сокращения, как г. (год), р. (рубль), кв. (квартира), инж. (инженер), з-д (завод), райком (районный комитет), колхоз (коллективное хозяйство). Литератор всегда пишет распростра­ неннее начала книги и отдельных глав, а в середине текста отводит больше места идеям, которые более неожиданны, менее вероятны для читателя.

В опыте из фразы в 100 с лишним букв было угадано больше поло­ вины — значит, человек из 535 бит, передаваемых мною, уже имел 325 бит этой информации в своем знании русского языка — слов и их значений, так что половину букв можно было бы не называть. Начиная опыт, он не имел ни представления о предыдущем тексте книги, ни инте­ реса к ее предмету, а то угадал бы, конечно, больше.

Итак, в книге остается меньше 2 миллионов бит содержания. Из них, я уверен, четверть — это просто бессмыслица, беспорядок, ибо, если бы рукопись потерялась, автор изложил бы с тем же старанием те же самые мысли, сведения и факты без утраты качества книги, но, конечно, в другом порядке и другими словами. Выбор данного плана и данного порядка среди других, тоже вполне допустимых, случаен и не несет информации. Жестокий и бессмертный бухгалтер мог бы проде­ лать над бессмертным же, терпеливым и добросовестным автором такую штуку: он прятал бы рукописи, заставляя автора писать книгу снова до тех пор, пока не получится полного совпадения двух вариантов. Тогда по общему числу равноценных вариантов он вывел бы величину энтро­ пии (неопределенности в построении книги) и при подсчете гонорара вычел бы из количества информации около 500 тысяч бит. Теперь остает­ ся около 1,5 миллиона бит информации. Среди них, я надеюсь, есть хоть1

1 Буквы, которые не были угаданы, напечатаны прописными, угаданные — строч­ ными.

105

сотня бит такой информации, какой нет еще ни у кого в мире. Однако она не «создана» автором, а отражает те реальные упорядоченности, ко­ торые объективно существуют в мире и просто никем не были замечены. Остальная информация имеется в других книгах, в памяти специалистов,

4 миллионов возможных единиц информации они получат лишь бед­ ную сотню.

Если бы автор решился писать о науке стихами, как Лукреций, не­ определенность в построении книги сильно уменьшилась бы. Громадное количество вариантов текста с одинаковым смыслом было бы отбро­ шено из-за несоответствия требованиям ритма и рифмы.

Наконец, для самого автора, если он действительно знает все, что написал, а не механически списал откуда-нибудь, — бывает и так! — его книга совсем не имеет нового смысла. Это вполне соответствует закону сохранения: автор просто приставил к своей памяти цепь усилителей — руку, самопишущую ручку, наконец, типографскую машину, а они не увеличивают количества информации, хранящейся в памяти.

Итак, чтобы определить, какое количество информации содержится

потребителя — количество информации, приходящейся на единицу кода, один буквенный сигнал.

Для этого необходимо исследовать язык, узнать, какие буквы в нем встречаются чаще, какие реже; сколько в нем слов и понятий; длинные или короткие в нем слова. Слово «понятие» в русском языке имеет зна­ чение, а слово «нопятие», содержащее те же самые буквы, бессмыслен­ но. Мы с удивлением узнаем, что в нашем привычном русском языке больше половины сигналов являются балластом, хотя, как выяснится позже, не бесполезным.

Переходя от звуков к словам, а от слов к фразам и целым текстам, мы каждый раз находим в речи повторения и внутренние зависимости между сигцалами. Они сокращают количество информации, которое мог бы нести текст данного объема, и снижают его содержательность. Устра­ нение повторений и зависимостей, п о в ы ше н и е с о д е р ж а т е л ь н о ­ сти — это важнейшая операция, которую выполняют сигнальные систе­ мы автоматов, занимаясь преобразованием информации.

До тех пор, пока речь идет о частотах звуков и их небольших после­ довательностей, дело обстоит сравнительно просто. В конце концов, мы можем придумать такой условный язык, в котором любая комбинация букв НИТ, НОТ, ХПБ, КДР — имела бы смысл. Что-то вроде этого, кстати, применяется у нас для названия учреждений и марок машин. Но будет ли каждое трехбуквенное слово такого языка нести информа­ цию точно в 15 бит? Очевидно, нет, так как слова встречаются не одина­

106

Замена рисунка схемой повышает его содержательность.

ХПБ не встречается в осмысленном, несущем информацию тексте, его вероятность равна нулю. Это сочетание не несет информации. Возмож­ ные, но редко встречающиеся сочетания несут больше информации, чем частые, почти штампованные. Сочетания, необходимо следующие одно за другим, тоже не несут информации и могут быть сокращены.

Совсем одинаковые частоты имеются только в полной бессмысли­ це, получаемой при подбрасывании идеальной монеты или игральных костей.

Увеличение с о д е р ж а т е л ь н о с т и передаваемой информации приводит к уменьшению к о л и ч е с т в а информации в потоке между двумя потенциалами. Всякое сообщение хотя бы частично предусмотре­ но в сигнальной системе, принимающей это сообщение и ожидающей его, как всякая команда предусмотрена в управляемой системе. Связи между потенциалами всегда имеют ограниченную пропускную способ­ ность, и автомат будет тем совершеннее, чем шире он станет использо­ вать уже накопленную информацию для того, чтобы в небольших пото­ ках, поступающих извне, находить источник для самых серьезных пере­ мен имеющейся информации. Поэтому короткий код, например один знак А, может нести обширную информацию. Вы можете договориться с приятелем, находящимся в курсе ваших дел, что, если его примут в Московский университет на физико-математический факультет, дадут стипендию и общежитие, он пошлет вам телеграмму с одной буквой А. И для вас такая телеграмма будет равносильна целому письму.

Как исчислить информацию в этом сообщении?

Телеграмма несет для вас, конечно, не 5 бит информации, как бук­ ва, а в лучшем случае 1 бит, если она рассеивает неопределенность в

107