книги из ГПНТБ / Бездудный, В. Г. Техника безопасности в шахтном строительстве

ТЕОРИЯ В. П. ЦЫМБАЛ ИНФОРМАЦИИ

И КОДИРОВАНИЯ

Допущено Министерством высшего и среднего спе­ циального образования УССР в качестве учебного пособия для студентов экономических специальнос­ тей вузов

ИЗДАТЕЛЬСТВО «ВИЩА ШКОЛА» К И Е В - 1 9 7 3

Теория информации и кодирования. В. П. Ц ы и б а л. «Вища школа», 1973, с. 232.

В книге изложены основные положения теории информации, на конкрет­ ных примерах показаны возможные области ее применения. Рассмотре­ ны основные принципы кодирования и коды, применяемые при передаче сообщений и механизированной обработки информации. Подробно, с большим количеством примеров излагаются основы теории и методы построения оптимальных кодов.

Особое вниманиё уделяется теории и практике помехоустойчивого ко­ дирования, построению корректирующих кодов. Рассматриваются спо­ собы обнаружения и исправления ошибок при механизированной об­ работке информации.

В книге дан необходимый минимум сведений о каналах связи, помехах, методах построения кодирующих и декодирующих устройств, информа­ ционных носителях, способах сжатия и хранения-информации.

Книга предназначается в.качестве учебного пособия для студентов эко­ номических вузов, может быть также использована в качестве учебного пособия для студентов любого профиля, изучающих вопросы, связан­ ные с теорией информации или теорией и практикой приема, передачи и обработки кодированных сообщений.

Табл. 36. Рис. 53. Библ. 58.

Редакция литературы по энергетике, радиотехнике, электронике и автоматике

Зав. редакцией А. В. Дьячков

3314-120 Ц М 211 (04) —73 5 6 -7 3

© Издательство „Вища школа”, 1973 г.

Предисловие

Интерес к теории информации, а также к техническим проблемам, связанным с передачей, обработкой и хранением информации, растет пропорционально увеличению объемов информации, которое наблюдается во всех областях на­ уки и техники. Одновременно возникает; потребность' в специалистах, знакомых как с теорией информации и коди­ рования, так и с практическими вопросами, связанными с передачей информации, ее обработкой и хранением.

Теория информации, теория и практика кодирования и передачи информации в том или ином виде преподается во многих технических вузах страны. Однако уже очевид­ но, что вопросы, которые она изучает, перестают быть монополией технических вузов. В настоящее время курс теории информации и кодирования введен в программы всех экономических институтов и экономических факуль­ тетов университетов. В ближайшие годы этот курс будет чи­ таться в институтах легкой промышленности, автодоро­ жных институтах, сельскохозяйственных академиях и т. д. Уже сейчас студенты, по существу, лишены учебных по­ собий, несмотря на относительное обилие литературы от­ дельно по вопросам теории информации и принципам кодообразования. Такое положение сложилось из-за того, что теорией информации занимались преимущественно математики, а передачей информации — инженеры. Воз­ никла необходимость в пособии, перед которым стояли бы специфические задачи, вызванные, с одной стороны, необ­ ходимостью изложить в одном курсеобширный материал по таким самостоятельным дисциплинам, как теория ин­ формации, теория н практика помехоустойчивого кодиро­ вания, основы передачи сообщений; с другой стороны,

3

ОСНОВНЫЕ ПОНЯТИЯ И ОПРЕДЕЛЕНИЯ

Любое отражение материального мира, которое может быть зафик­ сировано живым существом или прибором, несет В себе информацию. Одним из величайших достижений инженерной мысли является то, что информации дана количественная оценка: информацию можно из­ мерить.

Если бы информация не имела количественной оценки, то изуче­ ние ее было бы, по существу, достоянием философов, так как их ин­ тересуют качественные оценки явлений.

Изучение свойств информации, количественная оценка способнос­ ти различных систем передавать сообщения, отыскание наиболее эко­ номных способов передачи информации — все эти вопросы составля­ ют, содержание предмета теории информации и кодирования.

Когда говорят о передаче информации между объектами, то обыч­ но подразумевают комплекс сведений об объекте в целом либо о со­ стоянии его отдельных элементов. Конкретные сведения, получаемые от объекта — источника информации, называются сообщением.

Сообщения передаются при помощи сигналов. Сигналы являются переносчиком информации в пространстве и во времени. Различают сигналы: зрительные (телевизионное изображение), звуковые (звонок), электрические (положительные и отрицательные импульсы), радио­ сигналы и т. д. Одни сигналы могут вызывать другие. Так, электри­ ческий сигнал может вызвать звуковой (в электрическом звонке), све­ товой сигнал — электрический (в фотоэлементе). Сигналы могут быть взаимосвязаны в пространстве и во времени (звуковое кино).

Сигналы являются следствием изменения состояния объекта. Только в этом случае они несут какую-либо информацию и только в таком смысле мы их будем в дальнейшем рассматривать. Причем, за­ коны, по которым происходят изменения состояния объекта при пере­ даче определенной информации, будем называть кодом.

Перевод сообщения в сигнал состоит из следующих операций: преобразования (приведения сообщения к виду, удобному для кодиро­ вания), кодирования (построения элементов сообщения по определенно­ му закону) и модуляции (воздействия на закодированное сообщение с целью превращения его в сигнал).

С точки зрения положения во времени и в пространстве сигналы делятся на статические и динамические. Статическими будем называть сигналы, которые отображают устойчивые изменения состояния

5

объекта (триггеры и ячейки памяти в вычислительной машине, фотогра­ фии, магнитные ленты и перфоленты и т. д.). Динамическими будем назы­ вать сигналы, которые отображают непрерывные изменения состояния объекта либо процессы при переходе от одного устойчивого состояния в другое (электромагнитные и упругие колебания среды).

Конечное множество сигналов (как статических, так и динами­ ческих), переданное по определенному закону или взятое из данного алфавита и объединенное в определенную структуру, образует сооб­ щение. Последовательность букв, символов, качественных признаков на входе канала связи называется входным кодовым словом, а на выхо­ де выходным кодовым словом. Сообщения, составленные из входных ко­ довых слов, называются первичными, а сообщения, составленные из

Следует отметить, что под термином сообщение не обязательно пони­ мать текстовую информацию. В телевидении, например, первичным сообщением может служить распределение яркости на поверхности передаваемого объекта, а вторичным — распределение яркости на экране телевизора при воспроизведении этого объекта.

По своей структуре сообщения и сигналы делятся на непрерывные и дискретные. Если сигнал (сообщение) в конечном интервале ампли­ туд принимает произвольное количество значений, то он (оно) называ­ ется непрерывным. Например, сигналы в аналоговых устройствах, отклонение стрелки барометра при изменении давления, модуляция несущей в телефонном канале под влиянием речи говорящего в микро­ фон абонента и т. д. Если сигнал (сообщение) в конечном интервале амплитуд принимает ограниченное количество значений, то он (оно)

более широкое применение, чем непрерывные. Это объясняется тем, что дискретные сигналы в меньшей степени подвержены влиянию по­ мех в каналах связи, искажение дискретного сигнала легче обнару­ жить, чем искажение непрерывного, и, главное, дискретные сигналы легко обрабатываются на электронных вычислительных машинах (ЭВМ) и легко отображаются устройствами цифровой индикации.

Возможность передачи непрерывных сообщений при помощи дискретных сиг­ налов .была доказана академиком В. А. Котельниковым еще в 1933 г. Согласно теоре­ ме Котельникова, или теореме отсчетов, если функция непрерывна и ее частотный спектр не содержит составляющих с частотой, превышающей F гц, то она полностью' определяется совокупностью ординат, отстоящих во времени друг от друга на

J/2 F сек.

Физический смысл теоремы отсчетов заключается в следующем. Предположим, требуется передать значение непрерывной функции v (t) (рис. 1) при помощи дискрет­ ных сигналов. Это можно сделать, передавая через определенные интервалы време­ ни А/ частные значения функции о (/). Чем короче эти интервалы, тем точнее будет передана функция v (t). Передача непрерывных функций при помощи конечного чис-

6

ла значений (уровней) называется квантованием, а минимальный отрезок времени между соседними уровнями — шагом квантования. Спрашивается, какой минималь­ ный интервал At (шаг квантования) необходим для точной передачи функции v (t)t Из-за несовершенства аппаратуры, условий работы, которые обычно отличают­ ся От идеальных, и других причин невозможно передать весь спектр частот, а сле­

довательно, невозможно абсолютно точно пере­ дать и непрерывную функцию. Так же,как невоз­ можно абсолютно точно передать мысль, каким бы богатым ни был словарный запас человека: мысль — непрерывна, словарь — дискретен. Однако чем больше словарный запас, тем точнее можно высказывать мысли. Аналогично, чем большим числом квантов передавать функцию,

тота следования импульсов /о = — = 2/с> где /с — верхняя граница спектра. Спра­

ведливость теоремы легко воспринимается интуитивно: если в спектре отсутствует частота выше / с, то за время, равное половине периода самой высокой из частот спект­ ра, функция не успеет заметно измениться х.

Единичные элементы дискретных сообщений называются дискрет­ ными посылками. Они могут обладать различными физическими свой­ ствами, которые позволяют однозначно отличать их друг от друга. Эти свойства называются качественными признаками. Рассмотрим наи­ более распространенные качественные признаки дискретных сигналов.

Полярный признак. Качеством одной посылки является положи­ тельный, а качеством другой — отрицательный импульсы (рис. 2, а, б).

Рис. 2. Качественные признаки дискретных сигналов.

1 Подробно с доказательством данной теоремы В. А. Котельникова можно озна­ комиться в литературе [6], [7], [17].

7

Число качеств т — 2. Полярные признаки могут выделяться при по­ мощи триодов разной проводимости, поляризованных реле, диодных сборок и т. д.

Амплитудный признак. Качеством каждой посылки является ам­ плитуда. Теоретически амплитудных признаков может быть бесконеч­ ное множество (рис. 2, в), практически же используют только два: наличие и отсутствие сигнала (рис. 2, г). Это вызвано тем, что помехи в канале связи часто съедают часть импульса, вследствие чего возможен прием ложной информации. Амплитудные признаки выделяют при по­ мощи различных пороговых устройств на стабилитронах, реле различ­

полнения (рис. 2, е, ж). Выделяют частотные признаки преимуществен­ но при помощи резонансных фильтров как электрических, так и элек­ тромеханических.

Часто при кодировании сообщений используют одновременно не­ сколько качественных признаков, что позволяет с большей уверенно­ стью отличать истинный сигнал от ложного. Такие коды обладают боль­ шей помехоустойчивостью — свойством сохранять свои истинные значения при наличии помех в канале связи.

Одним из наиболее распространенных кодов со смешанными при­ знаками является частотно-временной. К частотно-временным кодам

где тч и тв — количество соответственно частотных и временных при­ знаков.

На рис. 3 представлена одна из комбинаций частотно-временного кода 1 при тч — 3, я„ = 2 и яв = 3, где пч — количество частот в по­ сылке; пв — количество посылок в коде.

При передаче информации посылки группируют в сообщения (ан­ самбли) в зависимости от выбранного метода кодирования. Изучение принятых ансамблей сообщений базируется на том, что передаваемые

1 При дальнейшем изложении этот код будет рассмотрен подробнее.

ансамбли — результат случайного выбора из множества исходных сообщений. Появление каждого сообщения рассматривают как слу­ чайное событие с заданной вероятностью. Поэтому при выводе основных положений теории информации используют вероятностный подход.

Основная задача теории информации и кодирования — создание систем связи, обеспечивающих заданную точность при минимальных значениях их параметров (мощности, полосы частот, времени передачи и др.). Частными задачами при этом являются: измерение количества информации; изучение свойств информации; разработка оптимальных методов кодирования; разработка методов передачи информации, обес­ печивающих максимальную пропускную способность каналов связи при наличии помех.

Выводы: 1. Не следует путать понятия информация и знание. Создание информации со стороны источника рассматривается как цепь случайных событий и при исследовании ансамблей сообщений ис­ пользуется математический аппарат теории вероятностей.

2.Информация от источника к адресату передается при помощи сигналов, которые могут быть «прочитаны» благодаря тому, что ад­ ресату известен закон формирования сообщений из данных сигналов.

3.Теория информации и кодирования изучает закономерности передачи и приема сообщений с целью создания информационных си­

стем, передающих данные с максимальной точностью при минималь­ ных затратах.

Сообщения передаются от объекта к адресату при помощи совокуп­ ности технических средств, которые образуют систему передачи ин­ формации. Сколько существует методов отображения информации, столько можно создать и способов ее передачи. Поэтому, говоря в дальнейшем о модели системы передачи информации, будем иметь в виду ее наиболее общий вид (рис. 4). К системам передачи информации относится и почта, и телевидение, и сигнализация при помощи костров,

Объект

I

Рис. 4. Обобщенная модель системы передачи информации.

9