- •Введение
- •1 Раздел: Количественные информационные характеристики дискретных источников сообщений и каналов Параграф 1.1: Количество информации в дискретном сообщении. Энтропия.
- •Параграф 1.2: Свойство энтропии
- •Параграф 1.3: Условная энтропия и взаимная информация
- •Параграф 1.4: Дискретные источники сообщений с памятью. Избыточность дискретного источника сообщения.
- •Параграф 1.5: Производительность источника дискретных сообщений. Скорость передачи информации.
- •Параграф 1.6: Пропускная способность дискретного канала
- •2 Раздел:
- •Параграф 2.1: Задача согласования дискретного источника с дискретным каналом без шума. Эффективное (статистическое) кодирование.
- •Параграф 2.2: Теорема Шеннона для канала без шума
- •Параграф 2.3. Второй способ доказательства прямой теоремы Шеннона для канала без шума. Метод Фано. Оптимальные коды
- •Параграф 2.4. Задача согласования дискретного источника с дискретным каналом с шумом.
- •Параграф 2.5. Теорема Шеннона для дискретного канала с шумом
- •Параграф 2.6. Методика построения помехоустойчивых кодов. Информационный предел избыточности
- •Подпараграф 3.1.2. Аим - сигнал и его спектр
- •3.1.4. Теорема Котельникова
- •3.2. Оценка ошибок дискретизации и квантования
- •3.2.1. Оценка ошибок дискретизации.
- •3.2.1.1. Оценка погрешности дискретизации обусловленной неограниченностью спектра реального сигнала.
- •3.2.1.2. Оценка погрешности дискретизации, обусловленной неидеальностью интерполирующего фильтра.
- •3.2.1.3. Оценка погрешности дискретизации, обусловленной конечной длительностью отсчетных импульсов.
- •3.2.2. Оценка ошибок квантования
- •3.3. Информация в непрерывных сообщениях
- •3.5. Пропускная способность непрерывного канала. Теорема Шеннона
Введение
Эффективная организация обмена информации приобретает все большее значение как условие успешной практической деятельности людей. Объем информации, необходимой для нормального функционирования современного общества растет пропорционально квадрату развития промышленного потенциала. Доля рабочей силы, занятой вопросами обеспечения информации, превышает долю рабочей силы, занятой непосредственно в производстве. Поэтому, науки, изучающие структуру и закономерности протекания информационных процессов, к числу которых относится и ТИ, в такой ситуации становятся исключительно актуальными.
Информация наряду с материей и энергией, является первичным понятием нашего мира, и в строгом смысле не может быть определена. Можно лишь перечислить основные её свойства:
Информация приносит сведения об окружающем мире, которых в рассматриваемой точке не было до её получения.
Информация не материальна, но она проявляется в форме материальных носителей, дискретных знаков или первичных носителей.
Знаки и первичные сигналы несут информацию только для получателя, способного их распознать.
Вместе с тем, слово «информация» является одним их тех терминов, которые достаточно часто встречаются не только в научных статьях, но и во множестве обиходных ситуаций. В узкопрактическом смысле под информацией понимают совокупность сведений об окружающем мире, являющиеся объектами хранения, передачи и преобразования.
Знаки или первичные сигналы, организованные в последовательности, несут информацию не потому, что они повторяют объекты реального мира, а по общественной договоренности. Об однозначной связи и объектов. Первичные сигналы могут быть порождены естественными законами реального мира. Например, напряжение на выходе термопары под действием температуры. Информация, основанная на однозначной связи знаков или сигналов с объектами реального мира, называется семантической (смысловой). Информация, заключенная в характере следования знаков сообщения, называется синтаксической.
Также в общей науке о знаках (семантике) выделяют сигматический и прагматический аспекты информации. В первом случае изучается вопрос о выборе знаков для обозначения объектов реального мира, а во втором – о ценности информации для достижения практических целей. Очевидно, что наиболее практический интерес представляет смысловой (семантический) и прагматический аспекты. Однако до сих пор не удалось найти объективные количественные критерии меры ценности и полезности информации.
В курсе ТИ изучаются проблемы синтаксического уровня, касающиеся создания теоретических основ, построения систем связи, основные показатели функционирования которых были бы близки к предельно возможных. Рассмотрению подлежат вопросы доставки получателя информации как совокупности знаков. При этом полностью игнорируются смысловое и прагматическое её содержание.
Синтаксическая мера информации имеет практическую ценность потому, что интересующая в конечном итоге получателя семантическая информация заключена в заданной последовательности знаков. Чем больше и правильнее передаются знаки, тем больше и правильнее может быть передано смысловой информации.
ТИ представляет собой ветвь статической теории связи. Для того чтобы более конкретно обозначить предмет этой науки, введем некоторые понятия и определения. Информация передается и хранится в виде сообщений. Под сообщением понимается совокупность знаков или первичных сигналов, содержащая информацию. Иначе говоря, сообщение – это информация, представленная в какой – либо форме. Примеры сообщение: текст телеграммы, данные на выходе компьютера, речь, музыка. Для того, чтобы сообщение можно передать получателю, необходимо воспользоваться некоторым физическим процессом, способным с той или иной скоростью распространяться от источника к получателю сообщения.
Изменяющийся во времени процесс, отражающий передающее сообщение, называется сигналом. Сообщения могут быть функциями времени (в том случае, когда информация представлена в виде сигналов (музыка)), и не является ими (когда информация в виде совокупности знаков (тексты телеграммы)). Сигнал всегда функция времени.
В зависимости от того, какие значения может принимать аргумент (время t) и уровня сигналов, их делят на 4 типа:
н епрерывные и аналоговые сигналы. Случайные сигналы этого типа называют непрерывными случайными процессами. Они определены для всех моментов времени и могут принимать любые значения уровней из заданного диапазона.
Xmax
Xmin
t1 t2 t
рис. 0,1
В конечном интервале времени существует бесконечное множество отсчетов непрерывного сигнала. В конечном диапазоне (Xmin – Xmax) – бесконечное множество сигналов. Чаще всего физические процессы, порожденные сигналы, являются непрерывными. Этим и объясняется второе название сигналов данного типа, т.е. аналогичные порожденных процессов.
дискретизированные (дискретно-непрерывные) сигналы. Случайные сигналы этого типа называют процессами дискретного мира или непрерывными случайными последовательностями. Они определены лишь в отдельные моменты времени и могут принимать любые значения уровня (непрерывные по уровню).
∆t 2∆t 3∆t 4∆t t
t1 t2
рис. 0,2
Временной интервал ∆t между соседними отсчетами называется шагом дискретизации. Иногда такие сигналы называются дискретными по уровню.
дискретные по уровню, или квантовые. Случайные сигналы этого типа называют дискретными случайными процессами. Они определены для всех моментов времени и принимают лишь разрешенные значения уровней, отделенные друг от друга на величину шага квантования ∆х.
x
∆х
t1 t2 t
рис. 0.3
Дискретный и по уровню, и по времени. Случайные сигналы этого типа называют дискретными случайными последовательностями. Они определены лишь в отдельные моменты времени. И принимают только разрешенные значения уровня.
∆t 2∆t 3∆t 4∆t t
рис. 0.,4
Совокупность технических средств, используемых для передачи сообщений от источника к потребителю информации, называется системой связи. Общая схема системы связи представлена на рисунке 0.5.
Источник сообщений содержат сообщение или последовательность сообщений, которые должны быть переданы. Сообщения могут быть различных типов, последовательность букв или цифр (телеграф), одна или более функций времени (система передачи звуков с моно- или стереозвучания) и т.д.
Передатчик, который преобразует сообщения в сигналы, тип которых определяется характеристиками используемого канала.
Канал – это комплекс технических средств, обеспечивающих передачу сигнала от передатчика к приемнику. В состав канала входит каналообразующая аппаратура, обеспечивающие сопряжение выходного и входного сигнала передачи от приемника с линией связи и сама линия связи. Линия связи – это среда, используемая для передачи сигнала от передатчика к приемника. Это может быть, например, пара проводов, коаксиальный кабель, область распространения радиоволн, световод и т.д. Обычно входными сигналами линии связи являются сигналы типа 1 (непрерывные аналоговые сигналы). Вместе с тем на входе и выходе канала могут присутствовать сигналы и других типов. Канал называется дискретным, если на его входе и выходе присутствуют сигналы, дискретные по уровню. Если сигнал на входе и выходе канала непрерывный по уровню (тип 1 и 2), то он называется непрерывным. Если со стороны входа сигналы дискретны по уровню, а со стороны выхода непрерывный, то это дискретно - непрерывный канал. Если наоборот, то. Иногда дискретно - непрерывный канал и непрерывно – дискретный канал называют полунепрерывными каналами. В общем случае, в процессе, в процессе передачи в канале сигнал искажается шумом, что соответствует наличием на рисунке 0.5 источника шума.
Приемник выполняет операцию, обратную по отношению к процедуре, обратную к передатчику, – восстанавливает сообщение по сигналу. Преемник сложнее передатчика, что связано с необходимостью восстанавливать сообщения по сигналам, форма которых искажена шумом.
получатель – это лицо или аппарат, для которого предназначено сообщение.
Процесс преобразования сообщения в сигнал, осуществляемый в передатчике, и обратный ему процесс, реализованный в приемнике, в ТИ называется кодированием и декодированием. При этом круг проблем, составляющих основное содержание ТИ, можно охарактеризовать как исследование методов кодирования для экономного представления сообщения различных источников и для надежной передачи сообщения по каналам связи шума.
В основе ТИ лежит статическое описание источников сообщений и каналов связи, а так же базирующейся на этом описании измерения количества информации между сообщениями. На основе ТИ можно ответить на вопросы о предельных возможностях (о максимально достижимых характеристиках) различных систем; определить, в какой мере проектируемая система выступает теоретически-возможной. В некоторых случаях логика рассуждений, используемая в ТИ, подсказывает путь, на котором может быть найдено конструктивное решение для реальной системы.
Родоначальником ТИ считается американский ученый Клод Шеннон, опубликовавший в 1948-49 г.г. свои статьи. Начиная с этого времени, ТИ развивалась в немалой степени благодаря и работам наших соотечественников Колмогорова, Добрышина, Харкевича, Хинчена и т.д.