
- •Предисловие
- •Введение
- •Концептуальные основы информационных процессов.
- •О понятии «Информация» [1,2]
- •1.2. Виды и свойства информации [2].
- •1.3. Этапы обращения информации [1].
- •1.4. Информационные системы [1].
- •1.5. Система передачи информации [1].
- •1.6. Уровни проблем передачи информации [1].
- •1.7. О смысле «Теории информации» в системе связи [1].
- •2. Математические основы теории вероятностей [6,4].
- •2.1. Случайное событие и вероятность.
- •2.2 Случайные величины и их вероятностные характеристики.
- •Случайные функции и их вероятностное описание.
- •2.4 Корреляционные характеристики случайных процессов.
- •Дифференциальный; 2) интегральный;
- •3) Плотность вероятностей.
- •Дифференциальный; 2) интегральный; 3) числовой.
- •Свойства энтропии [1,3 и др.].
- •Условная энтропия и ее свойства [1,2 и др.].
- •Свойства условной энтропии
- •Энтропия непрерывного источника информации (дифференциальная энтропия) [1, 2 и др.].
- •Передача информации от дискретного источника [1 и др.].
- •Передача информации от непрерывного источника [1 и др.].
- •Основные свойства количества информации [1 и др.].
- •4. Информационные характеристики источника сообщений и канала связи.
- •4.1. Введение [1 и др.].
- •4.2. Информационные характеристики источника дискретных сообщений.
- •4.2.1 Модели источника дискретных сообщений [1 и др.].
- •4.2.2 Свойства эргодических последовательностей знаков [1 и др.].
- •4.2.3 Избыточность источника [1 и др.].
- •4.2.4 Производительность источника дискретных сообщений [1 и др.].
- •4.3. Информационные характеристики дискретных каналов связи.
- •4.3.1 Модели дискретных каналов [1, 4, 5 и др.].
- •Скорость передачи информации по дискретному каналу [1 и др.].
- •Пропускная способность дискретного канала без помех [1 и др.].
- •Пропускная способность дискретного канала с помехами [1 и др.].
- •Информационные характеристики непрерывных каналов связи [1 и др.].
- •Согласование физических характеристик сигнала и канала [1 и др.].
- •Согласование статистических свойств источника сообщений и канала связи [1 и др.].
- •4.6 Контрольные вопросы к разделам 3 и 4 в форме «Задание – тест» тема: «Количественная оценка информации».
- •1) Бод; 2) бит (двоичная цифра); 3) байт.
- •1) Сумма; 2) произведение; 3) разность.
- •1) Безусловной энтропией; 2) условной энтропией;
- •3) Совместной энтропией.
- •1) Объем алфавита;
- •2) Объем алфавита и вероятности создания источником отдельных знаков; 3) вероятности создания источником отдельных знаков.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Максимальная скорость; 2) пропускная скорость; 3) предел скорости.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •5.2. Классификация кодов [4 и др.].
- •5.3. Представление кодов [4 и др.].
- •5.4. Оптимальное (эффективное) статистическое кодирование [3 и др.].
- •5.4.1 Методы эффективного кодирования некоррелированной последовательности знаков [1 и др.].
- •Методика построения кода Шеннона – Фано [1].
- •Методика построения кода Хаффмена [2 и др.].
- •5.4.2 Свойство префиксности эффективных кодов [1 и др.].
- •5.4.3 Методы эффективного кодирования коррелированной последовательности знаков.
- •5.4.4 Недостатки системы эффективного кодирования.
- •1) Номер разряда;
- •2) Множитель, принимающий целочисленные значения;
- •3) Количество разрядов.
- •Всякий блочный код можно представить таблицей:
- •Всякий блочный код можно представить таблицей:
- •Литература:
- •Содержание
1.6. Уровни проблем передачи информации [1].
Обмен информацией предполагает использование некоторой системы знаков, например, естественного или искусственного (формального) языка. Информация о непрерывных процессах также может быть выражена посредством знаков.
Изучение знаковых систем наукой о знаках, словах и языках (семиотикой) производится, по крайней мере, на трех уровнях:
- на синтактическом уровне рассматривают внутренние свойства текстов, т.е. отношения между знаками, отражающие структуру данной знаковой системы. Внешние свойства текстов изучают на семантическом и прагматическом уровнях;
- на семантическом уровне анализируют отношения между знаками и обозначаемыми ими предметами, действиями, качествами, т.е. смысловое содержание текста, его отношение к источнику информации;
- на прагматическом уровне рассматривают отношения между текстом и теми, кто его использует, т.е. потребительское содержание текста, его отношение к получателю.
Учитывая определенную взаимосвязь проблем передачи информации с уровнями изучения знаковых систем, их разделяют на проблемы синтактического, семантического и прагматического уровней.
Проблемы синтактического уровня касаются создания теоретических основ построения систем связи, основные показатели функционирования которых были бы близки к предельно возможным, а также совершенствования существующих систем с целью повышения эффективности их использования. Это чисто технические проблемы совершенствования методов передачи сообщений и их материального воплощения – сигналов. Иначе говоря, на этом уровне интересуют проблемы доставки получателю сообщений как совокупности знаков, при этом полностью абстрагируемся от их смыслового и прагматического содержания.
Основу интересующей нас теории информации составляют результаты решения ряда проблем именно этого уровня. Она опирается на понятие «количество информации», являющееся мерой частоты употребления знаков, которая никак не отражает ни смысла, ни важности передаваемых сообщений. В связи с этим иногда говорят, что теория информации находится на синтактическом уровне при разработке новых (современных) инфокоммуникационных технологий. С проблемами семантического и прагматического уровней можно познакомиться самостоятельно по литературе [1]. Следует отметить, что в количественной оценке семантической и прагматической информации сделаны лишь первые шаги.
1.7. О смысле «Теории информации» в системе связи [1].
Возникновение теории информации связывают обычно с появлением фундаментальной работы американского ученого К.Шеннона «Математическая теория связи» (1948). Именно теория связи и никакие другие аспекты теории информации: физические, философские и т.д., не рассматриваются.
Однако в теорию информации органически вошли и результаты, полученные другими учеными, например Р.Хартли, впервые предложившим количественную меру информации (1928), акад. В.А. Котельниковым, сформулировавшим важнейшую теорему о возможности представления непрерывной функции совокупностью ее значений в отдельных точках отсчета (1933) и разработавшим оптимальные методы приема сигналов на фоне помех (1946), акад. А.Н. Колмогоровым, внесшим огромный вклад в статистическую теорию колебаний, являющуюся математической основой теории информации (1941).
В последующие годы теория информации получила дальнейшее развитие в трудах многочисленных отечественных и зарубежных авторов.
К теории информации в ее узкой классической постановке относят результаты решения ряда фундаментальных теоретических вопросов, касающихся повышения эффективности функционирования систем связи. Это в первую очередь:
- анализ сигналов как средства передачи сообщений, включающий вопросы оценки переносимого ими «количества информации»;
- анализ информационных характеристик источников сообщений и каналов связи и обоснование принципиальной возможности кодирования и декодирования сообщений, обеспечивающих предельно допустимую скорость передачи сообщений по каналу связи как при отсутствии, так и при наличии помех.
Прикладные результаты рассматриваются только для пояснения основ теории. При более широкой трактовке теории информации результаты рассмотрения указанных вопросов составляют ее основу.
Если расширение связано с приложением теории в технике связи – рассмотрением проблемы разработки конкретных методов и средств кодирования сообщений, то совокупность излагаемых вопросов называют теорией информации и кодирования или основы теории информации.
Широкое использование идей теории информации в различных областях науки связано с тем, что в основе своей эта теория математическая. Основные ее понятия (энтропия, количество информации, пропускная способность) определяются только через вероятности событий, которым может быть приписано самое различное физическое содержание. Подход к исследованиям в других областях науки с позиций использования основных идей теории информации получил название теоретико-информационного подхода.
Содержание конспекта лекций по дисциплине «Основы теории информации» ограничивается вопросами основ теории информации и кодирования в применении в областях инфокоммуникационных технологий (системах связи).
Основы теории информации являются одним из основных курсов при подготовки инженеров телекоммуникаций и информатики, специализирующихся в области систем связи (инфокоммуникационных систем). Функционирование таких систем существенным образом связано с получением, подготовкой, передачей, хранением и обработкой информации.
1.8. Контрольные вопросы к разделу 1 в форме «задание-тест».
1. Объем информации, необходимой для нормального функционирования современного общества в соответствии с развитием производительных сил:
1) растет; 2) уменьшается; 3) постоянный.
2. Понятие «информация» является центральным понятием:
1) электроники; 2) кибернетики; 3) материи.
3. Информация в материально-энергетической форме всегда проявляется в виде:
1) изделия; 2) сигнала; 3) события.
4. Целенаправленное извлечение и анализ информации о каком-либо объекте (процессе (рис.1.1), в результате чего формируется образ, осуществляется на этапе:
1) подготовки; 2) хранения; 3) восприятия.
5. Информация пересылается либо из одного места в другое, либо от одного момента времени до другого на этапе:
1) восприятия; 2) передачи; 3) обработки.
6. В информации выявляются ее общие и существенные взаимозависимости представляющие интерес для системы на этапе:
1) хранения; 2) подготовки; 3) обработки.
7. Предоставление человеку нужной ему информации с помощью устройств, способных воздействовать на его органы чувств выполняется на этапе:
1) отображение; 2) подготовки; 3) обработки.
8. Генетическая информация, обеспечивающая сохранение вида, относится к:
1) социальной; 2) биологической; 3) эстетической.
9. Информация, неразрывно связанная с практической деятельностью людей, относится к:
1) социальной; 2) биологической; 3) политической.
10. Знания, являющиеся результатом абстрактно-логического мышления и адекватно отражающие объективные закономерности, явления и процессы реального мира, называют:
1) техническими; 2) научными; 3) технологическими.
11. Совокупность технических средств и людей, объединенных для достижения определенных целей или для управления, образуют систему:
1) техническую; 2) информационную; 3) технологическую.
12. Совокупность знаков или исходов опыта источника называют:
1) сигналами; 2) сообщениями; 3) переносчиками.
13. Множество знаков (алфавит) естественного или искусственного языка представляют собой сообщение:
1) непрерывное; 2) периодическое; 3) дискретное.
14. Функции, принимающие континуум значений называют:
1) дискретными; 2) периодическими; 3) непрерывными.
15. Наука, изучающая внутренние свойства текстов (алфавитов), то есть отношения между знаками, отражающие структуру данной знаковой системы, выполняются на уровне:
1) семантическом; 2) синтактическом; 3) прагматическом.
16. Наука, изучающая смысловое содержание текста, его отношение к источнику информации, выполняется на уровне:
1) семантическом; 2) синтактическом; 3) прагматическом.
17. Наука, изучающая отношение между текстом и теми, кто его использует, то есть потребительское содержание текста, выполняется на уровне:
1) семантическом; 2) синтактическом; 3) прагматическом.
18. Рассматривая структурную схему, приведенную на рис.1.2. укажите последовательность блоков соответствующих по определению системе связи:
1) 2, 3, 4, 5; 2) 1, 2, 3, 4, 5; 3) 1, 2, 3, 4.
19. Рассматривая структурную схему, приведенную на рис.1.2. укажите последовательность блоков соответствующих по определению каналу связи:
1) 2, 3, 4, 5; 2) 1, 2, 3, 4, 5; 3) 2, 3, 4.