
- •1. Понятие информации
- •1.1. Предмет, место и роль теории информации и передачи сигналов
- •1.2. Предмет и метод теории информации
- •1.3. Этапы обращения информации
- •1.4. Типовая структурная схема информационной системы. Разновидности информационных систем
- •1.5. Виды информации
- •1.6. Структура информации
- •1.7. Устранение избыточности информации
- •2. Измерение информации
- •2.1. Структурные меры информации
- •2.1.1. Геометрическая мера
- •2.1.2. Комбинаторная мера
- •2.1.3. Аддитивная мера информации
- •2.2. Статистические меры информации
- •2.2.1. Вероятность и информация
- •Двоичные однопредметные явления
- •Двоичные двухпредметные явления
- •Понятие энтропии
- •Энтропия ансамбля
- •Энтропия объединения
- •Количество информации и избыточность
- •2.3. Семантические меры информации
- •2.4. Другие меры полезности информации
- •2.4.1. Энтропия, шум и тезаурус
- •3. Информационные характеристики источника сообщений и канала связи
- •3.1. Основные понятия и определения
- •3.2. Информационные характеристики источника дискретных сообщений
- •3.2.1. Модели источника дискретных сообщений
- •3.2.2. Свойства эргодических последовательностей знаков
- •3.2.3. Избыточность
- •3.2.4. Производительность источника дискретных сообщений
- •3.3. Информационные характеристики дискретных каналов связи
- •3.3.1. Модели дискретных каналов
- •3.3.2. Скорость передачи информации по дискретному каналу
- •3.3.3. Пропускная способность дискретного канала без помех
- •3.3.4. Основная теорема Шеннона о кодировании для дискретного канала без помех
- •3.3.5. Пропускная способность дискретного канала с помехами
- •3.3.6. Основная теорема Шеннона о кодировании для дискретного канала с помехами
- •3.4. Информационные характеристики источника непрерывных сообщений
- •3.5. Информационные характеристики непрерывных каналов связи
- •3.5.1. Модели непрерывных каналов связи
- •3.5.2. Скорость передачи информации по непрерывному каналу
2.1.1. Геометрическая мера
Определение количества информации геометрическим методом сводится к измерению длины линии, площади или объема геометрической модели данного информационного комплекса в количестве дискретных единиц – определенных выше квантов. Геометрическим методом определяется потенциальное,т.е. максимально возможное количество информации в заданных структурных габаритах. Это количество будем называтьинформационной емкостьюисследуемой части информационной системы. Информационная емкость вычисляется как сумма дискретных значений по всем измерениям.
Информационная емкость может быть представлена числом, показывающим, какое количество квантов содержится в полном массиве информации.
Геометрическую меру можно применить не только для оценки информационной емкости, но и для оценки количества информации, содержащейся в отдельном сообщении. Если о величине, отображаемой сообщением, известно, что она имеет максимальное значение из того ряда значений, которые она уже принимала ранее, то можно считать, что количество информации, содержащееся как в этом, так и в любых более ранних сообщениях, определяется числом квантов, содержащихся в максимальном значении.
Пусть информация отражается полным комплексом XTN.
Если дискретные отсчеты осуществляются по осям X,TиNсоответственно через интервалыX,TиN, то непрерывные координаты распадаются на элементы (кванты), количество которых составляет:
mX = X/X ; mT = T/T ; mN = N/N . (3)
Тогда количество информации, в квантах, в полном комплексе XTN, определенное геометрическим методом, равно:
M=mXmTmN.
Может иметь место неравномерная (по осям) и нестационарная (изменяющая свой характер во времени) дискретизация. Тогда количество информации определяется по более сложным формулам, вытекающим из переменных характеристик дискретизации.
2.1.2. Комбинаторная мера
К комбинаторной мере целесообразно прибегать тогда, когда требуется оценить возможность передачи информации при помощи различных комбинаций информационных элементов. Образование комбинаций есть одна из форм кодирования информации.
Количество информации в комбинаторной мере вычисляется как количество комбинаций элементов. Таким образом, оценке подвергается комбинаторное свойство потенциального структурного разнообразия информационных комплексов.
Комбинирование возможно в комплексах с неодинаковыми элементами, переменными связями или разнообразными позициями. Элементы неодинаковы, если они отличаются один от другого любым признаком – размером, формой, цветом и т.п.
Одинаковые по всем своим признакам элементы могут стать неодинаковыми, если учесть их положение, позицию. Тогда местоположение элементов оказывает влияние на целое (позиционные системы счисления, формирование образов). Примером проявления влиятельности элементов может служить перенос знаков в позиционной системе представления двоичных чисел: 11110 и 01111 или 00001 и 10000. В первом случае меняет положение нуль, во втором случае – единица. В первом случае число меняется с 30 на 15, во втором – единица превращается в16.
Еще более выразителен пример переноса точки при образовании фигур и изображений, когда одна безличная точка коренным образом меняет изображение и его смысловое содержание.
В комбинаторике рассматриваются различные виды соединения элементов.
Сочетания изhэлементов поlразличаются составом элементов. Их возможное число равно:
Сочетание с повторениями также различается составом элементов, но элементы в них могут повторяться до lраз. Число различных сочетаний с повторениями изhэлементов поlравно:
Перестановкиhэлементов различаются их порядком. Число возможных перестановокhэлементов