- •Обобщенная структура системы связи. 3.Характеристики систем связи.
- •Помехи в системах связи. Характеристики помех.
- •4, Информация. Понятие информации. Меры информации.
- •5. Мера Хартли
- •7.Вероятностный подход к измерению информации.
- •8. Статистическая мера количества информации.
- •Типичные сообщения, их свойства.
- •10. Семантический подход к оценке информации.
- •Энтропия дискретных сообщений.
- •Свойства энтропии.
- •Энтропия непрерывных сообщений.
- •14. Распределения с максимальной энтропией.
- •Непрерывные и дискретные сообщения. Общность и различие.
- •Характеристики случайных процессов.
- •18. Понятие стационарности случайного процесса (ссп).
- •Свойство эргодичности ссп.
- •20. Свойства корреляционной функции стационарного случайного процесса
- •23. Эффективная ширина спектра случайного процесса 21. Интервал корреляции.
- •Дискретизация по времени. Факторы, влияющие на выбор интервала дискретизации.
- •25. Теорема котельникова
- •26. Корреляционный критерий
- •Критерий наибольшего допустимого отклонения.
- •Оценка погрешности восстановления сигнала по дискретным отсчетам.
- •Функция отсчетов. Ее свойства.
- •Энтропия статистически зависимых сообщений.
- •31. Квантование по уровню
- •32. Тепловой, дробовый и фликкер шумы
- •Количество информации при наличии помех. 34. Как проявляется действие помех при передаче непрерывных и дискретных сообщений.
- •Скорость передачи информации.
- •Согласование источников сообщений с каналом связи.
- •Цели и задачи кодирования.
- •Оптимальное кодирование.
- •45. Критерий оптимальности кода.
- •Код Шеннона-Фано. Код Хаффмена.
- •Кодирование блоков сообщений.
4, Информация. Понятие информации. Меры информации.
Информация возникает в тех случаях, когда устанавливаются некоторые общие свойства предметов или явлений, появляются новые знания. Передачей и переработкой информации человечество занимается с древних времен. Рисунки древних людей, попытки создания языка и письменности, расшифровка следов, звуковая и световая сигнализация — это примеры операций по хранению, передаче и обработке информации. Однако предметом изучения информация стала сравнительно недавно и в настоящее время существует ряд определений понятия информации.
Комитетом научно-технической терминологии Академии наук СССР рекомендованы следующие определения: информация — это сведения, являющиеся объектом храпения, передачи и преобразования. Сообщение — это форма представления информации.
Под информацией понимают существенные и представительные характеристики процессов и объектов, выделенную сущность явлений материального мира . Понятие информации предполагает абстрагирование от многих свойств реальных событий и объектов, причем границы абстрагирования условны и определяются спецификой решаемых задач.
В материально-энергетической форме информация всегда проявляется в виде сигналов (рис. 2).
Первичным и неделимым элементом информации следует считать двоичное событие, т. е. утверждение или отрицание, наличие или отсутствие. "Двоичное событие условно представляется единицей или нулем, импульсом или паузой. Согласно [3], событие не имеет геометрических измерений и представляется точкой.
Множество событий, упорядоченное в одном измерении, называют величиной. Принятие величиной одного из значений множества есть событие. Если величина принимает счетное множество значений, то она является дискретной. Если число принимаемых значений бесконечно, то величина является непрерывной. Геометрически величина представляется линией.
Если существует соответствие между величиной и другой величиной, между величиной и пространством или величиной и временем, то говорят о функции Х1 (Х2), X (М) или X (Т). При этом геометрически функция может быть представлена как поле событий Различают функции с непрерывным и дискретным аргументом
Комплекс информации X (Т, А/) представляет собой соответствие между величиной, с одной стороны, и временем и пространством — с другой. Геометрически комплекс информации представляется трехмерным полем событий.
Информация описывается моделями с различной мерностью. Событие представляет собой нуль-мерную информацию, величина — одномерную, функция — двумерную, комплекс — трехмерную. Следуя таким путем далее, можно мыслить четырехмерную, ..., п-мерную информацию Многомерная информация моделируется многомерным пространством .
Источники и формы сообщений и соответствующие им сигналы бывают дискретными и непрерывными.
МЕРА КОЛИЧЕСТВА ИНФОРМАЦИИ
Теория информации изучает основные закономерности получения, передачи, хранения и обработки информации.
В настоящее время в теории информации выделяется три основных направления: структурное, статистическое и семантическое.
Структурное — рассматривает дискретное строение массивов информации и их измерение простым подсчетом информационных элементов или комбинаторным методом, предполагающим простейшее кодирование массивов.
Статистическое направление оперирует понятием энтропии как меры неопределенности, учитывающей вероятность появления тех или иных сообщений.
Семантическое направление учитывает целесообразность, ценность, полезность или существенность информации.
Эти три направления имеют свои определенные области применения. Структурное используется для оценки возможностей технических средств различных систем переработки информации независимо от конкретных условий их применения. Статистические оценки применяются при рассмотрении вопросов передачи информации, определении пропускной способности каналов передачи. Семантические оценки используются при решении задач построения систем передачи информации, разработке кодирующих устройств и при оценке эффективности различных устройств.
Структурные меры информации
Структурные меры учитывают только дискретное строение информации. Элементами информационного комплекса являются кванты — неделимые части информации дискретных моделей реальных информационных комплексов. В структурной теории различают геометрическую, комбинаторную и аддитивную меры.