Измерение количества информации .
В информатике используются различные подходы к измерению информации. Содержательный подход к измерению информации рассматривается с точки зрения человека, получившего информацию (сообщение). Измерение количества информации не связывают с содержанием сообщения. Количество информации зависит от объема сообщения, но не его содержания. В этом случае более подходит алфавитный подход к измерению информации. Измерение количества информации – это мера уменьшения определенности. 1-бит, такое количество информации содержит сообщение, уменьшающее неопределенность знаний в два раза. Согласно измерению информации, количество информации достигает максимального значения, если события равновероятны, поэтому количество информации такое, сколько несет в себе сообщение. Наиболее просто измерить количество информации в случае, когда все исходы события могут реализоваться с равной долей вероятности.
Теперь рассмотрим алфавитный подход к измерению количества информации. При этом подходе измерения количества информации важно учитывать количество в каждом из знаков дискретного сообщения с последующим подсчетом количества этих знаков в сообщении. Для простоты предположим, что все символы (знаки) появляются в тексте с одинаковой вероятностью. Тогда измерение количества информации будет строиться из того, что все символы «равноправны», значит, и объем информации в каждом из них одинаков. Измерение информации представлено дискретным сигналом. При этом различают следующие подходы измерения информации: структурный (измеряет количество информации простым подсчетом символов); статистический (учитывает вероятность появления сообщений). Есть еще один вид информационного процесса – это семантический. Семантический подход к измерению информации учитывает целесообразность и полезность информации
Теоретические модели каналов связи. Теоремы Шеннона о кодировании для каналов связи (без доказательства). Пропускная способность каналов.
Для анализа информационных возможностей канала по передаче информации принято пользоваться обобщенной информационной моделью канала.
Источник информации создаёт сигналы z, которые после кодирования и модуляции в преобразователе информации 1 превращается в сигналы х и поступают в канал.
Под кодированием (в широком смысле) подразумевается представление сообщений в форме, удобной для передачи по каналу. Операция восстановления сообщения по принятому сигналу называется декодированием. Поскольку информация передаётся в виде сигналов, то сообщению на выходе источника информации необходимо поставить в соответствие определённый сигнал. Поскольку число возможных сообщений при неограниченном времени стремится к бесконечности, а за достаточно большой промежуток времени велико, создать для каждого сообщения свой сигнал невозможно (да и не нужно).
Дискретные сообщения складываются из букв, поэтому используют конечное число образцовых сигналов, соответствующих отдельным буквам алфавита источника. При большом объёме алфавита прибегают к представлению букв в другом алфавите с меньшим числом букв, которые называют символами. Для обозначения этой операции также используется термин кодирование.
Поскольку алфавит символов меньше алфавита букв, то каждой букве соответствует кодовая комбинация. Число символов в кодовой комбинации называется её значностью. Операцию сопоставления кодовой комбинации соответствующей ей буквы называют также декодированием.
Преобразователь информации решает задачи:
1) преобразование информации в такой код, который обеспечивал бы простоту и надёжность аппаратной реализации.
2) кодирование сообщений так, чтобы уменьшить избыточность. Это достигается путём такого кодирования, при котором снижается среднее число символов, требующееся на букву сообщения. Поскольку при отсутствии помех такое кодирование даёт выигрыш во времени передачи или в объёме запоминающего устройства, то оно получило название эффективного. Теоретическую основу эффективного кодирования создал Клод Шеннон, который в своей теореме показал возможность создания эффективных кодов.
3) обеспечение помехоустойчивого кодирования как один из вариантов обеспечения заданной достоверности передачи и приёма.
4) модуляция кодированного сигнала. Получаемый на выходе модулятора сигнал подготовлен к передаче по конкретной линии связи.
Сигнал х передаётся по каналу.
В результате действия помех сигнал у на выходе канала будет отличаться от сигнала х. Для удобства принято считать, что помехи создаются неким воображаемым источником помех с определенными статистическими свойствами и поступают в канал в виде мешающего сигнала ξ. По уровню помех и по виду передаваемых сигналов различают:
1)дискретный канал без помех;
2) дискретный канал с помехами;
3) непрерывный канал с помехами.
Каналы позволяют вести передачу с различной максимальной скоростью(пропускной способностью) и требуют различного подхода к передаче данных.
Информация из канала поступает в преобразователь информации 2. Преобразователь информации 2:
- демодулирует поступивший сигнал;
- декодирует помехоустойчивый код;
- распаковывает сжатые данные и в виде сигналов z подаёт информацию к приёмнику.