55. Энтропия, количество информации по Шеннону.

Количество информации, содержащееся в одном элементе сигнала, называют удельной информативностью или энтропией сигнала (ИЛИ неопределённость в каждой ситуации):

(1.2)

По существу энтропия есть мера неопределенности или мера недостающей информации исследуемого процесса (сообщения). В частности, энтропия русского алфавита (= 32) равнаН = 5 бит/символ.

С количеством информации неразрывно связана скорость ее передачи. Численно скорость передачи информации определяется ее количеством, переданным за секунду. Предельные возможности скорости передачи информации оцениваются пропускной способностью (часто используется термин емкость) канала связи. Пропускная способность канала численно равна максимальному количеству информации, которое можно передать по каналу за 1 с.

В термодинамике энтропия – это вероятность теплового состояния вещества. В математике это степень неопределённости в ситуации или задаче. В информатике – энтропией характеризуют способность источника отдавать информацию. Энтропия выражается (в термодинамике ):

N –общее число молекул данного пространства; ni – количество молекул, имеющих скорость vi+∆v; ni/N – вероятность появления молекул со скоростью vi+∆v.

Шеннон предложил H взять за стационарную информацию, т.е.: Iср=

H характеризуется следующими свойствами:

1. она всегда положительна;

2. она =0, если все остальные =0; это тот случай, когда о опыте или величине известно всё и результат не приносит новой информации;

3. она имеет наибольшее значение когда все вероятности равны между собой.

Энтропия измеряется в битах.

Количество информации тогда равно вероятности, когда неопределённость ситуации снимается полностью. Количества информации – это уменьшение энтропии в следствии опыта при неполном снятии неопределённости имеем частичную информацию, = разности между конечной и начальной энтропией. Наибольшее количество информации получаем, если снижается наибольшее неопределённость (т.е. равномерное распределение).

56. Описание непрерывных колебаний во временной и частотной областях.

Электромагнитный процесс (сигнал, переносчик или помеха) иногда приближенно можно записать в виде гармонического колебания (7-1) периодического колебания(7-2) или в виде модулированного колебания(7-3) где— соответственно амплитуда, частота и начальная фаза гармонического колебания; Т1 — период повторения;т — целое число;— соответственно амплитуда и фаза колебания, изменяющиеся во времени в соответствии с передаваемым сообщением. Такое описание сигнала называется временным представлением. Представление сигнала ф-цией времени, как и любое другое представление, является абстракцией, при которой многие стороны и свойства представляемого процесса не учитываются. Например, колебания (7-1) и (7-2) обладают бесконечной энергией, в то время как реальные сигналы всегда имеют ограниченную длительностьТ и ограниченную энергию. Но аналитическое представление ограниченного во времени сигнала много сложнее, и поэтому там, где можно, используют простое выражение (7-1). Часто необходимо сконцентрировать внимание не на изменениях сложного сигнала во времени, а на том, из каких простых гармонических колебаний он состоит. В этих случаях прибегают к спектральному представлению сигнала, в основе которого лежат преобразования Фурье (см. разд. 1). В спектральном представлении внимание переносится с временных зависимостей на частотный состав, т. е. сигнал представляется не ф-цией времени, а ф-цией частоты. Совокупность гармонических колебаний, на которые может быть разложен данный сигнал, называют спектром сигнала. Полоса частот, в которой наблюдаются гармонические колебания, составляющие данный сигнал, называют шириной его спектра. Временное и спектральное представления сигнала связаны преобразованиями Фурье. В частности, для импульсных сигналов, отличных от нуля лишь в ограниченном интервале времени, это проявляется в том, что ширина спектра F и длительность импульсасвязаны простой зависимостью(7-4) где— число порядка единицы. Подробное спектральное" и временное описание сигнала далеко не всегда бывает необходимо; иногда достаточно указать следующие три его основные характеристики: длительностьТ; ширину спектра F; превышение сигнала над помехой, т. е.