6.Информация в непрерывных сообщениях, эпсилон-ентропия
-экв
1.
;
2.
;
3. - Среднее значение квадрат.Отклонения (теор.Управл и связи)
Эквивалентность
– канал обладает свойством, что он «не
искажает» сообщение, т.е. сообщение,
поступающее на его вход почти идентично
сообщению, получаемому на его выходе,
ограничено 
.
МО и его отклонение. Центр.случайный
процесс МО=0, мы ее не передаем.
3. Если разность сигнала укладывается в полосу пропускания, то передаваемое и полученное сообщение эквивалентны.
-принятое
сообщение, 
-
реализация сигнала, 
-
закон распределения, 
-
дифферниальная.энтропия.
Характеристика
канала определяет min
количество информации, которое необходимо
передать, чтобы восстановить передаваемое
сообщение
с заданным
критерием эквивалентности. Закон
распределения 
.
;
;
т.к.
-
производная
непрерывного источника
-
минимальная частота сигнала, 
-
производная непрер. источника =
дифференц.энтропии на 
.
Производная непрер.источника
определяется:-полосой пропускания,-отношением
сигнал/шум.
7.Кодирование как представления информации в цифровом виде
тк энтропия бесконечна, невозможно полностью восстановить информацию.
Q-
некоторое целое число, представленное
в виде суммы произведения некоторого
множества 
на
основание системы счисления 
-основание
кода 
-разряды
1 60000 60000
2 16 32
3 10 30
4 8 32
16 4 64
40 3 120
60000 1 60000
Чем больше основание системы счисления, тем короче длина передаваемой последовательности.
Сообщение – дискретно (дискретн.позиций);
Информация – количество позиций;
число уровней – количеств.оценка информации;
позиционная система счислений – представление числа в виде совокупности разрядов. Параметры структуры элементов называют кодом.
Произведение
-
экономичность системы. При 
-
наиболее экономичная.
8.Назначение кодирования в системах связи
Теорема
Шеннона
(однозначное соответствие): Кодирование
и декодирование взаимозаменяемые
явления.
-
энтропия
источника = энтропии кода, и наоборот.
Представление
однозначно, если
нет временных помех.
Дополняем систему источником:
Широкий смысл дискретное представление.
Назначение кодирования в системах связи:
1.Согл. источн с КС
(Источник
генерирует сигнал информации, потом ее
необходимо передать по ЛС, для этого
нужно поставить кодер, согласующий
сигнал с КС при преобразовании,
приспособление к КС. Формирование
алфавита наиболее экономично, когда
самые часто встречаемые символы
представлены коротким знаком 
)
2. Повышение информативности кода
(архиватор, уменьшение избыточности но при увеличении за счет избыточности – помехоустойчивость падает.)
3. Повышение помехоустойчивости
(возможно за счет внесения избыточности.)