Взаимная энтропия
Взаимная энтропия или энтропия объединения предназначена для расчёта энтропии взаимосвязанных систем (энтропии совместного появления статистически зависимых сообщений) и обозначается H(AB), где A характеризует передатчик, а B — приёмник.
Взаимосвязь переданных и полученных сигналов описывается вероятностями совместных событий p(aibj), и для полного описания характеристик канала требуется только одна матрица:
|
p(a1b1) |
p(a1b2) |
… |
p(a1bj) |
… |
p(a1bm) |
|
p(a2b1) |
p(a2b2) |
… |
p(a2bj) |
… |
p(a2bm) |
|
… |
… |
… |
… |
… |
… |
|
p(aib1) |
p(aib2) |
… |
p(aibj) |
… |
p(aibm) |
|
… |
… |
… |
… |
… |
… |
|
p(amb1) |
p(amb2) |
… |
p(ambj) |
… |
p(ambm) |
Для более общего случая, когда описывается не канал, а в целом взаимодействующие системы, матрица необязательно должна быть квадратной. Очевидно, сумма всех элементов столбца с номером j даёт p(bj), сумма строки с номером i есть p(ai), а сумма всех элементов матрицы равна 1. Совместная вероятность p(aibj) событий ai и bj вычисляется как произведение исходной и условной вероятности:
Условные вероятности производятся по формуле Байеса. Таким образом, имеются все данные для вычисления энтропий источника и приёмника:
Взаимная энтропия вычисляется последовательным суммированием по строкам (или по столбцам) всех вероятностей матрицы, умноженных на их логарифм:
|
H(AB) = − |
∑ |
∑ |
p(aibj)log p(aibj). |
|
|
i |
j |
|
Единица измерения — бит/два символа, это объясняется тем, что взаимная энтропия описывает неопределённость на пару символов: отправленного и полученного. Путём несложных преобразований также получаем
Взаимная энтропия обладает свойством информационной полноты — из неё можно получить все рассматриваемые величины.
4.1. Основные понятия и виды обратной связи в усилителях.
Обратной связью называют связь между электрическими цепями, при которой часть энергии выходного сигнала передаётся на вход, т.е. из цепи с более высоком уровнем сигнала в цепи с более низким его уровнем. Обратная связь значительно влияет на свойства и характеристики усилителя, поэтому её часто вводят в усилитель (схему устройства) для изменения его свойств в нужном направление. Такая обратная связь называется внешней. Обратная связь может возникнуть и самопроизвольно, например, из-за физических особенностей усилительного элемента. Такая обратная связь называется внутренней обратной связью. Обратная связь возникающая из-за паразитных связей (емкостных, индуктивных и др.) называется паразитной.
Цепь обратной связи вместе с частью схемы усилителя, к которой она подключена, образует замкнутый контур, называемый петлёй обратной связи, рис. 4.1.
Рис. 4.1. Обратная связь в усилителе К – коэффициент усиления усилителя Β – коэффициент передачи цепи обратной связи.
При проектировании и конструировании радиоэлектронных схем принимают меры для ослабления или ликвидации внутренних и паразитных обратных связей. Если в усилителе имеется одна петля обратной связи, то связь называют однопетлёвой, если петель обратной связи несколько, связь называют многопетлёвой, рис. 4.2а и 4.2б.
Рис. 4.2. – Виды обратной связи
а) Однопетлевая
б) Двухпетлёвая с независимыми петлями.
Отметим, если в петле обратной связи, охватывающей весь усилитель, имеются петли обратной связи, охватывающие отдельные каскады или части усилителя, их называют местными петлями обратной связи.
Существуют различные способы снятия энергии с выхода схемы и подачи её на вход схемы рис. 4.3 и 4.4. Если энергию сигнала снимают с выхода схемы параллельно нагрузке, рис. 4.3а, связь называется обратной связью по напряжению (или параллельной по выходу), т.к. при этом напряжение обратной связи прямо пропорционально выходному напряжению усилителя UВЫХ.