Статистические методы обработки сигналов в радиотехнических системах

141

Для i1( ) впрактическихрасчетахудобноиспользоватьэквивалентноепредставление. Онополучаетсяпослеповторногодифференцирования(4.70) по иимеетвид

Из соотношений (4.71) и (4.72) следует in ( ) ni1( ) , тоесть общее количество информации увеличивается пропорционально объему выборки.

Рассмотримпримервычисленияфункции i1( ) . Дляэтогообратимся к задаче из подразд. 4.4, где выборочные значения yi ni . Шум

имеет гауссовскую ПРВ — N 0; 2n , и величина yi также является гауссовской. Таким образом, в этом случае вклад одного наблюдения

воречитздравомусмыслу. Действительно, чемменьшедисперсияшума, тембольшуюинформациюнесетслучайноевыборочноенаблюдение yi обоцениваемомпараметре а.

В статистической теории оценок существует теорема [3], которая утверждает, чтопри выполненииусловийрегулярностидля ФПисуще-

ствовании in ( ) , ПРВ случайной величины T n МП , где

МП — единственный корень уравнения правдоподобия, сходится (помереувеличения объемавыборки n) к нормальномураспределению снулевымсреднимзначениемидисперсией

Этоозначает, чтоприбольших n оценкаМПявляетсянесмещенной

142

Подчеркнем, что при любых видах ПРВ W (y / ) W ( yi / ) ,

i 1

удовлетворяющихусловиямрегулярности, асимптотическивыполняется (4.74). Этопоясняетиоправдываетназвание«количествоинформации», введенноеР. Фишеромдлявеличины, находящейсявзнаменателе.

Рассмотрим без доказательства известное в теории оценок и важное дляпрактических приложенийнеравенствоКрамера — Рао. Оноутвер-

ждает, что для дисперсии несмещенной оценки параметра при произвольномобъемевыборки n выполняетсясоотношение

где in ( ) n i( ) , если выборка независимая.

Это неравенство определяет нижнюю границу дисперсий любых несмещенных оценок параметра . Условием его справедливости являетсятольконаличиесвойстврегулярностиуфункции L(y) W (y / ) .

С неравенством (4.76) связано понятие эффективности оценки. Несмещенная оценка параметра называется эффективной, если ее

выборочнаядисперсиядостигаетграницыКрамера— Рао. Соотношения (4.74), (4.75) утверждают, чтооценкаМП асимптотически (при n ) несмещенаиэффективна.

Значимостьрезультата(4.76) дляпрактикиразработкиизмерительных РТСсостоитвследующем. Инженервконкретнойзадачеможетиспользовать различныеалгоритмы обработки сигналов и далеко невсегда их привлекательностьсвязанасоптимальностью(всмыследисперсииошибки). Возможно, они более просты в технической реализации или, наконец, просто интуитивно ясны по структуре. Однако ответы на вопросы отом, исчерпанылиресурсыизмерительнойсистемыпоточностииреализованы ли ее предельные возможности, очень часто важны и многое определяют.

Допустим, чтовыбранный вариант построения системы управления воздушным движением обеспечивает СКО ошибки вывода самолета наполосупосадки 100 м, втовремякак, предельнодостижимая (потенциальная) СКО при тех же свойствах входных сигналов могла бы

144

15.Каковсмысл ивид целевойфункции приопределении оценокпо методунаименьшихквадратов(МНК)?

16.В чем особенность оператора, определяющего оценку МНК(y) вслучаелинейнойпопараметраммоделинаблюдаемогосигнала?

17.Выполнитенеобходимыепреобразования и получитевыражение дляоценкипостоянногопараметраметодомнаименьшихквадратов.

18.Каковоусловиенесмещенностиоценок поМНК?

19.КакиевеличиныопределяютСКОоценки МНК(y) постоянного параметра , если выборка состоит из n некоррелированных отсче-

20.Изобразите в общем виде структуру оптимального измерителя неизвестногопараметраполезногосигнала, поступающегонавходпри- емника-измерителя в смеси с аддитивным гауссовским шумом и пояснитефункцииотдельныхэлементовизмерителя.

21.Запишите выражение для дисперсии оценки МП неизвестного

постоянного параметра сигнала yi ni , поступающего в смеси с «белым» дискретным гауссовским шумом на вход измерителя и перечислитевеличины, которыеопределяютеезначение.

22.Запишитев общей формефункцию правдоподобия параметра дляслучаявыборки, состоящейиз n статистическинезависимыхотсчетов

y1, y2 ,..., yn наблюдаемого сигнала y(t), который является аддитивной суммой полезного сигнала s(t, и белого гауссовского шума.

23.Что есть вклад выборки y и как его определяют? Каков вклад

отдельного наблюдения yi, являющегося элементом статистически независимойвыборки?

24.КакопределяютколичествоинформациипоФишеруопараметре, содержащееся в независимой выборке y объема n?

25.Какимисвойствамиобладаютмаксимальноправдоподобныеоценки неизвестногопараметра привыполненииусловийрегулярностидля функцииправдоподобия?

26.ЗапишитенеравенствоКрамера — Рао. Чтоопределяетэтонеравенство? Каковыусловиявыполнениянеравенства?

145

5. РЕКУРСИВНАЯ ФИЛЬТРАЦИЯ СООБЩЕНИЙ

5.1. Среднеквадратичная регрессия

Байесовскаятеорияоценокнеизвестныхпараметров , содержащихся в данных y, основана напредположении ослучайном характереоцениваемогопараметраинаблюдаемыхданных. Вподразд. 4.7 показано, что оптимальная байесовская оценка, которая имеет наименьшую СКО, получаетсяприобработкеданныхоператоромусловногосреднеговвиде

Конкретный вид f(y) полностью определяется апостериорной ПРВ W ( / y) . В общейтеории статистики, имеющей делоспроизвольными по своей природе случайными величинами, выражение (5.1) называют

оптимальнойсреднеквадратичнойрегрессиейвеличины навеличину y

(размерностьвеличиннеимеетзначения). Посуществуврадиотехническихзадачахвыражение(5.1) определяеталгоритмработыоптимального (всмыслеминимумасреднегорискаприквадратичнойфункциипотерь) фильтра. Раскрытие этого оператора в явной форме, удобной для реализации в реальном масштабе времени, представляет в общем случае непростую задачу. Во всяком случае только в 1960-х годах прошлого векавосновномвтрудахРЛ. . СтратоновичаиР. Калманаврешенииэтой задачибылсделанфундаментальныйпрорыв— полученыдифференциальныеиразностныеуравнения, определяющиеоптимальнуюоценкусоответственнодляаналоговыхидискретныхсистемобработки. Этиурав-

нения(длятекущейоценки (k) иковариационныхмоментовошибки

Б

оценивания) в случае дискретных систем имеют рекурсивную форму и, такимобразом, наилучшимспособомориентированыдляреализации наЭВМ.

Влинейныхзадачахсгауссовскими и y этирезультатыполучены при строгом решении задачи оптимальной байесовской фильтрации. В произвольном случае при негауссовских и (или) y задача не имеет решениявзамкнутойформе. Могутбытьреализованытолькоквазиоптимальныерекурсивныепроцедурыобработкиданных.

146

5.2. Линейная среднеквадратичная регрессия

Рассмотрим подробно задачу оценки параметров линейной регрессии. Прежде приведем один простой, но важный для дальнейших рассуждений результат, когда и y — скалярные случайные величины. Итак, пусть и Y — случайные величины. В данном случае важно различать случайную величину, обозначаемую прописной буквой, и ее конкретноезначение— строчнойбуквой.

Интерес к линейным процедурам обработки обусловлен их простотой, поэтому ограничим себя этими способами формирования оценок и будем полагать, что оператор условного среднего задан в виде линейной регрессии (в общем случаеонанеоптимальна)

где a и b — неизвестныекоэффициенты, определяющиеправилообра-

где для краткости записи оператор статистического усреднения M[ ] записанввиде ( ) . Будемсчитать, чтоврамкахкорреляционнойтеории статистическиесвойстваскалярныхслучайныхвеличин и Y известны, тоестьзаданыихначальные, центральныеисмешанныемоментыдовторого порядка. Здесь же напомним (см. подразд. 2.3), что это является исчерпывающейинформацией, еслисовместнаяПРВэтихвеличингауссовская.

Дляопределенияоптимальныхкоэффициентовуравнениялинейной регрессии решим системулинейных уравнений относительнопеременных a и b:

Введем обозначения и запишем известные из теории вероятностей соотношения:

147

где K y y k y — ненормированный взаимный ковариационный моментвеличин и Y. Витогесучетомобозначений (5.5), (5.6) решениесистемы (5.4) имеетвид

Можнострогопоказать, что(5.7), (5.8) действительнообеспечивают минимумвеличиныдисперсииошибки D (a,b) .

Подставимвыражения(5.7), (5.8) в(5.2) и, выполнивпростыеалгебраическиепреобразования, получим уравнениелинейнойсреднеквадра- тичнойрегрессии, котораяопределяетлинейнуюоценкуслучайногоинформативногопараметра какфункциюодногослучайногонаблюдения Y в виде

количество детей в семье и Y — средний доход на одного члена семьи. По ансамблю семей эти величины случайны. Необходимо по данным одоходеконкретнойсемьи Y y , которыйонабудетиметьвопределенный моментвремени, дать оценкуколичества детей. Изуравнения (5.9) видно, что если величины и Y не коррелированы ( K y 0 ), то знание дохода Y не учитывается при линейном прогнозе, поскольку несодержит полезнойинформацииовеличине . В качестве линейной оценки следует использовать известное среднее lin m , что обеспечит минимум СКО ошибки линейной оценки. Если доход имеет значительноерассеяние ( Dy 2y ), то знаниевеличины y также неследуетучитывать, таккакприэтомусловии

и второеслагаемоев (5.9) исчезает. Вовсех другихслучаях знаниеконкретного Y y позволитточнеепрогнозировать lin f ( y) .

148

Изуравнения (5.9) достаточнопростоустановить фактнесмещенно-

сти безусловной оценки . Для этого следует определить стати-

lin

стическоесреднее(среднеепоансамблю) левойиправойчастейуравне-

ния (5.9). Поскольку Y m , то . Дисперсиялинейной оценки

y lin m

такжеследует из (5.9) и имеет вид

Сделаем важное замечание. Поскольку в случае совместно гауссовских и Y ихвероятностноеповедениеполностьюопределенозаданиемсреднихзначений, дисперсийиковариации, томожнопредположить, что строго оптимальный оператор условного среднего (5.2) в случае гауссовских распределений имеет линейный вид. В подразд. 4.4 этот результат имел место в задаче байесовской оценки скалярного параметра повыборке y объема m.

Конечно, значительный практический интерес представляют задачи вслучаемногомерныхслучайныхвеличин. Взадачах, связанныхспроектированиемустройствобработкисигналовврадиотехническихсистемах, вектор может состоять из параметров, определяющих траекториюдвиженияобъекта. Всистемахсвязиимимогутбытьпоследовательные отсчеты речевого сигнала. Вектор Y есть совокупность наблюдаемых (подлежащих обработке) сигналов.

Вмногомерномслучаенеобходимыепреобразованиявобозримомвиде можно выполнить в матричной форме. Для записи ПРВ гауссовского случайного вектора x, имеющего вектор среднего значения mx и матрицуковариаций K x , будемиспользоватьобозначение

149

где K , K yy — автоковариационные матрицы векторов и y; K y и K y — взаимные ковариационные матрицы этих векторов. Найдем в матричной форме выражение для апостериорной ПРВ W ( / y) , по которой определим m /y . В общем виде для условной ПРВ справедливосоотношение

Запишемдля K тождественноесоотношение

котороеможноподтвердитьнепосредственнойпроверкой. Учтемправило (ABC) 1 C 1B 1A 1 иправилообращениятреуголь-

нойматрицы

Запишем в блочном виде матрицу K 1 и введем ее в выражение (5.12). После группировки слагаемых в показателе экспоненты найдемвматричнойформеапостериорнуюПРВ W ( / y) . Этафункция имеетследующийвид:

150

W ( /y) N ; m K K 1 (y m ), K K K 1 K .

y yy y y yy y

(5.13)

Таким образом, в случае совместно гауссовских векторных наблюдений y и полезного сообщения оптимальная байесовская оценка полезногосообщенияопределенасоотношением

Ковариационнаяматрицаошибкиоптимальнойоценкисогласно(5.13) равна

Сравниваявекторноматричныевыражения(5.14), (5.15) саналогичнымипосмыслувыражениями(5.9), (5.10), видим, чтопервыеявляются обобщением результатов, полученных для скалярногослучая.

5.3.Рекурсивная оценка параметров линейной регрессии

Рассмотрим вновь задачу оценки векторного параметра при наличиилинейныхскалярныхнаблюденийсаддитивнойпомехой (см. (4.21)). Теперь полагаем, что — случайный вектор. Запишем уравнение наблюдений (4.21) ввиде

где hTt f0 (t), f1(t),..., fr 1(t) — известный r-мерный вектор; — r-мерныйвекторнеизвестныхпараметров; nt — случайнаяпогрешность (ошибка) наблюдения. Случайнуюпоследовательностьошибокполагаем стационарнойспараметрами

M nt 0 и Dnt 2 для t .

Алгоритмы в рекурсивной форме требуют инициализации, то есть задания начального значения. Будем считать, что начальная оценка