Студентам ИТ / 2 УПП_ИТ / Основн_литература / ИТ (Excel) / ИТ_автоматизир_управления

по системе ортонормированных функций k(S). Ортонормированность означает

В (2.4.14) использована замена теоретического среднего

значения функции k(S) его эмпирическим средним (см. 2.4.20). Таким образом, оценкой истинной плотности распределе-

Оценка коэффициентов k может быть получена рекур-

рентно. Так, если получена оценка (2.4.14) k(M) по выборке объема M, то выражение для коэффициента при увеличении выборки на один объект имеет вид (см. 2.4.22)

Часто закон распределения приближают с помощью парзеновских окон (по имени Парзена)

где функция окна p[(S – Sm)/ M] является некоторым распределением, центрированным в Sm и обладающим шириной M, зависящим от числа выборок M. Как правило, с ростом M ширина окна сужается. Величина nm соответствует количеству выборок,

попавших в «точку» Sm. При M 100 парзеновское приближение практически сходится к истинному распределению.

Статистики наблюдений, достаточные статистики.

Статистикой наблюдаемого состояния S называют любую функцию f [S] от наблюдений. Однако чаще всего используют средние величины f таких функций

Нормальные законы распределения зависят лишь от статистик первого и второго порядка – средних значений S наблюдений и их ковариаций COV (дисперсий 1 , 12… , 1n, n, …)

Выражение (2.4.19) определяет теоретическое среднее функции f [S], когда известна pист(S), как непрерывная функция S. На практике обычно наблюдают множество (ансамбль) {S} = = {S1, S2, …, Sm, …, SM} M различных значений или выборок (см. рис 2.4.2б) векторов состояний, которое порождает ансамбль {f [S]} = {f [S1], f [S2], …, f [Sm], …, f [SM]} разнообразных значений выборочных функций этих состояний. Тогда эмпирическое или выборочное среднее значение функции f [S] определяется выражением

Например, эмпирические или выборочные значения среднего и ковариационной матрицы определяются выражениями

52

Оценка эмпирического или выборочного среднего значения функции f[S] может быть получена рекуррентно. Так, если

получена оценка (2.4.20) f (M ) по выборке объема M, то выра-

жение для среднего при увеличении выборки на один объект имеет вид

Так, например, для среднего значения и ковариационной матрицы получим

+M S(M ) S(M ) + + SM+1 S+M+1] – [1/(M+1)2] [M S(M ) +

+SM+1] [M S(M ) + SM+1]+.

Естественно, что задавая различные функции fk[S], где k = 1, 2, …, K, возможно построить множество различных статистик. Однако только некоторые из них позволяют достаточно полно, как и сама плотность распределения pист(S), описать случайные наблюдения. Такие статистики называют достаточными статистиками. Для нормально распределенных случайных наблюдений их средние значения и ковариационные матрицы (дисперсии) являются достаточными статистиками.

Понятие достаточных статистик обычно формализуют следующим образом. Предполагают, что форма плотности рас-

пределения p(S P) известна с точностью до некоторого вектора P структурных параметров. Тогда формальное определение достаточной статистики дает теорема факторизации, утверждаю-

щая, что статистика f достаточна для оценки неизвестного вектора P структурных параметров тогда и только тогда, когда вероятность p(S P) можно записать в виде произведения

53

где h(S) и g( f , P) являются независимыми функциями.

Многие наблюдения, плотности вероятностей которых не подчиняются нормальному закону, могут быть описаны статистиками второго порядка - их средними значениями и ковариационными матрицами. Очевидно, что это возможно при достаточно хорошей аппроксимации (в смысле 2.4.13) истинных плотностей вероятностей pист(S) нормальными плотностями

pнор(S).

Однако встречаются случаи, когда такая аппроксимация принципиально невозможна. Так, на рис. 2.4.5 показаны четыре различных кластера данных, у которых одинаковые средние и матрицы ковариаций. Очевидно, что статистики второго порядка не в состоянии отобразить структуру приведенных наблюдений.

Рис. 2.4.5

2.5.Несмещенность, эффективность и состоятельность статистических оценок. Расчет статистик.

Выборкой в статистике называют последовательность независимых одинаково распределенных случайных величин. Сле-

дует помнить, что любая из эмпирических оценок f любой

функции f[S] от наблюдений является случайной величиной. Все данные оценки производятся на конечном ряде выборок случайных величин (M = const), которые не исчерпывают их всевозможные значения, называемые генеральной совокупностью

(M ). Поэтому будет всегда присутствовать ошибка, которую желательно свести к минимуму. Для этого используют некоторые критерии, которые позволяют минимизировать различия оценок функций, полученных для конечного ряда выборок и

генеральной совокупности, т.е. f и теоретического математического ожидания f .

54

Несмещенными называются такие оценки, математические ожидания которых равняются теоретическим математическим ожиданиям, полученным при использовании генеральной совокупности.

Например, выборочные среднее и ковариационная матрица (2.4.21) являются несмещенными оценками теоретических среднего и ковариационной матрицы.

Легко показать, что число несмещенных оценок бесконечно. Пусть, например, мы построим среднее значение величины функции f [S], используя ее выборочные значения {f [S1], f [S2],

…, f [Sm], …, f [SM]} и некоторый набор { 1, 2, …, M} произвольных коэффициентов

му f ? Усредним обе части (2.5.1) по генеральной совокупности

= 1, то выражение (2.5.1) определяет бесконечное число несмещенных оценок.

Эффективность. Найдем дисперсию выражения (2.5.1)

Очевидно, что несмещенное среднее будет иметь минимально возможную дисперсию

если все m = 1/M. С ростом M дисперсия оценки выборочного среднего будет стремится к нулю.

Считается, что оценка выборочного среднего является эффективной, если ее дисперсия минимально возможна.

Приведенные примеры доказывают, что только выражение (2.4.20) дает несмещенную и эффективную оценку среднего значения функции f [S].

Состоятельными называются такие оценки, которые дают точные значения для больших выборок (M), независимо от входящих в них конкретных наблюдений.

Из предыдущих примеров видно, что выражение (2.4.20) дает состоятельную оценку среднего значения функции f [S].

Из выражения (2.5.4) видно, что при M дисперсия Df

оценки выборочного среднего значения f (M ) стремится к 0.

Однако при малых M оценки f (M ) могут смещаться от-

носительно теоретического среднего f . При этом состоятельная оценка может на малых выборках работать хуже, чем несостоятельная (например, иметь большую среднеквадратичную ошибку).

В экономике часто пользуются индексами в виде частного от деления одной величины на другую

где X(M) и Y(M) – величины, рассчитанные по данным выборки с размерностью M. Обычно невозможно сказать, что либо определенное о математическом ожидании величины Z. Вообще гово-

ря, она не равна частному от деления X на Y . Если, однако, X(M) и Y(M) стремятся к конечным величинам plim X и plim Y при больших M и plim Y не равен нулю, то величина Z будет стремится к

Выражение plimZ означает «предел по вероятности» и подчеркивает, что предел достигается в вероятностном смысле,

когда для любых сколь угодно малых значений и можно

56

найти такое большое M, при котором вероятность того, что Z

отличается от plim Z больше, чем на , будет меньшей . Следовательно, даже если нельзя сказать что-либо опреде-

ленное о свойствах Z на малых выборках, иногда можно судить о ее состоятельности.

Расчет статистик второго порядка.

Правила расчета ковариаций.

Правило 1:

Если Y = V + W, то

cov(X,Y) = cov(X, V + W) = cov(X, V) + cov(X, W).

Правило 2:

Если Y = a Z, где a – константа, то cov(X,Y) = a cov(X, Z).

Правило 3:

Если Y = a , где a – константа, то cov(X,Y) = 0.

Пользуясь этими основными правилами, можно упрощать значительно более сложные выражения с ковариациями. Например, если Y = U + V + W , то пользуясь правилом 1 и разбив Y на две части (U и V + W), получим

cov(X,Y) = cov(X,U+V+W) = cov(X,U)+cov(X,V+W) = = cov(X,U) + cov(X,V) + cov(X, W).

Другой пример: Если Y = a + b Z, где a и b – константы, то, пользуясь последовательно правилами 1, 3, 2, получим

cov(X,Y) = cov(X,a)+cov(X,bZ)=0+cov(X,bZ)=bcov(X,Z).

Правила расчета дисперсий.

Правило 1:

Если Y = V + W, то var(Y) = var(V) + var(W) + 2cov(V, W).

Правило 2:

Если Y = a Z, где a – константа, то var(Y) = a2 var(Z).

Правило 3:

Если Y = a , где a – константа, то var(Y) = 0.

Правило 4:

Если Y = Z + a, где a – константы, то var(Y) = var(Z). Как следует из определения дисперсии var(X) = cov(X,X).

57

Правила расчета коэффициентов корреляций.

Выборочный коэффициент корреляции случайных величин X и Y задается выражением

= Mm=1 (Xm– X ) (Ym–Y ) / [ Mm=1(X m– X )2 Mm=1(Ym–Y )2]1/2.

Для векторов X = (X1, X2, …, XM) и Y = (Y1, Y2, …, YM) часто используют выборочный коэффициент корреляции, определяющий

косинусу угла между ними (см. рис. 2.5.1)

XY = cos = ( Mm=1 Xm Ym) / ( Mm=1 X 2m)1/2 ( Mm=1 Y 2m)1/2.

(2.5.8)

1

Рис. 2.5.1

Данный коэффициент совпадает с выборочным коэффициентом корреляции (2.5.7) для M выборок случайных величин X и Y , у

которых X = Y = 0.

Коэффициент корреляции (2.5.8) в некоторой степени описывает меру связи между случайными величинами X и Y. Величина

связи изменяется в пределах -1 XY 1.

Однако мера связи (2.5.8) не вполне корректно выявляет «силу» связи. Так, например, из рис. 2.5.1 видно, что случайные величины X и Y, а также X и Z имеют одинаковые коэффициенты корре-

ляции XY = XZ , хотя вектора X и Y «ближе» друг к другу, чем вектора X и Z.

58

Более правильно «силу» связи описывает модифицированный коэффициент корреляции

= (2 Mm=1 Xm Ym) / [( Mm=1 X 2m) + ( Mm=1 Y 2m)].

Из (2.5.8) видно, что XY 0 при удалении Y от X в направлении Z, что говорит об ослаблении связи случайных величины X и Y. Это не описывается коэффициентом XY .

Расчет статистик высшего порядка.

Коэффициент асимметрии.

Коэффициент асимметрии (или скоса) Пирсона применяется для проверки репрезентативности однородной выборки. Репрезентативность означает насколько состоятельно выборка представляет генеральную совокупность.

Пусть, например, генеральная совокупность некоторой случайной величины X опиcывается нормальным законом. Произведено M выборок {X1, X2, …, Xm, …, XM} данной величины. Тогда коэффициент асимметрии определяется, как

Если выборки однородны и репрезентативны, то коэффициент асимметри SkX близок к 0. В случае положительного / отрицательного значения коэффициента (положительного / отрицательного скоса), выборки представляют часть генеральной совокупности, расположенную справа / слева от ее среднего значения.

Некоторые специалисты (В.В. Швырков) предлагают использовать для определения коэффициента асимметрии статистику более высокого порядка

которая более правильно описывает «скошенные» данные.

59

Коэффициент эксцесса.

Данный коэффициент определяется выражением

eX = [ M1 mM 1 ( X m X )4 / X4 ] – 3.

Если значение эксцесса eX больше 0, выборочное распределение более остроконечно, чем нормальное. В случае отрицательного эксцесса, выборочное распределение более полого, чем нормальное. Равенство эксцесса 0 означает, что выборочные значения однородно и репрезентативно представляют нормальную генеральную совокупность данных.

2.6.Описание неопределенности с помощью нечетких функций принадлежности.

Теоретический подход.

Многие неопределенности могут и не подчиняться нормальному или иным известным законам распределений. Типична ситуация, когда наблюдения «разбросаны» в некоторой ограниченной области , а закон их распределения неизвестен. Такие наблюдения могут быть описаны нечеткой функцией (S) принадлежности, нормированной на 1, т.е.

. (S) d(N) S = 1.

Возьмем в качестве меры неопределенности задания области энтропию

Будем считать, что информация о наблюдении S задается в

виде

Наша цель заключается в таком задании нечеткой функци-

ей (S) принадлежности, чтобы величина энтропии при выполнении условий (2.6.2) была минимальной. Использование не-

60