Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Парадоксы в теории вероятностей и математической статистике
.pdf
12. ПАРАДОКС t-КРИТЕРИЯ СТЬЮДЕНТА 141
заданное число), а альтернативная — в том, что θ = θ0.Пусть
X =
n
1
n
i=1
Xi,D∗2=
n − 1
n
1
(Xi− X)
i=1
2
и
X −θ
0
t
n
=
D∗/√n
.
Такие гипотезы различаются с помощью t-критерия Стьюдента. Согласно t-критерию нулевая гипотеза принимается или отвергается в зависимости от того, близко значение статистики t
к 0 или нет. В 1940 г.
n
Г. Данциг показал, что при заданной вероятности ошибки 1-го рода вероятность ошибки 2-го рода для любого решающего правила зависит от
неизвестного стандартного отклонения σ. Парадоксально, но пятью годами позже К. Стейн доказал, что если объем выборки n не фиксировать
заранее, а определять по уже полученным элементам выборки (как в последовательном анализе Вальда), то существует t-критерий, для которого
(при заданной вероятности ошибки 1-го рода) вероятность ошибки 2-го рода не зависит от неизвестного стандартного отклонения σ (а зависит лишь
от разности θ − θ
).
0
в) Объяснение парадокса
На первом шаге возьмем выборку X
, ..., Xn,гдеn0— некоторое
1,X2
фиксированное число. Выборочная дисперсия определяется формулой
n
0
=
1
n0− 1
i=1
X
i
2
s
1
2
−
n
0
n
i=1
2!
0
X
.
i
Предположим, что объем всей выборки n зависит от величины s и заранее
фиксированного числа z следующим образом:
$
"#
2
s
n =max
z
+1,n
где скобки [] означают целую часть действительного числа. Выберем положительные числа a
, ..., anтак, что
1,a2
+1%,
0
n
ai=1, a1= a2= ... = a
i=1
n
0
142 ГЛАВА II
n
2
и s
ки
где
Очевидно, при заданном s случайная величина t нормально распределена
с математическим ожиданием 0 и дисперсией σ
стороны, распределение величины (n
падает с распределением суммы квадратов n
нормальных случайных величин (т. е. с хи-квадрат распределением χ
2
a
= z, и попытаемся различить эти гипотезы с помощью статисти-
i
i=1
n
aiXi− θ
i=1
∗
=
t
√
t =
0
z
n
ai(Xi− θ)
i=1
√
n
−1)s2/σ2(для произвольного σ)сов-
0
θ − θ
= t +
√
0
,
z
.
n
2
2
a
/z = σ2/s2. С другой
i
i=1
−1 независимых стандартных
0
2
не
−1
n
0
зависящим о σ. Следовательно, распределение величины t такженезависит
∗
от σ,такчтоt
зависит лишь от θ −θ0,нонеотσ.
г) Замечания
(i) Распределение случайной величины t
∗
как D
— не число, а случайная величина. (Если бы значение стандартного
отклонения было известно и мы подставили бы это значение вместо D
распределение случайной величины t
стало бы стандартным нормальным.)
n
Это замечательное наблюдение и анализ случайной величины t
не является нормальным, так
n
в 1908 г.
n
∗
,то
опубликовал Стьюдент,онжеУильям Д. Госсет. (С 1899 г. он работал
в Дублине на пивоваренном заводе Гиннесса, и его начальник настоял на
том, чтобы Госсет писал под псевдонимом.) В течение долгого времени
никто не осознавал важности статьи Стьюдента. (Даже в 1922 г. Р. Фи ше р
был единственным, как утверждал Стьюдент, кто использовал t-распределе-
ние. В действительности, именно Фишер впервые обозначил распределение
Стьюдента через t в своей книге, вышедшей в 1925 г. Сам Стьюдент использовал символ z, но не для обозначения величины t
,адля(n − 1)tn.)
n
(ii) Определение момента прекращения наблюдений в последовательном анализе является сутью современной теории оптимальных остановок
для различных процессов. Рассматривая выборку как процесс, мы тем самым устанавливаем связь между математической статистикой и теорией
12. ПАРАДОКС t-КРИТЕРИЯ СТЬЮДЕНТА 143
стохастических процессов, которая будет обсуждаться в следующей главе.
Эта взаимосвязь оказывается полезной для обоих направлений. В наши дни
фундаментальные теоремы Вальда из последовательного анализа являются частным случаем общей теории стохастических процессов с остановкой
(см. книгу Ширяева А.Н.).
(iii) Парадокс Рао (C. R. Rao) в многомерном анализе показывает, что
индивидуальные критерии, например t-критерии о средних значениях нормального закона, могут показать для каждой величины значимое расхождение, в то время как комбинированный критерий этого не показывает.
Из парадокса вытекает, что, хотя в комбинированный критерий, очевидно,
может включаться больше информации, однако даже в оптимальном критерии вся доступная информация может использоваться не должным образом. Иногда лучше выбросить часть информации для получения лучших
результатов. Впервые этот парадокс появился на страницах 252–253 книги
C. R.Rao (1952) «Advanced Statistical Methods in Biometric Research, Wiley».
Дальнейшее развитие см. в книге Rao (1966) IN: Multivariate Analysis Vol. 1,
87–103 (Ed. Krishnaiah P. R.), Academic Press, New York. Парадокс был назван именем Рао (C.R. Rao) в статье Healy M. J. R (1969), Biometrics 25,
411–413.
Вспомним еще один парадокс Рао по выборочным обследованиям.
Рао в своей статье «Some aspects of statistical inferences in problems of
sampling from finite populations» IN: Foundations of Statistical Inference
(Eds. V. P. Godambe and D. A. Sprott), Holt, Reinhart, 177–202 (1971) привел
примеры, когда вся выборка не содержит информации о некотором параметре, а в статистике, основанной на этой выборке, такая информация есть.
Название парадокса появилось в статье Smith T.M. F. (1997) Social surveys
and social science. The Canadian J. of Statistics, 25, 23–44 (дискуссия Кокса
(D.R.Сох)настр.41иответнастр.44).
д) Литература
Chow Y., Robbins H., Siegmund D. Great Expectations: Theory of Optimal Stopping,
Houghton Miffin Co., Boston, 1971. [Имеется перевод: Роббинс Г., Сигмунд Д., Чао И.
Теория оптимальных правил остановки. — М.: Наука, 1977.]
Fisher R. A. Statistical Methods of Research Workers, Oliver and Boyd, Edinburgh,
1925. [Имеется перевод: Фишер Р. А. Статистические методы для исследователей. —
М.: Госстатиздат, 1958.]
Ширяев А.Н. Статистический последовательный анализ. — М.: Наука, 1969.
Stein С. «A two sample test for a linear hypothesis whose power is independent of
the variance», Annals of Math. Statist., 16, 243–258 (1945).
144 ГЛАВА II
Student «The probable error of a mean», Biometrika, 6, 1–24 (1908).
Wald A. «Sequential analysis of statistical data: Theory», Restricted Report, Sept.,
1943.
Wal d A. Sequential Analysis, Wiley, New York, 1947. [Имеется перевод: Вальд А.
Последовательный анализ. М.: Физматгиз, I960.]
13. Еще несколько парадоксов
а) Парадокс типичного и среднего
Понятие среднего, например средняя зарплата, часто используется как
синоним типичного. На самом деле, если в некоторой стране есть всего
лишь несколько очень богатых семей и большое количество бедных, чьи
доходы соответственно огромны и малы, то арифметическое среднее их доходов вовсе нетипично. Например, медиана доходов дает более реалистичную картину. (Медиана означает такой доход, что число людей с большим
доходом равно числу людей, имеющих меньший доход.) Кроме средней
зарплаты есть и другие средние характеристики, вводящие в заблуждение.
«Средний человек» (l’homme moyen) — одна из них. Неудивительно, что
исследования бельгийского ученого Л.А. Ж. Кетле по этому вопросу стали
источником горячих споров. Худшее в «среднем человеке» не его серость,
а возникающие противоречия. Например, средний рост не соответствует
среднему весу и т. д. Только по одной этой причине можно усомниться
в справедливости слов Дж. Рейнольдса (первого президента Королевской
академии художеств в Лондоне), когда он сказал, что в среднем — источник
прекрасного.
(Лит.: Qu´etelet L. A. J. Essai de Physique sociale, (1835); L’homme moyen, Physique
Sociale, Vol. 2, Bruxelles, 1869).
Несмотря на свою непоследовательность, книга Кетле (1835) рассматривается как веха, если вообще не как начало количественного анализа общественных явлений. Ф. Гальтон, К. Пирсон и Ф. Эджворт ценили Кетле
как гениального первооткрывателя регрессионного подхода. Под влиянием
его книги Гальтон занялся научными исследованиями. Однако у Кетле есть
и другие заслуги перед наукой. В 1820 г. он основал Королевскую обсерваторию Бельгии и стал ее первым директором. Он был также великолепным
организатором: в 1834 г. по его предложению было создано Статистическое
общество в Лондоне, он был инициатором проведения Первого международного конгресса по статистике в Брюсселе в 1853 г.
13. ЕЩЕ НЕСКОЛЬКО ПАРАДОКСОВ 145
б) Парадокс оценивания
Квадрат оценки, вообще говоря, не совпадает с оценкой квадрата. Например, если
X
, ..., Xnявляется оценкой некоторого параметра, то очевидной
1,X2
оценкой для квадрата параметра будет
X, т. е. среднее значение результатов наблюдений
X2, что, вообще говоря, отличается
от арифметического среднего квадратов результатов наблюдений. Это же
справедливо, если заменить квадрат любой другой нелинейной функцией.
(Лит.: Carnap R. Logical Foundation of Probability, Routledge and Kegan Paul Ltd.
Broadway House, London, 1950.)
в) Парадокс точности измерения
Предположим, что нам нужно найти длину двух различных стержней
с помощью двух измерений. Прибор, которым мы можем измерять длину,
дает результат со случайной ошибкой, имеющей стандартное отклонение σ.
Парадоксально, но измерение каждого стержня в отдельности не является
лучшим способом. Стандартное отклонение результата будет меньше, если
сначала измерить общую длину T стержней, приложив конец одного стержня к концу другого, а затем положить стержни рядом и найти разницу их
длин D. Тогда приближенные длины стержней соответственно равны
T + D
2
Стандартное отклонение этих длин равно σ
и
T − D
.
2
√
2, что действительно меньше,
чем σ.
(Лит.: Hotelling H. «Some improvements in weighing and other experimental tech-
niques», Annals of Math. Statist., 15, 297–306 (1944).)
г) Парадоксальное оценивание вероятности
Оценкой для неизвестной вероятности обычно служит относительная
частота. Например, если при ста бросаниях монеты решка выпала 47 раз,
то оценкой для вероятности выпадения решки будет 47/100. Однако если
при 10 бросаниях более или менее правильной монеты решка ни разу не появилась, то нет оснований считать вероятность выпадения решки равной 0.
При наличии некоторой априорной информации (например, что монета более или менее правильная) оценивание через относительную частоту, вообще говоря, не является лучшим способом. Наша априорная информация
146 ГЛАВА II
хорошо выражается через бета-распределение, зависящее от двух параметров a и b. Плотность вероятности бета-распределения равна 0 вне интервала (0, 1) и пропорциональна x
a−1
(1 − x)
b−1
на (0, 1);(a>0, b>0).
Математическое ожидание и дисперсия бета-распределения соответственно
равны
m =
a
a + b
и d =
(a + b)2(a + b +1)
ab
.
Решая эту систему уравнений, получаем, что наша априорная информация
относительно m и d может быть выражена через a и b (например, если
монета правильная, то m =1/2, следовательно, a = b). Если априорное
распределение является бета-распределением с параметрами (a, b),топо
теореме Байеса, апостериорное распределение также будет бета-распределением. (Это свойство объясняет широкую применимость бета-распределения.) Если в n экспериментах событие, имеющее неизвестную вероятность,
произошло k раз, то параметрами апостериорного распределения будут (a+
+ k, b + n − k), следовательно, апостериорное математическое ожидание
запишется в виде
M =
a + k
a + b + n
,
что дает более содержательную и лучшую оценку для неизвестной вероятности, чем относительная частота k/n. Очевидно, при достаточно больших n величина M практически не отличается от относительной частоты,
однако, например, когда n =10, k =0и a = b = 100, имеем M =
= 100/210 ≈ 0,48; в то же время относительная частота равна 0, что совершенно нелепо.
(Лит.: Good I.J. The Estimation of Probability, MIT Press, Cambridge, 1965.)
д) Чем больше данных, тем хуже выводы
Довольно естественно считать, что большее количество данных позволяет получать лучшие результаты. Однако следующий парадокс, кажется,
показывает противоположное. Пусть X
случайные величины, и предположим, что распределения величин X
, X2и X3обозначают независимые
1
и X
1
совпадают: и X1,иX2равны либо 0, либо 2 с равными вероятностями,
следовательно, математические ожидания у обеих случайных величин одинаковы и равны 1. Пусть случайная величина X
принимает значения 1 и 2,5
3
с равными вероятностями, так что ее математическое ожидание равно 1,75.
2
13. ЕЩЕ НЕСКОЛЬКО ПАРАДОКСОВ 147
Вся эта информация неизвестна математику, который сделал выборки из
этих распределений, чтобы найти распределение с наибольшим математическим ожиданием. Очевидно, в качестве искомого распределения нужно
взять распределение с наибольшим выборочным средним. Сначала возьмем
выборку из одного элемента из каждого распределения. Тогда вероятность
правильного выбора равна
<X3и X2<X3)=
P (X
1
= P(X
=2,5) + P (X3=1)P (X1=0)P (X2=0)=5/8.
3
Посмотрим теперь, что произойдет, если увеличить объем одной из выборок
(например, для X
) до 2 (остальные выборки оставить без изменений)?
3
Тогда вероятность правильного выбора равна
P (X
< X3и X2< X3)=7/16,
1
где X
— арифметическое среднее двух элементов выборки. Таким образом,
3
если раньше вероятность правильного выбора была больше 50 %, то теперь
она уменьшилась и составляет менее 50%.
(Лит.: Chius W.К., Lam К. The American Statistician, 1975.)
Знаменитый парадокс Ф. Эджворта (1883 г.) касается аналогичной
проблемы: если X
и X2являются независимыми случайными величинами
1
с одинаковыми плотностями вероятности f (x−θ), симметричными относительно θ, то может так случиться, что X
ближе к θ,чемX =(X1+ X2)2,
1
втомсмысле,что
P|X
− θ| ε>P|X −θ| ε
1
для любого положительного ε. Например, так будет в случае, когда
f(x)=
3
2
потому что плотность вероятности случайной величины X
ше, чем плотность величины
(Лит.: Stigler S. M. «An Edgeworth curiosum», Annals of Statist., 8, 931–934 (1980).)
X.
·
1
1+|x|
,
4
вточкеθ боль-
1
148 ГЛАВА II
е) Парадокс равенства математических ожиданий
Предположим, что математические ожидания трех нормально распределенных случайных величин с одинаковыми дисперсиями равны m
1
, m
и m3. Может так случиться, что, используя, например, t-критерий Стьюден-
та, мы примем гипотезы m
чимости), но отвергнем m
= m2и m2= m3(при некотором уровне зна-
1
= m3! (Задача проверки гипотезы о равенстве
1
математических ожиданий при наличии двух выборок объема n решается
с помощью статистики
X −Y
t =
где
X и Y — выборочные средние, a D∗— выборочное стандартное откло-
2D
,
∗
нение. Статистика t имеет распределение Стьюдента с параметром 2n −2.)
Этот парадокс положил начало многим исследованиям по одновременной
проверке нескольких гипотез (дисперсионный анализ и т. д.).
(Лит.: Hodges J. L., Lehmann E. L. «The efficiency of some nonparametric competitors
of the t-est», Annals of Math. Statist., 27, 324–335 (1956).
Scheff´e H. The Analysis of Variance, Wiley, New York, 1959. [Имеется русский
перевод: Шеффе Г. Дисперсионный анализ. — М.: ГИФМЛ, 1963.])
ж) Парадоксальная оценка для математического ожидания нормаль-
ного распределения
2
Мы хотим, используя выборку объема n, оценить неизвестное математическое ожидание (одномерного) нормального распределения с единичным стандартным отклонением. Известно, что арифметическое среднее
X
выборки дает оценку, обладающую многими хорошими свойствами. Например, эта оценка имеет наименьшую дисперсию, является несмещенной,
допустимой и минимаксной при квадратичной функции потерь. Однако,
несмотря на эти свойства, если нам нужно получить лишь оценку, которая
близка к θ насколько это возможно, то существует оценкаta,лучшаявтом
смысле, что
P|θ − θ| < |
X −θ|> 1/2
для любого возможного значения θ. Оценкой такого типа является следу-
ющая:
θ =
X −
1
2√n
√
min
n X, Φ(−√n X),
13. ЕЩЕ НЕСКОЛЬКО ПАРАДОКСОВ 149
если X 0,и
X +
1
2√n
θ =
если
X 0,гдеΦ обозначает функцию стандартного нормального распре-
√
min
n X, Φ(−√n X),
деления.
з) Парадокс проверки нормальности
Мы хотим проверить гипотезу о том, что данная выборка X
..., X
ния F (x).Пусть
получена из распределения с непрерывной функцией распределе-
n
1
F
n
(x)=
n
1
i : Xi<x
1,X2
, ...
обозначает эмпирическую (кумулятивную) функцию распределения выборки. Если гипотеза верна, то, по теореме Колмогорова,
+∞
√
P
lim
n→∞
Используя этот результат, легко построить критерий с уровнем доверия α.
(Если величина
для которого K(z
n sup
Fn(x) − F (x)
√
F
n sup
)=α, то гипотеза отвергается.) В случае, когда нужно
0
(x) − F (x)
n
<z=
(−1)je
j=−∞
больше критического значения z
−j2z
2
= K(z).
проверить нормальность вероятностного распределения, сначала следует по
выборке обычным образом оценить математическое ожидание и стандартное отклонение через
X и D∗, затем применить указанный выше критерий
Колмогорова для нормального распределения F(x) с математическим ожиданием
X и стандартным отклонением D∗. Можно было бы ожидать, что
при достаточно больших n подстановка вместо неизвестных параметров
величин
X и D∗не повлечет за собой значительных изменений. Однако
изменения произойдут существенные. Например, при 95 % уровне доверия
критическое значение z
в критерии Колмогорова равно 1,36, в то же время
0
точный анализ показывает, что истинное критическое значение равняется 0,9. Объяснение этого парадокса достаточно просто. Из-за подстановки
функция F (x) и эмпирическая функция F
(x) стали ближе друг к другу,
n
поэтому целесообразно выбрать меньшее критическое значение.
,
0
150 ГЛАВА II
(Лит.: Durbin S. «Some methods of constructing exact tests», Biometrika, 48, 41–45
(1961).
Kac M., Kiefer J., Wofrowitz J. «On tests of normality and other tests of goodness
of fit based on distance methods», Annals of Math, Statist., 26, 189–211 (1955).
Sarkadi K. «On testing for normality», Proc. 5th Berkeley Symp. on Math. Statist,
and Prob., I. 373–387 (1967).)
и) Парадокс линейной регрессии
Предположим, что случайная величина X измеряется с ошибкой ε,
имеющей математическое ожидание 0. Другими словами, результат измерения Y = X + ε является очень простой линейной регрессией по X.
Есть ли для X «лучшая оценка», чем измеренная величина Y ?Удивительно, но в некоторых частных случаях ответ оказывается утвердительным.
2
По крайней мере существует оценка X, для которой E(X − X)
чем E(Y − X)
2
= Eε2. Предположим, например, что X и ε некоррелиро-
меньше,
ваны и регрессия X по Y также линейна. Тогда оценка
2
D
X =
(ε)
D2(Y )
· E(X)+
лучше, чем Y . (В вырожденном случае, когда D
2
(X)
D
D2(Y )
· Y
2
(ε)=0, получаемX = Y .)
к) Парадокс Сетурамана
Существуют статистические функции A и B такие, что несмещенная оценка неизвестного параметра θ, построенная по A, имеет дисперсию меньшую, чем оценка, построенная по B (при любом действительном
значении параметра θ). С другой стороны, при проверке нулевой гипотезы
θ = θ
(например, при альтернативной гипотезе θ>θ0) критерий на ба-
0
зе функции A не обязательно будет лучше критерия, построенного по B.
Последний может быть локально лучше (в некоторой окрестности нулевой
гипотезы). Если, например, элементы выборки X
, ..., Xnравномерно
1,X2
распределены на интервале (θ;2θ), то оценка максимального правдоподо-
бия для θ запишется в виде
1
U =
max(X
2
1,X2
, ..., Xn),
и ее небольшое изменение приводит к несмещенной оценке
2n +2
2n +1
U.
B =
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]