Вариационная статистика

Таi<ИМ же образом находят и суммируют !:!у, получаемые на

основе данных столбца 3.

На основе сумм столбцов 11 и 12 получают уточненное зна·

чение

m1 = ~ "11g у/[~ ~Ig (l- e-kt)].

Для нашего примера имеем m 1 =2,2459/1,2044= 1,8647. Если

столбца 4 (приняв новое 1/т). В нашем примере такой расчет

был сделан. Однако полученные для 1/m=0,5363 значения

значения lg(1-e-kt), помещенные в столбце 10. При этом, уста­

новленное на барабане арифмометра m 1 умножают сначала на цифры мантиссы, а затем, дойдя до разряда характеристики,

поворачивают барабан в обратную сторону (вычитание). Полу­

чим на каретке положительную мантиссу, до 8-го ра·зряда вклю­

не должно превышать единицы последнего разряда. В нашем

примере

1,8647Х (-0,8666) = -1,6159.

После этого найдем уточненное а.

1ga = [~ Ig у-~ m1 Ig (1- e-kt)]/n =

= [ 16,7436- ( --1,6158) ]/13 = 1,4123,

откуда а=25,84.

11

Значения выравненных логарифмов высот, Ig у, находят по

формуле:

11

lgy=lga+m1 lg(1-e-k1).

11

Для 1-й строки табл. 43 lgy=1,4123+1,4456=0,8479. Таким

образом конкретное уравнение зависимости высот от возраста будет

у= 25,84 (1 _ е-О,о:!5091)1,86П.

Ошибка уравнения S~x =0,50 м. Уравнение Х.52 имеет преиму­

щества перед Х.37 и Х.46, состоящее в том, что его можно исполь­

зовать для экстраполирования.

I.З2

§ 7. ОБЩИЕ ПРИНЦИПЫ ВЫБОРА УРАВНЕНИй РЕГРЕССИИ

Во многих случаях выбор уравнения регрессии производят на основе профессиональных знаний. Допустим, что изучают рост

муж·чин в высоту в зависимости от возраста. На основе знаний

биологических законов роста можно сказать, что рост проис­

ходит приблизительно в течение двух десятилетий. Причем годо­

вые приращения высоты до этого момента можно усреднить,

получив таким образом линейную регрессию высоты на возраст.

Однако за пределами указанного примерного возрастного поро­ га прирост в высоту прекращается. Линия, характеризующая

рост, принимает направление, параллельное оси абсцисс. Таким

образом, если исследователю требуется найти регрессию роста

на возраст за всю жизнь человека, очевидно, что для этого нужно

выбрать не линейную регрессию.

Можно утверждать также на основе биологических зна­

ний, что рост в высоту регрессирует с возрастом и у деревьев.

Здесь тоже имеется биологический определенный предел вьiсо­

ты, которого деревья достигают в некотором возрасте, после

Чего они либо совсем не прирастают, либо этот прирост сущест­ венно замедляется. С.11едовательно, развитие высот деревьев (как и древостоев) с их возрастом (при значительном диапазоне

последнего) описывается уравнением нелинейнога порядка. · Такая же в общем тенденция наблюдается в регрессии вьiсо­

тьi деревьев на диаметр. Объясняется это тем, что в толщину деревья растут до момента их отмирания. Здесь также незави­

симьiй признакдиаметр, как и возраст, имеет положительное приращение в течение всей жизни, тогда как рост в высоту явля­

ется иным.

Можно предсказать также на основе знаний биологии, что

кривые, отражающие рост в высоту в связи с возрастом и диа­

метром, будут отличаться друг от друга. Это обуслов.1ено тем,

что при одинаковом изменении высоты изменение возраста

характеризуется равными приращениями в течение всей жизни.

Приращение же диаметра неодинаково. В первые годы жизни

оно небольшое, затем достигает максимума в молодые годы, после чего прогрессивно убывает до периода отмирания дерева.

Здесь мы характеризуем среднее поведение роста, не обращая

внимания на годовые или краткопериодвые колебания прироста

высоты или диаметра, которые возможны в связи с влия­

нием различных факторов среды (но не биологических за­ конов).

К настоящему времени накоплены знания о конкретных урав­

нениях регрессии для описания важнейших био.тюгических явле­

ний, подобных рассмотренным. Однако следует заметить, что

при изучении многих явлений возникают большие затруднения в выборе подходящего уравнения регрессии. Даже установление

общей ее формы (прямолинейна она или криволинейна) на

133

основе nрофессиональных знаний часто не может быть сделано.

Статистические методы в таких случаях дают следующие осно­

вы для принятия решений о форме регрессии и выборе урав­

нения.

Раз:-.1ещение точек на графике часто указывает на форму кри­ вой. Ес.1и точки расположились, как на рис. 8, есть основания

принять связь за линейную. Теоретический анализ существа явления не доставляет аргументации, nротиворечащей этому

выводу.

Действительно, для всходов сосны нет ограничивающих фак­

торов к развитию обоих изучаемых признаков - длины стволи­

ков и длины корней. В отношении регрессии длины стволиков

и корней всходов или молодых растений можно сказать, что она

линейна. Если точки на графике расположились так, что ука­ зывают на изгиб обобщающей их кривой, есть основания прове­ рить гипотезу о линейности регрессии, т. е. рассчитать и оценить

достоверность меры криволинейности К или решить этот вопрос на основе дисперсионного анализа (см.§ 8 гл. Х).

Часто при исследованиях связи между признаками (как

в данной книге) регрессионный анализ следует за корреляцион­ ным иЛи осуществляется вместе с ним, тогда определенные ста­

тистические заключения о линейности регрессии на основе t, но

лучше на основе F, уже имеются.

Отметим однако, что сами по себе критерии не дают исчер­

пывающего ответа о выборе уравнения, а лишь о форме регрес­

сии: прямолинейна она или криволинейна. Если получено ука­ зание, что связь nрямолинейна, этого достаточно, чтобы перейти к следующему шагу регрессионного анализа. Указание на кри­

волинейный характер регрессии обязывает вести дальнейший поиск функции среди многих функций этого вида. В таком слу­ чае следует испытать наиболее простые и доступные исследова­

телю функции. Останавливают выбор на функции, дающей луч­

шее nриближение к опытным данным, или наименьшее среднее

квадратическое отклонение вычисленных данных Syx (или s~x) .

Во :vшогих приложениях удовлетворительную аппроксимацию

оnытных данных получают на основе парабол 2, 3-й и более высоких степеней, оценивая точность каждой из регрессий. При малом числе групп (классов) зависимой переменной У можно получить параболу с числом коэффициентов, равным числу

групп, и проходящую через все точки, характеризующие группо­

вые средние. Однако ценность регрессии в этом случае снижа­ ется. Кривая не выражает в таком случае закономерности связи,

а отражает случайности выборочных наблюдений.

Криволинейный характер зависимости между переменными

иногда удается заменить на прямолинейный путем преобразова­

ния Х или У, как это было показано в § ·7 гл. Х. Логарифмиро­

вание часто дает существенное уточнение выражения связи.

134

Логарифмические параболы вследствие растянутости осей вооб­

ще более гибки.

В § 5 гл. Х указывалось, что наиболее эффективным методом

Проверки рациональных гипотеЗ относительно выбора уравнений

является дисперсионный анализ. Квалифицированный исследо­

ватель применит этот метод не только в случае, когда имеет сла­

бое представление о форме связи ·или совсем не имеет его, но

ив случае, когда выбор базируется на хорошей профессиональ­ ной основе. Применяя метод в таком случае, он найдет количест­

венную меру своей гипотезы или предположения. Следует отме­ тить в связи с этим, что вариационный анализспециальный, ничем не заменимый «инструмент» для проверки рациональных

гипотез и нередко - для раскрытия таких свойств исследуемого

объекта, о которых не имелось никаких определенных представ­ лений.

Основы теории и техники дисперсионного анализа регрессии

икорреляции изложены в следующем параграфе.

§ 8. ДИСПЕРСИОННЫй АНАЛИЗ РЕГРЕССИИ И КОРРЕЛЯЦИИ

Исходные положения. Измерение связи. В главе IX и в пре­ дыдущих параграфах настоящей главы были раздельно изложе­

ны основы теории вычисления и измерения корреляции и регрес-.

сии. Однако четкую грань между двумя этими разделами изме­ рения взаимозависимости признаков провести трудно. Обычно в исследованиях применяют общую систему измерения корреля­ ции и регрессии, поскольку она базируется на некоторых общих

измерителях вариации. Рассмот­ ренный в главе VII метод дис­

персионного анализа является

наиболее эффективным для этой цели. Поэтому в данном пара­ графе внимание сосредоточено

в основном на дисперсионном

Ключ к пониманию отдельных составляющих вариации дает

рис. 12. На рисунке показано распределение значений длин

135

стволиков Х и длин корней У 10 всходов сосны (сплошные точ­ ки), объединенных в 4 группы со значениями Х, равными 4, 5, 6, 7 см. Исходные данные взяты из табл. 32. На рис. 12 показ~ны

три уровня для средних зна~ний зависимого признака: у­

средняя из 10 наблюдений У, Yi- ваблюденная частная средняя

(\

для 3-й группы независимого признака Х= 6 см, Yi- вычислен-

А

ная по уравнению регрессии средняя, Yi=0,332+0,667 Х. Символ

у- означает центральное отклонение У-У, d - отклонение

условной групповой средней ~ от средней выборки у, d=~-y.

Пользуясь показаиной схемой и символикой для средних и их

отклонений, общую вариацию зависимого признака, измеряемую

~ у2 = ~(У- у)2, можно разложить на составляющие: вариа­

цию групповых средних, равную ~ n1 (у1 - у)2, и вариацию

внутри групп, равную~~· (У--у1)2 ~' означает суммирование

квадратов отклонений внутри каждой группы, ~- суммирова­

ние вариаций групп.

Таким образом получаем разложение вариации:

~ (У- у.)2 = ~ n1 (у1 - у)2 +~~·(У- у1)2• (Х.56)

Если каждый член этого равенства разделить на число квадра­

тов, стоящих под знаком сумм, получим средние квадраты как

измерители вариации принятых составляющих. Число квадратов для общей вариации равно числу коррелирующих пар, т. е. N.

Число квадратов для групповых средних равно числу групп т,

расчетах сумм квадратов. Соответственно число оставшихся сте­

пеней свободы для рассматриваемых сумм квадратов будет

N-1; m-1; N~m.

При данном рассмотрении сущности составляющих варисщии

и показателей корреляции применяется число квадратов, но не число степеней свободы, в целях наглядности и последова­

тельности в расчетах. Однако далее в § 10 применяется число

степеней свободы для дисперсий на том же основании, что и при

вычислении s 2, когда он используется как оценка cr2. Д.1я оценки

эффективности уравнения общую вариацию расчленяют на часть,

отражающую варьирование вычисленных значений У, т. е. как бы «объясненную» вариацию и часть вариации, определенно не свя­

занную с данным уравнением, а вызванную случайными факто­

рами.

136

При рассмотрении среднего квадратического отклонения рас­

четных значений У от наблюденных У эта часть вариации уже

измерялась как ~ d~x или средним квадратом s2yx , а также

стандартным отклонением от регрессии Syx· Другая часть вариа­

ции, описываемая регрессией, может быть выражена средним

11

квадратом вычисленных значений У, т. е.

s~ = [~ <Р-y)2]/N.

у

Таким образом получим разложение:

~(у- у)2 =~(У- У)2 +~(У- у)2.

Поскольку все составляющие вариации имеют здесь одинако­ вый делитель N, получаем в качестве частных интересное соот­

ношение квадратов:

у

Дисперсия наблюденных значений У равна сумме дисперсии рас­

л

четных У и дисперсии отклонений расчетных значений от наблю-

денных. '

Это расчленение-вариации позволяет не только дать стати­

стическую оценку регрессии и корреляции, но и уточнить содер·

жание самих показателей корреляции.

Мера корреляции. Коэффициент детерминации. Долю дис-

л

персии расчетных вариант У от общей дисперсии вариант У назы·

к стандартному отклонению наблюденных значений является

137

Согласно формуле (Х.64) коэффициент корреляции между дли­ ной корней и длиной стволиков сеянцев сосны будет

Гух= V 1-0,159/0,626 = 0,864.

Втабл. 31 было получено такое же значение г.

Индекс корреляции. Корреляционное отношение. В случае

криволинейной регрессии меру связи между признаками, подоб­ ную Гух, называют индексом корреляции и обозна­

Правая часть (Х.65) идентична по символике с правой частью формулы (Х.64). При линейной регрессии они равны и численно. В этом случае пользуются символом Гух· При криволинейной же

существует два индекса корреляции. Если Х рассматривается

как величина зависимая, имеем

Первый подписной знак в индексе указывает зависимую вели­

чину. Величина i изменяется от О до 1. Когда связь линейна,

индекс равен коэффициенту корреляции, т. е. г- частный слу-'

чай i. При i=O связи между признаками Х и У нет, или, если она и существует, то не может быть выражена применеиным уравнением. При i= 1 связь совершенно точно описывается вы­

бранной кривой. Величина i не имеет знака. Индекс корреляции имеет смысл только при указании типа кривой, по отношению. к которой он вычислен. Можно получить кривую, которая прой­

дет через все эмпирические точки, если число коэффициентов

взять равным числу точек. Однако такая кривая, как и индекс,

теряют смысл. При пользовании индексом нужно всегда иметь

в виду обычные прИнцилы выбора кривой.

На величину i влияет число наблюдений N и число парамет­ ров ·уравнения т. При N=m i=1. В общем наблюдаемая вели­

чин~ i имеет тенденцию превышать его истинную величину вслед­

ствие изгибов кривой, соответствующих постоянным в уравнении регрессии. Если N невелико, вводят поправку для i. Корректи­

рованное

138

Ошибка для индекса корреляции s;= ( 1-t2 ) /VN - т, (Х.68)

где t - индекс корреляции в генеральной совокупности, для

оценки которого пользуются выборочным i.

Выборочное распределение индекса корреляции точно не ус­ тановлено. Поэтому оценку t можно делать лишь с некоторым

приближением и при значительном объеме выборки. Для оценки индекса в генеральной совокупности оолее точным является

метод вариационного анализа, излагаемый в следующем пара­ графе.

') 2

Корреляционное отношение 'll = s~jsy Гiредставляет собой пре-

t

дельное значение индекса корреляции, которое имело бы место,

когда кривая прошла через все точки, характеризуемые группо­

выми средними у;. Корреляционное отношение характеризует

максимум корреляции, которая может быть между признаками. Пределами являются нуль и единица. 'YJ=O при s-y =0, т. е. когда

нет варьирования групповых средних yi, они все легли бы на

меру линейности корреляции. При совершенно линейной связи,

когда все У или у~ лежат на прямой ,'l)2 = г2• При совершенно

криволинейной связи, когда rJ=1, а r=O, ·гР-г~= 1.

Однако выборочное распределение величины К= 'У)2 - r2

не изучено и не позволяет провести точное испытание ее значи­

мости.

Вышеотмеченное положение о недостаточной ·надежности

оценки корреляции на основе индекса корреляции столь же спра­

ведливо и к корреляционному отношению и к мере криволиней­ ности. Дисперсионная проверка линейной гипотезы является

намного более точной. Ф. Миллс ( 1958) считает корреляционное

отношение для этих целей вообще устаревшим показателем.

В отечественной статистической литературе метод измерения

связи посредством 'YI оценивается более позитивно. Однако необ­

ходимость иметь не слишком малую выборку является обще­

признанной. При ограниченном числе данных в группах может

оказаться по одной варианте. Тогда s-y1 = sy.

В табл. 32 этого явления не наблюдается. Однако расчет для

такой малой выборки (N = 10) имел в виду прежде всего иллю­

страцию метода. Сделанная затем поправка для fJ по формуле

IX.9 дает возможность все же корректированное отношение .;:j

рассматривать как пригодную оценку соответствующего пара­

метра. Заметим, что-:;j для нашей выборки, равный 0,81, оказался

меньше r=0,86, так что в данном случае его применение не

139

nривело бы к ошибке заключения о форме связи, которую сле­ дует считать nрямолинейной.

Дисперсионный анализ при оценке регрессии и корреляции.

Дисперсионный анализ nозволяет решать следующие воnросы

освязи двух явлений (переменных).

1.Обеспечивают ли имеющиеся данные доказательство нали­

чия корреляции?

2.Если корреляция имеется, то пригодна ли для ее выраже­

ния nрямолинейная регрессия?

3.Если прямая не является nригодной для этой цели, то ка­ кая функция наиболее приемлема?

Если на первый вопрос будет nолучен отрицательный ответ, то другие воnросы не решают. В nротивном случае решают два других воnроса nоследовательно. Рассмотрим метод дисперсион·

нога анализа корреляции и регрессии на примере совокуnности

94 диаметров и высот деревьев сосны, исходная информация

о которой приведена в табл. 33, 36 и 38.

Проверка наличия корреляции. Наличие корреляции прове­

ряют на основе сравнения вариации групповых (строевых) сред­

них с вариацией внутри групn (строев). Предположение, кото­ рое мы выдвигаем и которое может быть отвергнуто, заключается

втом, что силы, вызывающие вариацию строев и между ними,

одни и те же.

Стандартная форма дисперсионного анализа приведена

втабл. 44.

44.Проверка наличия корреляции между высотой У и диаметром Х

деревьев сосны

11

Вприведеиных в табл. 44 формулах N- общее число

4 (22,2- 27,2) 2 + 7 (2427,2) 2 + ... + 9 (28,8 -- 27,2):: = 277,6.

~ ~· (У-у;) -рассчитана на основе табл. 38.

Полученное значение F>F0 ,05 . Оно не может быть объяснено

случайными причинами. Вариация групповых средних значимо больше вариации внутри классов Х. Следовательно, гипотеза

140

о единых факторах, вызывающих две эти вариации, должна быть

отвергнута.

Испытание гипотезы линейной связи. Гипотеза состоит в пред­ положении наличия линейной связи *.

Для проверки гипотезы линейной связи необходимо вариацию

между строями, которая отражает связь между У и Х, расчле­

нить на 2 составляющих: вариацию расчетных средних величин

/\

у1 от у, которая отвечает гипотезе о линейности, и отклонение

групповых средних от расчетных (по прямой) значений, которое не отвечает гипотезе. При полном совпадении вычисленных зна­ чений с экспериментальными эта вариация (компонент) была бы

равна нулю, вся вариация тогда относилась бы к компоненту,

противоречащему гипотезе. Данные проверки гипотезы линейной

связи приведены в табл. 45.

45. Испытание гипотезы линеАной связи

F>F0,05 . Следовательно, отклонение групповых средних у; от

А

у;, выравненных по прямолинейному уравнению, значимо больше,

чем внутристроевая вариация. Прямая не является подходящим

уравнением для выражения зависимости высот от диаметров

в исследуемом древостое.-

Проверка гипотезы о криволинейной корреляции, выраЖае­

мой параболой 2-ro порядка. При такой же форме гипотезы

н методе ее проверки, как в предыдущем параграфе, меняется здесь топько первая составляющая: отклонение от линейной регрессии заменяется отклонением от параболы 2-го порядка.

Число степеней свободы уменьшается на единицу. Оно равно числу классов без 3, т. е. =7-3=4, где 3- число коэффициен­

тов в уравнении.

* Каждая испытываемая гипотеза должна быть рациональна, т. е. логи­

ческн обоснована. Если рассматривать связь высот деревьев с их диаметрами

вне границ нашего исследования, то гипотеза о прямой линии неприменима.

По толщине деревья растут до глубокой старости, до отмирания, по высоте

рост деревьев заканчивается к середине общего цикла их роста. В нашем с.1учае мы испытываем гипотезу линейной связи для полноты н последова­ те.~ьностн 11з.~ожения днепереионного анализа регрессии и корреляции. Кроме того, нсс.1едуемый объект представляет 100-летний древостой н в отношении

его ~ще нельзя однозначно сказать, что рост в высоту уже прекратился.

141