9. Регрессионный анализ

Результатом дисперсионного анализа, с теорией и методами подготовки и проведения которого мы в общих чертах познакомились в предыдущей части курса, является набор (номенклатура) внешних факторов, которые наверняка оказывают влияние на поведение исследуемой нами системы или на развитие заинтересовавшей нас ситуации, а также пределы изменения интенсивности (диапазон значений уровней) каждого такого фактора, за которыми (за пределами) такого влияния уже не ощущается. И – только. Исходная модель объекта исследования, с которой мы это исследование начинали и которая выглядела «чёрным ящиком», изменилась очень мало. Чётко определились (стали «светлыми» только «входящие» воздействия на систему. Сам «ящик» остался «чёрным», ибо внутреннее устройство интересующей нас системы (ситуации) в ходе дисперсионного анализа «прояснить» не удалось. Удалось только выяснить, что при известных теперь изменениях уровня определённых факторов отклик изменяется, но ни знак, ни характер этого изменения дисперсионный анализ выявить не смог. На основе дисперсионного анализа мы не можем предсказать увеличится или уменьшится отклик при увеличении уровня определённого фактора и с какой скоростью это может происходить.

Между тем, овладение ситуацией или познание свойств системы невозможны без знания таких «подробностей». Поэтому, чаще всего начальным этапом исследования (дисперсионным анализом) дело не ограничивается. Следующий этап следования, который тоже опирается на активный эксперимент, и называется регрессионным анализом. Для знакомства со смыслом этого понятия и с методами планирования эксперимента с таким названием потребуются новые (дополнительные здесь, но основополагающие) понятия из математики, вообще, и из теории вероятностей и математической статистики, в частности.

9.1. Вспомогательные понятия

9.1.1 Взаимосвязанные случайные величины

В первой части курса мы с Вами усвоили, что множество {y} значений откликов реальной системы образует собой непрерывную нормально распределённую случайную величину y, математической моделью которой является Генеральная совокупность с двумя параметрами: математическим ожиданием m_Y случайной величины y и её дисперсией σ²_y , значения которых однозначно её (случайную величину y ) определяют: позволяют выделить именно её («узнать») среди других ей подобных. Для вновь исследуемой системы значения этих параметров неизвестны, но информацию о них даёт эксперимент в форме выборки {y_j} (j = =1.2.3… m_l.) определённого объёма m из Генеральной совокупности {y}, элементы которой (множество чисел типа y_j , полученных в серии из m_l измерений отклика (y) позволяют найти (вычислить) выборочные оценки Y_Ср и s²_Y для m_y и σ²_y , соответственно.

Ниже на этом листе в координатах xy (а не в виде привычной нам таблицы) показано несколько выборок из Генеральной совокупности {y} откликов исследуемой системы. Предполагается, что каждая {y_j} из этих выборок получена в «мысленном эксперименте» при постоянном (разном для каждой выборки) значении x_l фактора x. Каждая такая локальнвя выборка показана здесь множеством точек с координатами x_l и y_jl, где индекс «l» и означает, что величина отклика, полученного в каждом из опытов при одном и том же (l-том, где l =1,2,3, .. , n) уровне фактора x, будет разной. Именно, поэтому её элементы выстроены здесь по вертикали над x = x_l. Это – потому, что выборки (далее мы будем обозначать их ) сделаны при условии: x= x_l , поэтому вычисленные по каждой из них выборочные оценки (Y_Срlи s²) основных параметров m_l и σ_l ² локальной Генеральной совокупности {y_jl}тоже будут разными. Они называются выборочными оценками условных параметров (условных математических ожиданий m_l и

Выборки при разных уровнях фактора

Ось откликов

y_j

y_j3{ … y_jn ){

y_j1{ y_j2{

Y_1Ср Y_2Ср Y_3Ср Y_nСр x

x₁ x₂ x₃ x_L. Ось уровней

Рис. 9.1

относятся не ко всей Генеральной совокупности {y}- (характеризуют её не всю), а к её части (к той группе, чисел {y_jl}, которые связаны с одним уровнем фактора x= x_l).

Групповое среднее значение Y_lСр отклика вычисляется, как среднее арифметическое (далее везде Y_lСр,= y_lj ~ m_l) значений отклика, расположенных на картинке вдоль одной верти-кали над соответствующим значением (x= x_l) уровня и отображается точкой (выделена здесь стрелкой только для первой группы) на этой же вертикали в центре группы. Групповая дисперсия σ_l² оценивается по исправленной выборочной дисперсии s_l², формула. для вычисления которой (выборочная дисперсия s_l² =[ (y_lj –Y)²)]/[n_l –1])

нам тоже знакома.

В приведённых соотношениях предполагается, что при каждом уровне фактора x_l выполняется измерений n_l отклика (n_l – объём малой локальной выборки).

Представленная выше картинка и сопровождающие её рассуждения носят теоретический и чисто познавательный характер. На практике таких картинок быть не может. Там, по ходу эксперимента вначале выставляют уровень фактора, потом измеряют отклик и все показания приборов заносят в «Протокол…». На это уходит определённое время, за которое условия эксперимента могут измениться. Экспериментатор обязан сохранять условия эксперимента неизменными. Только при этом опыты дают надёжные данные. Поэтому перед измерением очередного значения отклика из этой же выборки он (экспериментатор) обязательно снова устанавливает по прибору тот же уровень x_l фактора.

Реальные приборы имеют определённую погрешность. Поэтому при выставленных по одному и тому же (по субъективной оценке экспериментатора) показанию прибора уровни на самом деле (объёктивно) будут отличаться друг от друга. Вместо теоретической точки x_l и единственной вертикали над нею (которые только в идеальном эксперименте соответствуют действующему во всей серии опытов по получению одной выборки значению уровня x_l), на оси уровней в реальной картинке оказывается несколько вертикалей и «подмножество» (группа, выборка) {x_lj} из Генеральной совокупности {x}. Элементы одной и той же выборки {y_lj} реально не будут выстроены по одной вертикали. Каждая из них в единственном числе расположится точно над «своим» (случайно реализовавшимся в данном опыте с номером j) значением x_lj уровня фактора x.

До измерений от клика y_jl над каждым уровнем x_l нудно ожидать достаточно много

значений отклика. Над каждой точкой x_l оси факторов имеет место своеобразный «рой» точек, изображающий собой «подмножество» {y_lj} Это – своеобразная (локальная над каждой точной x_l) Генеральная совокупность.

Графический «портрет» такой воображаемой ситуации приведён ниже.

Y_LСр

Ось откликов

y Y_1Ср Y_2Ср Y_3Ср

y_j3 …y_jL

y_j1 y_j2

x

x₁ x₂ x₃ x_L. Ось уровней

Рис. 9.2 Локальные Генеральные совокупности

при разных уровнях фактора.

И это, как уже отмечалось, – результат только мысленного эксперимента и теоретических (логических) рассуждений, опирающихся на определённый «багаж» знаний, который сейчас мы пытаемся пополнить новыми понятиями. И при этом мы убедились, что значение уровня x_lj, действующего в каждом опыте фактора, есть величина случайная, принадлежит она малой выборке {x_lj}, получающейся из Генеральной совокупности {x} при условии, что на приборе зафиксировано значение x_l. Заметим здесь, что разбиение Генеральной совокупности {x} (а с ней и Генеральной совокупности {y}) на «подмножества» происходит только в эксперименте (реальном или мысленном), ибо в функционирующей в реальной среде материальной системе никто никаких уровней не выставляет. Там непрерывно изменяются внешние условия (среди которых может оказаться фактор x, например, температура среды или освещённость), система на эти изменения реагирует изменением своего поведения (показателем этого оказывается изменение параметра-отклика y). Более того, мы знаем, что обе, фигурирующие здесь Генеральные совокупности {x} и {y}, являясь отображениями реальной системы, – непрерывны и нормально распределены. Следовательно, на картинке «густота» точек в «рое» пропорциональна плотности совместного распределения значений {x} и {y}, а дискретный «рой» точек – случайно выбранные опытом значения из сплошного «облака» возможных значений.

Учитывая всё вышеизложенное (а ещё и итоги, как мы полагаем – уже мысленно проведённого эксперимента) мы можем сделать важный здесь для нас вывод:

д ля описания поведения нашей системы мы можем применить давно и хорошо известные математические понятия и соотношения, разработанные в рамках теории вероятностей и математической статистики, которые введены и используются для описания пары взаимосвязанных случайных величин X и Y.

Речь идёт об использовании уже знакомых нам понятиях (Генеральная совокупность и её основные параметры m_Y и s²_Y, выборка и выборочные параметры Y_lСр~ m_Yl и s_l²), а также о понятиях регрессия и корреляция, подробный разговор о которых ещё предстоит.

И ещё один вывод

. Мысленный «портрет» (в привычных теперь нам координатах «фактор-отклик») материальной системы (ситуации), которую мы ещё только намерены исследовать дальше, на самом деле должен выглядеть одним и сплошным «облаком» (см. ниже), из которого (в ходе реального эксперимента) «вырезается» то одна, то другая выборка в форме «роя» дискретных точек. Плотность «облака» в каждой точке (подчеркнём) это – плотность совместного распределения вероятности реализации конкретной пары значений случайных величин x и y.

В случае двух случайных величин такое «облако» – плоское и называется

корреляционным полем.

Плоское корреляционное поле.

Ось откликов

y

y_jl{

y = m_lY x

x_l Ось уровней

Рис. 9.3 Возможный вид реальной локальной выборки.

Распределение плотности вдоль любой вертикали (здесь показана только одно) – условное распределение этой же плотности при x = x_l. В центре, в «плотно заселённом» месте каждой вертикали где-то находится точка, изображающая собой значение отклика, равное условному математическому ожиданию (здесь y = m_lY).

Выбирая интервал между x_l и x_l+1 (между соседними уровнями) оптимальным, эксперимент можно спланировать так, что «прозондировать» удастся всё (без «просветов» между отдельными выборками) поле корреляции и нанести на него множество точек y_lj, каждая из которых разместиться точно над x_lj. В итоге, на фоне сплошного воображаемого поля корреляции, мы увидим (здесь это не показано) единое дискретное множество точек одну «большую», дискретную выборку, которую называют экспериментальным полем корреляции.

Представленное здесь большое воображаемое «облако», названное полем корреляции, (корреляционным полем), является, как было отмечено только что, наглядной формой представления совместного распределения вероятностей реализации случайных величин X и Y. При регрессионном анализе оно оказывается ещё и начальной (исходной) формой наглядного представления взаимосвязи (характер которой как раз и предстоит выявить) между действующим на систему фактором (его математической моделью служит случайная величина X≡ {x}) и её (системы) на это действие реакцией, которая выражается (проявляется) в соответствующем изменении величины интересующего нас отклика системы y (параметра – тоже в форме случайной величины Y ≡ {y}).

Понятие корреляционного поля – одно из (упомянутых выше в формулировке «важного» вывода) основных понятий, которыми нам предстоит воспользоваться, как первым дополнительным «рабочим инструментом».

Другим таким инструментом-понятием является понятие факторного пространства. Так называют множество возможных в эксперименте значений факторов.

В однофакторных экспериментах факторное пространство – линейное и представляет собой часть оси x – тот её отрезок, из которого выбираются значения фактора (А).

В двухфакторных экспериментах факторное пространство – плоское и представляет собой часть плоскости XY – часть (прямоугольник), построенная на отрезках осей X и Y из которых выбираются значения факторов (А и В).

В трёхфакторных экспериментах факторное пространство – трёхмерное (объёмное) и представляет собой часть реального трёхмерного пространства XYZ – куб, построенный на отрезках осей X,Y и Z из которых выбираются значения факторов (А,В и С).

В n-факторных экспериментах факторное пространство – n-мерное (гиперобъёмное) и представляет собой часть воображаемого n-мерного пространства – конечный n-мерный гиперкуб, построенный на отрезках всех n осей, из которых (из отрезков осей) выбираются значения задействованных в таких экспериментах факторов (А,В, С и т.д.).

Далее – ещё несколько слов об особенностях корреляционных полей.

В данном случае (в случае нашего простейшего учебного примера системы с одним-единственным фактором) это поле – двухмерное («плоское). Если же предстоит рассматривать систему с двумя действующими факторами (взаимосвязь не двух, а трёх случайных величин), то корреляционное поле будет пространственным (трехмерным) «облаком», отображающим плотность распределения множества точек, каждая из которых обозначает совокупность значений трёх одновременно (в одном опыте) реализовавшихся случайных величин; X, Y (факторы) и Z (отклик), относительно которых есть хотя бы «подозрение», что они взаимосвязаны.

На рисунке (см. ниже) тёмным кружочком условно выделена центральная область трёхмерного корреляционного поля – область около наиболее вероятного значения m_Z .

Y

Z

m_Z

X

Рис. 9.4 Объёмное поле корреляции

В общем случае (при произвольном количестве n рассматриваемых факторов) корреляционное поле будет выглядеть (n –1)-мерным (многомерным) «облаком», которое «парит» над n-мерным факторным пространством. Но это уже невозможно отобразить наглядной геометрической картинкой. Остаётся полагаться на собственное воображение и на знания о функциях многих переменных, которые (функции) описывают подобные многомерные объекты.

Только что рассмотренная особенность разных корреляционных полей связана с размерностью факторного пространства. Но это – не единственная отличительная особенность корреляционных полей. Форма «облака», его размещение над факторным пространством и ориентация – очень важные признаки, с которыми нам предстоит знакомиться