Статистический вывод в случае множественной регрессии: f-тест

Полученные нами к настоящему времени результаты регрессии представляют собой достаточно полное описание исследуемых (п = 55) журналов, однако ста­тистический вывод помог бы нам обобщить этот случай на идеализированную популяцию подобных им журналов. Вместо того чтобы просто констатировать тот факт, что увеличение на один процент числа читателей-мужчин приводит к уменьшению тарифа на размещение рекламы в среднем на $124, можно сделать статистический вывод относительно большой генеральной совокупности журна­лов такого типа, из которой вполне могли бы быть извлечены имеющиеся дан­ные, и попытаться выяснить, существует ли в действительности какая-либо взаимосвязь между полом читателей журнала и тарифами на рекламу, или ко­эффициент регрессии, равный -$124, можно объяснить просто случайностью. Может ли быть так, что обнаруженное нами влияние процента читателей-мужчин на стоимость рекламы – это просто случайное число, а не свидетельст­во наличия систематической взаимосвязи? Ответ на этот вопрос можно получить с помощью статистического вывода.

Чтобы не усложнять пример, предположим, что мы располагаем случайной выборкой из намного большей генеральной совокупности. Допустим также, что эта генеральная совокупность характеризуется линейной взаимосвязью со слу­чайностью, представленной моделью множественной линейной регрессии, в со­ответствии с которой наблюдаемое значение Y определяется взаимосвязью в генеральной совокупности плюс нормально распределенная случайная ошибка. Предполагается также, что эти случайные ошибки для разных наблюдений (эле­ментарных единиц наших данных) не зависят друг от друга.

Модель множественной регрессий для генеральной совокупности:

Y = (α + β₁X₁ + β₂Х₂ + ... + β_kX_k ) + ε

= (взаимосвязь в генеральной совокупности) + случайность,

где ε характеризуется нормальным распределением со средним значением 0 и постоянным стандартным отклонением σ, причем эта случайность является не­зависимой для каждого из наблюдений (элемен­тарных единиц данных).

Взаимосвязь в генеральной совокупности определяется k + 1 параметрами: α представляет сдвиг (или постоянный член) для генеральной совокупности, a β₁, β₂,…, β_k являются коэффициентами регрессии для генеральной совокупности, которые показывают среднее влияние каждой из Х- переменных на У (в данной генеральной совокупности), при условии, что все остальные Х- переменные оста­ются неизменными. Если бы вы имели данные обо всей гене­ральной совокупности, то полученные вами с помощью метода наименьших квадратов коэффициенты регрессии ничем не отличались бы от соответствующих коэффициентов, описывающих связь в генеральной совокупности. Как правило, однако, полученный методом наименьших квадратов сдвиг а является лишь статистической оценкой α, а полученные методом наименьших квадратов ко­эффициенты регрессии b₁, b₂, ..., b_k представляют лишь статистические оценки β₁, β₂,…, β_k соответственно. Существуют, конечно же, ошибки, обусловленные процессом оценивания, поскольку выборка намного меньше всей генеральной совокупности.

Значима ли модель? Статистический вывод начинается с F-теста, целью которого является выяс­нение, объясняют ли Х- переменные значимую часть вариации Y. F-тест исполь­зуется как «входные ворота» в статистический вывод: если этот тест значим, следовательно, связь существует и можно приступать к ее исследованию и объ­яснению. Если этот тест незначим, то мы имеем дело с набором не связанных между собой случайных чисел – объяснять, в сущности, нечего. Помните, что, когда вы принимаете нулевую гипотезу, это считается слабым заключением. Вы не доказали, что взаимосвязи нет: вам просто не хватает убедительных доводов в пользу наличия такой взаимосвязи. Взаимосвязь вполне может существовать, но из-за случайности или малого размера выборки вы не в состоянии обнаружить ее с помощью тех данных, которые имеются в вашем распоряжении.

Нулевая гипотеза для F-теста утверждает, что в генеральной совокупности между Х- переменными и Y прогнозирующая взаимосвязь отсутствует. Иначе говоря, Y является чисто случайной величиной и значения Х- переменных не оказывают на Y никакого влияния. Если посмотреть на модель множественной линейной регрессии, то это утверждение означает, что Y = α + ε, что может иметь место в том случае, если все коэффициенты регрессии в генеральной сово­купности равны 0.

Альтернативная гипотеза F-теста утверждает, что в генеральной совокупности между Х- переменными и Y существует определенная прогнозирующая взаимо­связь. Таким образом, переменная Y уже не является чисто случайной величи­ной и должна зависеть по крайней мере от одной из Х- переменных. Иными сло­вами, альтернативная гипотеза утверждает, что по крайней мере один из коэф­фициентов регрессии не равен 0. Обратите внимание: вовсе не обязательно, чтобы каждая из Х- переменных влияла на Y – достаточно, чтобы влияла хотя бы одна из них.

В F-тесте используются следующие статистические гипотезы:

H₀ : β₁ = β₂ = ... = β_k = 0;

H₁ : по крайней мере один из коэффициентов регрессии β₁, β₂, ... , β_k  0.

Выполнить F-тест проще всего, отыскав в результатах работы компьютерной программы подходящее р-значение и интерпретировав результирующий уровень значимости. Если р-значение больше, чем 0,05, то полученный результат не является значимым. Если же это р-значение меньше, чем 0,05, то полученный результат является значимым. Если р < 0,01, тогда по­лученный результат является высоко значимым, и т.д.

Еще один способ выполнения F-теста заключается в сравнении значения R² (процент вариации Y, который объясняется Х- переменными) со значениями из таблицы критических значений R² для подходящего уровня тестирования (на­пример, 5%). Если значение R² оказывается достаточно большим, тогда регрес­сия считается значимой, т.е. удалось объяснить больше, чем просто случайную величину вариации Y. Эта таблица индексирована по п (количество наблюдений) и k (количество Х- переменных).

Традиционный способ выполнения F-теста интерпретировать несколько слож­нее, но он всегда дает тот же результат, что и таблица критических значений R². Классический F-тест, как правило, выполняется путем вычисления F_{статистики} и сравнения ее с критическим значением из F-таблицы для соответствующего уровня тести­рования. При этом используются два разных числа степеней свободы: число степеней свободы k₁ (количество Х- переменных, предназначенных для объяснения Y или количество параметров в уравнении регрессии минус единица, т.е. k₁ = m – 1) и число степеней свободы k₂ = n – m (где. n – количество наблюдений в выборке, а m – количество параметров в уравнении регрессии).

В то же время F_{статистика} является излишним усложнением, поскольку значение R² можно проверить непосредственно. Более того, R² имеет более непо­средственную интерпретацию, чем F_{статистика}, поскольку R² говорит о той час­ти вариации Y, которая учитывается (или объясняется) Х- переменными, тогда как F не имеет столь простой и непосредственной интерпретации в терминах ис­ходных данных. Какой бы подход – F или R² – вы ни использовали, ответ (о значимости или не значимости) всегда будет одним и тем же на любом уровне тестирования.

Почему же по традиции используется более сложная F_{статистика}, в то время как вместо нее можно было бы обратиться к тесту R², допускающему более удобную и непосредственную интерпретацию? Возможно, все объясняется имен­но сложившейся традицией, а возможно, и тем, что уже давно и с успехом на практике применяются именно F-таблицы. Использование осмысленного числа (такого как R²) позволяет глубже понять исследуемую ситуацию и выглядит предпочти­тельнее, особенно когда речь идет о сфере бизнеса.

Результат F-теста (решение принимается на основе р-значения)

Если р-значение больше, чем 0,05, значит, соответствующая модель не является значимой (вы прини­маете нулевую гипотезу о том, что Х- переменные не помогают прогнозировать Y). Если р-значение оказывается меньше, чем 0,05, значит, соответствующая модель является значимой (вы отвергаете нулевую гипотезу и принимаете альтернативную гипотезу о том, что Х- переменные по­могают прогнозировать Y).

Результат F-теста (решение принимается на основе R²)

Если значение R² меньше, чем критическое значение в таблице R², значит, соответствующая модель не является значимой.. Если значение R² больше, чем критическое значение в таблице R², значит, соответ­ствующая модель является значимой. Этот ответ в любом случае будет таким же, как результат, полу­ченный с помощью р-значения.

Результат F-теста (решение принимается на основе критерия F)

Если значение F оказывается меньше, чем критическое значение в F-таблице, значит, соответствующая модель не является значимой. Если значение F оказывается больше, чем критическое значение в F-таблице,- соответствующая модель является значимой. Этот ответ в любом случае будет таким же, как результат, полученный с помощью р-значения или R².

Помните, что статистический смысл термина «значимый» несколько отличается от его обыденного смысла. Когда вы находите значимую модель регрессии, то знаете, что взаимосвязь между Х- переменными и Y оказывается сильнее, чем обычно можно было бы ожидать от чистой случайности. Другими словами, в этой ситуации можно говорить о наличии определенной взаимосвязи. Эта взаи­мосвязь может быть сильной или полезной в том или ином практическом смысле (а может, и не быть таковой) – эти вопросы требуют специального рассмотре­ния, – но она достаточно сильна, чтобы не выглядеть как чистая случайность.

Если вернуться к нашему примеру с тарифами на размещение рекламы в жур­налах, то соответствующее уравнение прогнозирования действительно объясняет значимую долю отклонения в тарифах, на что указывает в результатах работы компьютерной программы р-значение 0,000000 справа от значения F, равного 62,843. В табл. 1 содержится часть результатов работы компьютерной програм­мы, приведенных в предыдущей лекции.

Таблица 1. Результат множественной регрессионного анализа тарифов на размещение рекламы в журналах

ВЫВОД ИТОГОВ
Регрессионная статистика
Множествен. R	0,887
R-квадрат	0,787
Нормированный R-квадрат	0,775
Стандартная ошибка	21577,870				р-значение
Наблюдения	55
Дисперсионный анализ
	df	SS	MS	F	Значимость F
Регрессия	3	87780733202	29260044401	62,843	0,000000
Остаток	51	23745829151	465604493
Итого	54	111525962353

Это говорит о том, что действительно обнаруживается устойчивая зависимость та­рифов от этих факторов (или по крайней мере от одного из этих факторов), т.е. та­рифы не являются чисто случайными величинами. Вам по-прежнему неизвестно, какие именно из этих Х- переменных реально участвуют в прогнозировании Y, но вам доподлинно известно, что есть по крайней мере одна такая переменная.

Чтобы выяснить с помощью R², действительно ли уравнение регрессии явля­ется значимым, отметим, что коэффициент детерминации R² = 0,787, или 78,7%. Таблица R² для тестирования на уровне 5% в случае п=55 журналов и k=3 переменных (табл. 2) дает критическое значение 0,141, или 14,1%. Для того чтобы уравнение было значимым на привычном уровне 5%, X- переменные должны объяснять лишь 14,1% вариации тарифов (Y). Поскольку они объясняют больше, регрессию следует признать значимой.

Таблица 2. Таблица R²: критические значения для уровня 5% (значимо)

Количество наблюдений (n)	Количество Х-переменных (k)
	1	2	3	4	5	6	7	8	9	10
3	0,994
4	0,902	0,997
5	0,771	0,950	0,998
6	0,658	0,864	0,966	0,999
7	0,569	0,776	0,903	0,975	0,999
8	0,499	0,698	0,832	0,924	0,980	0,999
9	0,444	0,632	0,764	0,865	0,938	0,983	0,999
10	0,399	0,575	0,704	0,806	0,887	0,947	0,985	0,999
11	0,362	0,527	0,651	0,751	0,835	0,902	0,954	0,987	1,000
12	0,332	0,486	0,604	0,702	0,785	0,856	0,914	0,959	0,989	1,000
13	0,306	0,451	0,563	0,657	0,739	0,811	0,872	0,924	0,964	0,990
14	0,283	0,420	0,527	0,618	0,697	0,768	0,831	0,885	0,931	0,967
15	0,264	0,393	0,495	0,582	0,659	0,729	0,791	0,847	0,896	0,937
16	0,247	0,369	0,466	0,550	0,624	0,692	0,754	0,810	0,860	0,904
17	0,232	0,348	0,440	0,521	0,593	0,659	0,719	0,775	0,825	0,871
18	0,219	0,329	0,417	0,494	0,564	0,628	0,687	0,742	0,792	0,839
19	0,208	0,312	0,397	0,471	0,538	0,600	0,657	0,711	0,761	0,807
20	0,197	0,297	0,378	0,449	0,514	0,574	0,630	0,682	0,731	0,777
21	0,187	0,283	0,361	0,429	0,492	0,550	0,604	0,655	0,703	0,749
22	0,179	0,270	0,345	0,411	0,471	0,527	0,580	0,630	0,677	0,722
23	0,171	0,259	0,331	0,394	0,452	0,507	0,558	0,607	0,653	0,696
24	0,164	0,248	0,317	0,379	0,435	0,488	0,538	0,585	0,630	0,673
25	0,157	0,238	0,305	0,364	0,419	0,470	0,518	0,564	0,608	0,650
26	0,151	0,229	0,294	0,351	0,404	0,454	0,501	0,545	0,588	0,629
27	0,145	0,221	0,283	0,339	0,390	0,438	0,484	0,527	0,569	0,609
28	0,140	0,213	0,273	0,327	0,377	0,424	0,468	0,510	0,551	0,590
29	0,135	0,206	0,264	0,316	0,365	0,410	0,453	0,495	0,534	0,573
30	0,130	0,199	0,256	0,306	0,353	0,397	0,439	0,480	0,518	0,556
31	0,126	0,193	0,248	0,297	0,342	0,385	0,426	0,466	0,503	0,540
32	0,122	0,187	0,240	0,288	0,332	0,374	0,414	0,452	0,489	0,525
33	0,118	0,181	0,233	0,279	0,323	0,363	0,402	0,440	0,476	0,511
34	0,115	0,176	0,226	0,271	0,314	0,353	0,391	0,428	0,463	0,497
35	0,111	0,171	0,220	0,264	0,305	0,344	0,381	0,417	0,451	0,484
40	0,097	0,150	0,193	0,232	0,268	0,303	0,336	0,368	0,399	0,429
50	0,078	0,120	0,155	0,186	0,216	0,244	0,272	0,298	0,323	0,348
51	0,076	0,117	0,152	0,183	0,212	0,240	0,267	0,293	0,318	0,342
52	0,075	0,115	0,149	0,180	0,208	0,235	0,262	0,287	0,312	0,336
53	0,073	0,113	0,146	0,176	0,204	0,231	0,257	0,282	0,306	0,330
54	0,072	0,111	0,143	0,173	0,201	0,227	0,252	0,277	0,301	0,324
55	0,071	0,109	0,141	0,170	0,197	0,223	0,248	0,272	0,295	0,318
56	0,069	0,107	0,138	0,167	0,194	0,219	0,244	0,267	0,290	0,313
57	0,068	0,105	0,136	0,164	0,190	0,215	0,240	0,263	0,285	0,308
58	0,067	0,103	0,134	0,161	0,187	0,212	0,236	0,258	0,281	0,303
59	0,066	0,101	0,131	0,159	0,184	0,208	0,232	0,254	0,276	0,298
60	0,065	0,100	0,129	0,156	0,181	0,205	0,228	0,250	0,272	0,293
Множитель 1	3,84	5,99	7,82	9,49	11,07	12,59	14,07	15,51	16,92	18,31
Множитель 2	2,15	-0,27	-3,84	-7,94	-12,84	-18,24	-23,78	-30,10	-36,87	-43,87

Если у вас более 60 наблюдений, критические значения можно найти с по­мощью двух множителей, указанных внизу таблицы R². Для этого необходимо воспользоваться следующей формулой:

Критическое значение = (Множитель 1 / n ) + (Множитель 2 / n )

Когда в качестве р-значения (Значимость F) указывается 0,000000 (см. таблицу 5), его можно интерпретировать как р < 0,0005, поскольку р-значение, которое больше или равно 0,0005, будет округлено до 0,001. Используя терми­нологию р-значений, можно сказать, что регрессия в данном случае является очень высоко значимой (р < 0,001).

Чтобы убедиться в этом очень высоком уровне значимости, используя непо­средственно F-тест, можно сравнить F_{статистику} 62,843 (из компьютерной распечат­ки) со значением из F-таблицы для уровня 5% (табл. 3), которое находится между 2,922 и 2,758 для k₁ = m – 1 = 3 степеней свободы и k₂ = n – m = 55 – 4 = 51 степеней свободы.

Таблица 3. F-таблица: критические значения для уровня значимости 5%

степени свободы ( )	степени свободы ( )
	1	2	3	4	5	6
1	161,45	199,50	215,71	224,58	230,16	233,99
2	18,513	19,000	19,164	19,247	19,296	19,330
3	10,128	9,552	9,277	9,117	9,013	8,941
4	7,709	6,944	6,591	6,388	6,256	6,163
5	6,608	5,786	5,409	5,192	5,050	4,950
6	5,987	5,143	4,757	4,534	4,387	4,284
7	5,591	4,737	4,347	4,120	3,972	3,866
8	5,318	4,459	4,066	3,838	3,687	3,581
9	5,117	4,256	3,863	3,633	3,482	3,374
10	4,965	4,103	3,708	3,478	3,326	3,217
11	4,840	3,980	3,590	3,360	3,200	3,090
12	4,747	3,885	3,490	3,259	3,106	2,996
15	4,543	3,682	3,287	3,056	2,901	2,780
18	4,410	3,550	3,160	2,930	2,770	2,660
19	4,380	3,520	3,130	2,900	2,740	2,630
20	4,351	3,493	3,098	2,866	2,711	2,599
21	4,32	3,47	3,07	2,84	2,68	2,57
22	4,30	3,44	3,05	2,82	2,66	2,55
23	4,28	3,42	3,03	2,80	2,64	2,53
24	4,26	3,40	3,01	2,78	2,62	2,51
25	4,24	3,38	2,99	2,76	2,60	2,49
26	4,22	3,37	2,98	2,74	2,59	2,47
27	4,21	3,35	2,96	2,73	2,57	2,46
28	4,20	3,34	2,95	2,71	2,56	2,44
29	4,18	3,33	2,93	2,70	2,54	2,43
30	4,171	3,316	2,922	2,690	2,534	2,421
60	4,001	3,150	2,758	2,525	2,368	2,254
120	3,920	3,072	2,680	2,447	2,290	2,175'
	3,841	2,996	2,605	2,372	2,214	2,099

Поскольку значение 51 в таблице отсутствует, нам известно, что необходимое нам значение из F-таблицы находит­ся в диапазоне от 2,922 для 30 степеней свободы знаменателя и для 60 степеней свободы знаменателя. Поскольку данная F_{статистика} (62,843) намного больше, чем значение из F-таблицы (значение из диапазона от 2,758 до 2,922), мы опять приходим к выводу, что полученный результат имеет очень высокую значимость.