23

Вычисление вероятности происхождения события

Вероятность – одно из основных понятий теории вероятностей. Существует несколько определений этого понятия. Давайте рассмотрим определение, которое называют классическим. Рассмотрим пример. Пусть в урне находится 6 одинаковых шаров: 3 – синие, 2 – красные, 1 – белый. Вполне очевидно, что возможность вытащить наудачу синий шар больше, чем красный и белый. Эту вероятность можно охарактеризовать числом. Ее называют вероятность события. Таким образом, вероятность есть число, характеризующее степень возможности появления события. Вероятностью события А называют отношение числа благоприятствующих этому событию исходов к общему числу всех равновозможных несовместимых элементарных исходов, образующих полную группу:

P(A)=m/n

При анализе вариационного ряда вероятность события обычно совпадает с частостью. Нам же довольно часто приходится сталкиваться с ситуацией, когда необходимо вычислить вероятность того, что при соблюдении аналогичных условий произойдет точно такое же событие. Решением этой проблемы занимается интегральная теорема Лапласа: если вероятность р наступления события А в каждом испытании постоянна и отлична от нуля и единицы, то вероятность Р_n(k₁,k₂) того, что событие А появится в n испытаниях от k₁ до k₂ раз, приближенно равна определенному интегралу

При решении задач, требующих применения интегральной теоремы Лапласа, пользуются специальными таблицами, так как неопределенный интеграл не выражается через элементарные функции. Довольно часто функцию обозначают Ф(х) и называют функцией Лапласа. Она также табулирована.

Для удобства вычисления формулу, полученную при доказательстве интегральной теоремы Лапласа можно преобразовать до вида , где и , а q – вероятность отрицательного исхода (1-p). То есть, эта формула отражает вероятность того, что некоторое событие в n независимых испытаниях от k₁ до k₂ раз.

Допустим, что вероятность того, что в результате столыпинской аграрной реформы крестьянин переехав в Сибирь, остается безземельным, равна 0,2. Какова вероятность того, что из 400 приехавших в Сибирь крестьян, от 70 до 100 окажутся безземельными. В данном случае мы имеем р=0,2, q=0,8, n=400, k₁=70, k₂=100. Для использования интегральной теоремы Лапласа , вычислим верхний и нижний пределы интегрирования = (70 – 400*0,2)/ = -1,25 и = (100 – 400*0,2)/ = 2,5. Отсюда Р₄₀₀=Ф(2,5) – Ф(-1,25). Так как функция Лапласа – четная функция, мы имеем Р₄₀₀=Ф(2,5) + Ф(1,25)= 0,4938+0,3944=0,8882. То есть, вероятность того, что, переехав в Сибирь, от 70 до 100 крестьян окажутся безземельными, равна 88,82%.

Статистическая проверка гипотез

§ 1. Основные понятия

§ 2. Критерии для средних

Одним из важных инструментов научного исследования является построение и проверка тех или иных гипотез, касающихся объекта изучения, его состава, структуры, связей. Иногда такие гипотезы не формируются в ходе исследования явным образом, однако все же присутствуют в неявной форме.

В исторической науке так же, как и в других областях знания, исследователь либо строит и пытается обосновать некую гипотезу, либо стремится опровергнуть другую гипотезу. Так, примерами могут служить гипотезы о времени формирования всероссийского аграрного рынка, гипотеза о снижении экономического уровня крестьянского хозяйства в России к концу периода крепостничества и т.п. Это примеры научных гипотез, которые выдвигают историки. Теория же статистической проверки гипотез суживает и формализует общенаучное понятие гипотезы, что делает возможным применение этой теории в самых различных областях знания.

§ 1. Основные понятия

Статистическая гипотеза. Понятие статистической гипотезы гораздо уже, чем просто научной гипотезы.

Статистическими гипотезами называют различного рода предположения о свойствах генеральной совокупности (совокупностей), подтверждаемые или отвергаемые методами математической статистики на основе выборочных данных.

Таким образом, ясно, что статистические гипотезы, как и выборочное исследование, связаны с необходимостью делать выводы обо всем явлении, процессе на основе имеющихся данных об его части. Поскольку при статистической проверке гипотез мы не располагаем данными обо всей генеральной совокупности, всегда есть риск совершить ошибку, отклонить верную гипотезу или принять неверную. Поэтому статистическая проверка гипотез является по своей природе вероятностной. Однако на практике чрезвычайно важно, что теория статистической проверки гипотез позволяет оценить вероятность совершить ошибку и дает, таким образом, оценку надежности получаемых выводов.

Хотя из приведенного определения видно, что не всякая гипотеза в обычном смысле является статистической, многие научные гипотезы можно свести к целому ряду статистических гипотез (например, гипотезу о формировании аграрного рынка свести к гипотезе о достижении высоких значений коэффициентами корреляции между ценами на основные сельскохозяйственные продукты по всем губерниям, образующим этот рынок).

Итак, проверка любой статистической гипотезы начинается, естественно, с ее формулирования в соответствии с приведенным определением

Пример 1. Пусть имеются данные уставных грамот Тамбовской губернии в виде 10% ной случайной выборки, всего 264 грамоты По этим данным установлено, что средний размер дореформенного надела равен 3,16 дес. Это дает основание считать, что в качестве среднего размера надела в Тамбовской губернии можно принять 3 дес. Нашей гипотезой является гипотеза о равенстве среднего размера дореформенного надела 3 дес. Эта гипотеза может быть проверена и называется она испытуемой или нулевой гипотезой и обозначается в статистике Н₀. Сформулируем теперь математически данное определение испытуемой гипотезы Н₀ : = 3, где X_г.с. обозначает неизвестное нам среднее значение размера надела в генеральной совокупности (Тамбовская губерния) Как же проверить эту гипотезу'

Статистический критерий и статистическая характеристика. Центральным понятием в теории статистической проверки гипотез является понятие статистического критерия.

Статистическим критерием называется совокупность строго определенных правил, указывающих, при каких результатах выборочного исследования испытуемая гипотеза отклоняется, а при каких — считается допустимой.

Результаты выборочного исследования конкретизируются в форме статистической характеристики, в соответствии со значениями которой гипотеза отклоняется или признается допустимой. Функция, на основании которой статистический критерий отклоняет или не отклоняет испытуемую гипотезу, называется статистической характеристикой гипотезы.

Вернемся к нашему примеру и выясним смысл введенных понятий.

Как известно, выборочные средние отличаются от генеральной средней, но эти отличия характеризуются тем, что чаще встречаются выборочные средние, близкие к генеральной. Таким образом, наличие выборочной средней, которая сильно отклоняется от предполагаемой генеральной, свидетельствует, скорее всего, о неверности испытуемой гипотезы. Действительно, чем дальше от 3 дес. лежит выборочное значение х, тем больше у нас оснований сомневаться в справедливости испытуемой гипотезы.

Значит, желательно, чтобы при больших отклонениях выборочной средней от значения 3 (Х_г.с.=3) критерий отвергал испытуемую гипотезу, а при небольших отклонениях признавал ее допустимой. Остается решить, какие же отклонения считать большими, а какие — небольшими.

Для больших выборок известно распределение выборочных средних, т.е. вероятность появления каждого конкретного значения х (выборочного среднего), если известно значение Х_г.с.. Оказывается, распределение выборочных средних нормально, и, следовательно, чем больше значение отличается от 3, тем меньше вероятность его появления в конкретной выборке, причем эта вероятность точно известна. Значит, при получении маловероятного значения х критерий будет отклонять испытуемую гипотезу.

В основе такого вывода (и в основе всей теории проверки статистических гипотез) лежит так называемый принцип практической невозможности, который гласит, что маловероятное событие практически невозможно в единичном случае, каким является наша выборка. К сожалению, нельзя указать годную для всех случаев границу, такую, что событиями с вероятностью, меньшей этой границы, мы пренебрегаем, считая их невозможными. Дозволенная степень риска, который связан с пренебрежением событиями с малой вероятностью, зависит от различного рода обстоятельств и связана с практической важностью следствий, вытекающих из наступления таких событий.

Итак, в соответствии с принципом практической невозможности статистической характеристикой гипотезы Н₀ может служить величина отклонения выборочной средней от предполагаемого генерального значения. Можно определить вероятность появления отклонений, превышающих по абсолютному значению данное отклонение (х—3). Для удобства пользования в качестве статистической характеристики берется не само отклонение х—3, а так называемое нормированное отклонение t:

, где – стандартная ошибка выборки. В данном случае известно, что =0,08. Получим t=(x—3)/0,08 — это и есть статистическая характеристика. Ее фактическое значение в нашем примере равно t_ф=(3,16-3)/0,08 = 2.

Пользуясь таблицей приложения, найдем вероятность Ф(t_ф) = Ф(2) =0,9545. Напомним, как следует интерпретировать полученное значение. Вероятность 0,9545 означает, что если бы мы произвели 10000 выборок из нашей генеральной совокупности, то в 9545 из них отклонение х до 3 дес. не превысило бы величину 0,16 и в 455 (455=1000—9545) х—3 могло бы превзойти 0,16, разумеется, при условии, что средний размер надела в генеральной совокупности действительно равен 3. (Графически это распределение см. на рис. 20). Таким образом, площадь под нормальной кривой между значениями 2,84 и 3,16 составляет 0,9545 всей площади под нормальной кривой.

Нормальное распределение выборочных средних при Х_г.с=3

Осталось выяснить, можно ли считать вероятность 0,0455 настолько малой, чтобы пренебречь площадью справа от точки 3,16 и слева от точки 2,84 по сравнению с площадью под всей кривой (как известно, она равна 1). Если считать вероятность 0,0455 достаточно малой, то значения выборочной средней, равные 3,16 или большие, являются практически невозможными, и гипотезу Н₀ придется отклонить. Однако, если считать, что эта вероятность не слишком мала, значение 3,16 вполне возможно и не противоречит нашей гипотезе.

Тем самым очевидно, что наши выводы существенно зависят от того значения вероятности, при котором х считается практически невозможным для данной испытуемой гипотезы.

Уровень значимости и критическая область. Значение вероятности, начиная с которого событие считается практически невозможным, называется уровнем значимости критерия.

Уровень значимости обозначается а и обычно полагается равным 0,1; 0,05; 0,025 или 0,01. (Например, уровень значимости 0,01 или 1% означает, что мы считаем практически невозможными события, вероятность наступления которых не более 1%, т.е. события, которые могут произойти не более чем в 1 случае из 100.)

Рассмотрим на нашем примере, какие значения статистической характеристики t соответствуют уровню значимости 0,025. По табл. 1 приложения для Ф(t) = 1—а=1—0,025 = 0,975 находим t=2,24. Это значит, что с вероятностью 0,025 значение выборочного среднего может отклониться от предполагаемого генерального значения больше чем на t_=2,24-0,08=0,18, т.е. практически невозможными считаются значения х, большие 3,18(3+ +0,18) и меньшие 2,82 (3—0,18), т.е. 30,18.

Вспомним, что в данном случае было получено х_ф=3,16, которое, следовательно, не является практически невозможным, и при таком уровне значимости (0,025) испытуемая гипотеза не отклоняется.

Следует подчеркнуть, что уровень значимости выбирается исследователем в зависимости от конкретной задачи.

Каждому уровню значимости соответствует критическое значение статистической характеристики, которое делит все множество значений характеристики на две области: допустимых значений и критическую.

Критической областью испытуемой гипотезы являются все значения статистической характеристики, вероятность появления которых меньше выбранного уровня значимости. Все остальные значения статистической характеристики образуют область допустимых значений.

В нашем примере критической областью являются те значения t, для которых верно \t\t_Kp, а областью допустимых значений — те, для которых |t|<t_Кр.

Между статистической характеристикой, выбранным уровнем значимости и критической областью существует следующее соотношение.

Вероятность того, что статистическая характеристика попадет в критическую область, если верна испытуемая гипотеза, равна выбранному уровню значимости а, т. е. критическая область содержит именно те значения статистической характеристики, которые мы считаем практически невозможными.

Поясним изложенное на графике. Это график нормального распределения для (Х_гс = 3).

Заштрихована критическая область, соответствующая уровню значимости а=0,025. Видно, что значение t_ф=2 попадает в область допустимых значений, т. е. не является практически невозможным, если Х_т._с = 3; значит, испытуемая гипотеза не отклоняется.

Если гипотеза не отклоняется, это еще не значит, что она верна: дальнейшие исследования могут привести к отклонению гипотезы, но наш критерий не дает оснований отклонить ее.

Очевидно, попадание или непопадание точки t_ф в критическую область зависит от размеров этой области, а они, в свою очередь, зависят от величины а. Например, если увеличить а и вместо 0,025 взять 0,05, получим t_кр=l,96, при этом критическая область расширится и t_ф попадет в нее, что означает отклонение испытуемой гипотезы

Какой же результат испытания гипотезы считать более обоснованным и не противоречат ли они друг другу?

Ошибка первого рода. Выясним смысл уровня значимости а. Если а=0,05, это говорит о том, что в 5 выборках из 100 могут все же получиться отклонения выборочного среднего от 3 дес., превышающие критическое значение, и при справедливости испытуемой гипотезы (за счет случайностей выборки). Однако при этом t_ф попадет в критическую область, и критерий отклонит гипотезу, тогда как она верна. Таким образом, попадание в критическую область не обязательно связано с отклонением действительно неверной гипотезы — в 5 случаях из 100 это означает ошибочное отклонение верной гипотезы, и, значит, величина а — это риск совершить так называемую ошибку первого рода (величина Р=1—а называется уровнем доверия, эта вероятность правильного результата проверки гипотезы).

Ошибкой первого рода называется вероятность отклонить испытуемую гипотезу, когда она верна.

Очевидно, для а=0,025 риск совершить ошибку первого рода меньше, чем для а=0,05. На первый взгляд, надо стремиться уменьшить а, уменьшая тем самым вероятность ошибки первого рода. Но из сравнения рис. 21 и рис. 22 видно, что с уменьшением а критическая область сужается и, следовательно, расширяется область допустимых значений, т.е. становятся вполне допустимыми значения х, даже далекие от 3 дес., а такие значения, возможно, лучше соответствуют каким-то другим гипотезам.

Следовательно, слишком широкая область допустимых значений способствует неотклонению испытуемой гипотезы, когда она неверна, т.е. все реже неотклонение будет эквивалентно принятию гипотезы. Например, если вместо Н₀:Х_Гс = 3 испытать гипотезу Н_о: Х_гс=3,2, получим t_ф= -0,5 причем снова /t_ф/<t_кР=2,24 (а=0,025). Таким образом, на уровне значимости а = 0,025 эта гипотеза тоже не отклоняется, значит, наши данные не противоречат не только гипотезе Х_{т с} = 3, но и гипотезе_Хгс = 3,2, а также и любым гипотезам, дающим значения Х_г.с. в интервале 3—3,2 дес.

Ошибка второго рода. Оказывается, наш критерий имеет еще одну слабость: если истинным значением Х_гс является 3,2 дес., а не 3 дес., критерий не сможет этого уловить, т.е. не сможет отклонить испытуемую гипотезу (Н₀:Х_г.с. = 3), хотя она и неверна. И чем меньше уровень значимости а и уже соответствующая ему критическая область, тем чаще возникают подобные ситуации. Следовательно, с уменьшением а повышается вероятность так называемой ошибки второго рода — ошибочного принятия неверной гипотезы.

Ошибкой второго рода называется неотклонение испытуемой гипотезы Н, когда на самом деле она неверна. Вероятность ошибки второго рода обозначается .

Теперь становится ясно, почему неотклонение гипотезы еще не равносильно ее принятию. Ведь если в такой ситуации велика вероятность ошибки второго рода, мы рискуем принять Н₀ тогда, когда верна какая-то другая гипотеза. При испытании гипотезы Н₀ можно получить четыре возможных результата:

I. Гипотеза Н₀ верна: 1) она не отклоняется (правильный результат), 2) она отклоняется (ошибка первого рода).

II. Гипотеза Н₀ неверна: 3) она отклоняется (правильный результат), 4) она не отклоняется (ошибка второго рода).

Итак, вероятность ошибки второго рода возникает в тех случаях, где нулевая гипотеза не отклоняется.

В таких случаях требуется проверить, не соответствуют ли данные выборки другой, конкурирующей с Н₀, гипотезе, т.е. требуется выдвинуть альтернативную гипотезу, обозначаемую Н_а.

Однако альтернативная гипотеза может быть сформулирована по-разному. Например, в качестве гипотезы Н_а можно взять следующие гипотезы:

а) средний размер надела не равен 3 дес.:

б) средний размер надела больше 3 дес.:

в) средний размер надела меньше 3 дес :

г) средний размер надела равен 3,2 дес.:

д) средний размер надела равен 3,5 дес. (3,1 део., 3,8 дес и т. п.).