- •МЕТОДЫ ОБРАБОТКИ ГИДРОЛОГИЧЕСКОЙ ИНФОРМАЦИИ
- •Оглавление
- •I. Основные понятия теории вероятностей, используемые в гидрологии
- •1. Обоснование применения вероятностных методов в инженерной гидрологии
- •2. Случайные события и случайные величины в гидрологии
- •3. Числовые характеристики случайных величин
- •4. Равномерное и нормальное распределения случайных величин
- •5. Распределение Пирсона III типа (непрерывное биномиальное распределение)
- •6. Распределение Крицкого-Менкеля (трехпараметрическое гамма-распределение)
- •7. Основные задачи математической статистики
- •8. Точечные и интервальные оценки параметров распределения
- •9. Статистическая гипотеза. Критерий статистической гипотезы
- •10. Случайные процессы в гидрологии
- •II. Статистические методы в инженерной гидрологии
- •11. Построение кривых обеспеченности по эмпирическим данным
- •12. Оценка параметров распределения по эмпирическим данным
- •13. Оценка погрешностей выборочных параметров распределения
- •14. Проверка однородности гидрологических рядов
- •15. Общие критерии согласия
- •16. Критерии случайности
- •17. Корреляционный анализ гидрологических и климатических рядов
- •18. Уравнение линейной регресии. Метод наименьших квадратов
- •19. Оценка точности уравнения линейной регрессии для двух переменных
- •20. Уравнения линейной регрессии при нескольких аргументах
- •21. Основные характеристики случайных процессов
- •22. Моделирование искусственных гидрологических рядов
- •23. Понятие о динамико-стохастических моделях многолетних колебаний речного стока
- •24. Вводные положения и термины основного нормативного документа
- •25. Определение расчетных гидрологических характеристик при наличии данных гидрометрических наблюдений
- •26. Учет неоднородности исходных данных и выдающихся значений
- •27. Расчетное внутригодовое распределение месячного стока
- •29. Наивысшие уровни воды
- •30. Определение расчетных гидрологических характеристик при недостаточности данных гидрометрических наблюдений
- •31. Учет данных кратковременных наблюдений
- •32. Расчетные расходы и уровни воды гидротехнических сооружений
- •33. Строительная климатология (СП 131.13330.2012)
- •Список литературы
- •Приложение А
Критерий Фишера и критерий Стьюдента относятся к категории стандартных критериев и рекомендуются в большинстве нормативных документов в качестве официального теста на однородность.
Пример. Дана выборка длиной 43 года. При разбиении ряда на две части (n = 22, m = 21) найдены выборочные средние и выборочные дисперсии обеих
частей: x = 20,4 ; y = 32,7 ; |
|
|
x2 = 9,5; |
|
|
y2 =11,4 . Проверить ряд на однородность |
||||
|
S |
S |
||||||||
при уровне значимости 2α =10 %. |
|
|
|
|||||||
|
Решение. |
|
|
|
|
значение статистики F по формуле |
||||
|
1) Вычисляем эмпирическое |
|
||||||||
F* = |
|
y2 / |
|
x2 =11,42 /9,52 = |
|
1,44. В |
среде Mathcad при ν1 = 22 – 1 = 21; |
|||
S |
S |
|
||||||||
ν2 = 21 – 1 = 20 находим критическое значение статистики Фишера qF(0.95,20,21) = 2.096; т.е. F95 = F1-α = 2,096. Так как F* < F1-α, гипотеза об однородности ряда по дисперсии не опровергается.
2) Вычисляем общую СКО и выборочную статистикуt* по формуле (14.2):
S = |
|
(22 −1) 9,52 + (21−1) 11,42 |
|
||||
|
|
22 + 21 |
− 2 |
=10,47 ; |
|||
|
|
|
|
|
|||
|
|
20,4 −32,7 |
|
|
|
||
|
t* = |
|
22 21 |
= −3,85. |
|||
|
|
|
3,229 |
43 |
|
|
|
В среде Mathcad при уровне значимости 2α = 10 % и числе степеней свободы ν = 43–2 = 41 находим квантиль распределения Стьюдента qt(0.95,41) = 1.683. Следовательно, t0,95 =1,683. Таким образом, доверительная область для t* опре-
делена отрезком [–1,683; +1,683]. Так как в данном случае t* попадает в критическую область, т.е. выходит за пределы доверительной области, гипотеза об однородности ряда по среднему значению опровергается при уровне значимости 2α = 10 %.
15. Общие критерии согласия
Одной из основных задач при определении расчетных гидрологических характеристик является выбор аналитического выражения для аппроксимации закона распределения исследуемой гидрологической величины.
Выбор считается обоснованным, если имеет место хорошее соответствие эмпирической и аналитической кривых обеспеченностей. Если такой анализ производится визуально, это вносит элемент субъективизма. Более объективно решить поставленную задачу можно, используя критерии согласия. При этом реализуется схема, аналогичная той, которая применялась при проверке гипотез об однородности гидрологических рядов: выдвигаются нулевая и альтернативная гипотезы; назначается уровень значимости; вычисляется эмпирическое значение тестовой статистики; по результатам расчетов принимается решение.
В данном случае в качестве нулевой принимается гипотеза о соответствии (согласии) аналитической и эмпирической функций распределения, а в ка-
41
честве альтернативной – их несоответствие. Степень согласия оценивается с помощью специальных статистик. Различные критерии (тесты) используют для оценки степени согласия статистик. В гидрологической практике наиболее часто применяются критерий χ2 (Пирсона), критерий Колмогорова и критерий nω2 (Крамера – Мизеса – Смирнова).
Критерий χ2 (Пирсона) в настоящее время является наиболее распространенным критерием согласия. Для его применения область допустимых значений (ОДЗ) исследуемой СВ X разбивается на η интервалов. Число интервалов можно приблизительно определить по формуле в зависимости от длины n имеющейся выборки: η ≈ 5 lg n .
При назначении границ интервалов наиболее удобно использовать следующую схему.
1.Выбрать аналитическую кривую для аппроксимации закона распределения исследуемой случайной величины.
2.Оценить по имеющейся выборке параметры распределения.
3.Построить аналитическую кривую обеспеченностей.
4.Разбить ось обеспеченностей на η равных интервалов.
5.Используя аналитическую кривую, определить границы интервалов для СВ X в зависимости от границ интервалов на оси обеспеченностей. Например, если η = 5, то границы интервалов на оси обеспеченностей будут соответствовать значениям 0, 20, 40, 60, 80, 100 %; а ось X разобьется на интервалы:
x20 ≤ x; x40 ≤ x < x20 ; x60 ≤ x < x40 ; x80 ≤ x < x60 ; x < x80 .
При реализации данной схемы интервалы по оси X не будут равновеликими, но зато вероятность попадания значения СВ X в любой интервал будет одинаковой p = 1/η. Одинаковым будет и теоретическое число случаев попадания значения СВ X в каждый интервал m=n/η (n – длина выборки).
В качестве меры расхождения между эмпирическими данными и аналитической функцией распределения используется тестовая статистика
(χ2 )* = n ∑η |
(pi* − pi )2 |
, |
(15.1) |
|
pi |
||||
i=1 |
|
|
где p*i и pi – соответственно, эмпирическая и теоретическая вероятности по-
падания значения СВ в i-й интервал; n – длина выборки; η – число интервалов.
К. Пирсон показал, что закон распределения данной статистики не зависит от вида исходного распределения и при достаточно большом n хорошо аппроксимируется распределением χ2 с числом степеней свободы ν = η – θ – 1, где θ – число параметров распределения, определяемых по эмпирическим данным.
Из выражения (15.1) видно, что чем больше расхождение между эмпирической и аналитической кривыми, тем больше значение статистики χ2. Поэтому при использовании критерия Пирсона назначают односторонний уровень значимости (обычно α = 5 % или α = 10%). Гипотеза о согласии эмпирической и аналитической кривых обеспеченности не опровергается, если эмпирическое
42
значение статистики (15.1) не превышает теоретическое значение χ2, соответст-
вующее принятому уровню значимости α, т.е. если (χ2)* ≤ χ12−α .
Критерий χ2 может быть применен при выяснении вопроса о лучшем соответствии одной из нескольких аналитических кривых распределения одному и тому же эмпирическому ряду. При этом меньшее значение χ2 будет свидетельствовать о лучшем соответствии данной функции распределения эмпирическим данным.
Следует подчеркнуть, что использование критерия Пирсона для выборок небольшого объема может приводить к неправильным выводам, а ряды наблюдений за гидрологическими характеристиками обычно не превышают нескольких десятков лет. Это накладывает определенные ограничения на использование данного критерия. Принято считать, что критерий согласия χ2 допустимо применять при n > 50. При этом требуется, чтобы число разрядов (интервалов) было равно 8 – 12 и в каждом разряде было не менее 5 элементов.
По критерию согласия Колмогорова в качестве меры отличия эмпирических данных от аналитической функции распределения принимают наибольшее по абсолютной величине расхождение между эмпирической Р*(х) и аналити-
ческой P(x) функциями обеспеченностей: |
|
= max |Р*(х) – Р(х)|. |
(15.2) |
Вычисления по критерию Колмогорова производятся следующим образом. Для каждого значения СВ X, полученного по выборке, вычисляются Р*(х), Р(х) и их разности. Затем выбирается наибольшая по модулю разность и рассчитывается статистика для выборки объемом n:
λ* = ∆ |
|
, |
(15.3) |
n |
Колмогоров для n> 40 получил теоретическое выражение закона распределенияλ, расчеты по которому представлены на рис. 15.1 и в табл. 15.1.
n |
|
p{λ* > λ}≈ P( λ ) = 2 ∑( −1)i−1 exp(−2 i2 λ2 ). |
(15.4) |
i=1 |
|
|
Таблица 15.1 |
Рис. 15.1. Функция Р(λ)
43
Если значение Р(λ) больше принятого уровня значимости, то гипотеза о соответствии эмпирической и аналитической кривых обеспеченностей не опровергается. По табл. 14.1 значения функции Р(λ) не различаются до четвертого знака после запятой, уже начиная с выборки n = 10.
Расчетная схема для критерия согласия Колмогорова достаточно проста. Вместе с тем этот критерий имеет определенные недостатки, в частности, при его применении учитывается лишь наибольшее расхождение между эмпирической и аналитической функциями распределения, т.е. используется далеко не вся информация, заключенная в рядах наблюдений. Оценка согласия по одной точке (особенно при небольшой длине рядов) может в отдельных случаях плохо отражать соответствие эмпирических данных теоретическому закону распределения. Наибольшая разность обычно отмечается в средней части кривой распределения, в то время как в гидрологической практике нас чаще интересуют ее левая и правая части. Кроме того, данный критерий не учитывает числа параметров, входящих в теоретическую функцию распределения, хотя на практике их оценку приходится производить по эмпирическим данным.
16. Критерии случайности
Изложенные ранее приемы обработки эмпирических данных, строго говоря, пригодны лишь для статистических совокупностей, вероятностная структура которых может быть описана в рамках математической модели случайной величины. Для проверки, соответствует ли этому требованию конкретная выборка, служат критерии случайности. Проверка гидрологических рядов на случайность проводится в рамках общей схемы статистической проверки гипотез. В качестве нулевой принимается гипотеза о том, что имеющаяся выборка представляет собой последовательность независимых значений некоторой СВ.
Применение критериев случайности в общем случае основано на сопоставлении конкретных статистик эмпирического ряда с соответствующими теоретическими статистиками случайных совокупностей.
Критерии серий. Под серией в данном случае будем понимать всякий участок последовательности, состоящий из элементов одного и того же рода. К серии из элементов а будем относить члены последовательности, значения которых превышают выборочное среднее значение, а к серии из элементов в – значения которых меньше среднего. Длиной серии i назовем число элементов, входящих в серию. Обработанная таким образом выборка будет представлять собой последовательность серий различной продолжительности.
Критерий общего числа серий. Для проверки гипотезы о том, что данная совокупность сформирована из независимых значений случайной величины, используется статистика R, представляющая собой сумму серий из элементов а Rа и элементов в Rв (длина серий i значения не имеет). Для случайных совокупностей статистика R = Ra + Rв имеет нормальное распределение с параметрами
44
m |
= n +1 ; σ |
R |
= |
|
n +1 |
|
. |
(16.1) |
|
|
|
||||||
R |
2 |
2 |
|
|
|
|||
|
|
|
|
|
||||
Исходя из этого, задавшись уровнем значимости а, можно построить для R доверительный интервал (см. п. 10):
mR −t1−α σR < R ≤ mR +t1−α σR , |
(16.2) |
где t1-α – квантиль стандартного нормального распределения.
Если значение R, определенное по выборке, попадает в этот интервал, то гипотеза о случайности данной совокупности не опровергается.
Критерий наибольшей длины серий использует в качестве тестовой статистики наибольшую длину серии из элементов а или в: К = imax. Доказано, что для случайных независимых совокупностей значение К выражается формулой
|
|
n |
|
|
|
|
|
lg − |
|
|
|
|
|
|
|
|
|
|
||
Kα = |
|
ln(1−α) |
−1 |
, |
(16.3) |
|
|
lg 2 |
|
||||
|
|
|
|
|
|
|
где α представляет собой вероятность, с которой в выборке объемом n можно встретить хотя бы одну серию из элементов а или в длиной K и более.
При проверке нулевой гипотезы о случайности выборки эмпирическое значение статистки K сравнивается с теоретическим, рассчитанным по формуле (16.3) при уровне значимости α. Гипотеза не опровергается, если К < Кα.
Критерий числа повышений и понижений. Пусть имеется выборка СВ X:
(x1, х2,..., xn). Если xi–1 < xi, будем называть переход от xi–1 к xi повышением и обозначать его «+»; если xi–1 > xi, будем называть переход от xi–1 к xi пониже-
нием и обозначать «–». Для случайных последовательностей число повышений (или понижений) распределяется асимптотически нормально с параметрами:
m+ = m_= n/2, D+ =D_ = (n +1)/12. |
(16.4) |
Отсюда, задавшись уровнем значимости α и учитывая, что математические ожидания и дисперсии числа повышений и понижений равны, можно построить доверительный интервал
mk −t1−α |
|
< k ≤ mk +t1−α |
|
, |
(16.5) |
D |
D |
где k – число повышений (k+) или понижений (k_) в исследуемой выборке; t1–α – квантиль стандартного нормального распределения. Если эмпирические значения k+ и k_ попадают в доверительный интервал, гипотеза о случайности выборки не опровергается.
Одним из критериев случайности может служить равенство нулю коэффициента автокорреляции гидрологического ряда.
Занимаясь гидрологическими расчетами или прогнозами, необходимо четко представлять, какая математическая модель используется для описания вероятностной структуры гидрологического ряда. До сих пор мы почти всегда подразумевали, что в качестве такой модели используется модель СВ. Так, ряд среднегодовых расходов воды за 30 лет можно рассматривать как 30 значений
45
