Статистическая оценка дисперсии

В качестве статистической оценки дисперсии D(X) случайной величины X примем выборочную дисперсию

.

Установим, удовлетворяет ли выборочная дисперсия условиям несмещенности и состоятельности. Предварительно преобразуем выражение для s²:

(*)

где принято m=М(Х). Для проверки несмещенности вычислим M(s²):

Здеcь учтено, что , и введено обозначение D(X)=σ².

Таким образом, оценка s² является смещенной. Для получения несмещенной оценки дисперсии выборочную дисперсию s² исправляют, умножая ее на множитель n/(n-1).

Исправленная дисперсия

является уже несмещенной оценкой дисперсии.

Покажем, что оценка s² (а вместе с ней и ) состоятельна. Для этого воспользуемся равенством (*). Первый член в правой части равенства (*) является средним арифметическимп независимых, одинаково распределенных случайных величин (х_i-m)². Согласно закону больших чисел

.

Второй член равенства (*) (-m)² - квадрат величины, стремящейся по вероятности к нулю (по закону больших чисел), тоже стремится к нулю. Отсюда s² является суммой двух слагаемых, одно из которых стремится к σ², то есть

Итак, мы рассмотрели оценки неизвестных параметров распределения по выборке для частного случая, когда оцениваемый параметр θ является математическим ожиданием или дисперсией распределения, то есть первым начальным и вторым центральным моментами распределения. Рассмотрим теперь общие методы нахождения точных оценок.

Метод моментов

Пусть известен вид распределения генеральной совокупности F(x, θ₁, θ₂,..., θ_k), зависящего от k параметров. Идея метода моментов заключается в следующем: по выборке вычисляют k выборочных моментов и приравнивают их к соответствующим моментам распределения генеральной совокупности. Искомые оценки каждого из k параметров находятся как решение полученной системы k уравнений. При этом оценки начальных и центральных моментов k-гo порядка вычисляются по формулам

Замечание. Оценки математического ожидания и дисперсии, рассмотренные выше, получены по методу моментов.

Пример. Случайная величина Х распределена по показательному закону с плотностью вероятностей f(x,θ)=θe^-θx. Требуется по результатам наблюдений х₁, х₂,…, х_п оценить параметр θ.

Решение. Ранее мы находили М(Х)=α₁=1/θ. Оценка математического ожидания есть выборочное среднее . Приравнивая теоретический момент α эмпирическому, получаем. Отсюда

.

Метод моментов обладает тем недостатком, что оценки, полученные по нему, вообще говоря, не являются асимптотически эффективными и могут быть смещенными.

Метод максимального правдоподобия

Метод максимального правдоподобия наиболее распространен при нахождении точечных оценок параметров. Будем рассматривать результаты выборки как реализацию n-мерной случайной величины (x₁, х₂,..., х_п) с независимыми компонентами. Для получения оценки неизвестного параметра θ естественно попытаться найти такое значение , при котором вероятность реализации этой выборкиx₁, х₂,..., х_п была бы максимальной.

Если случайная величина X дискретна, то закон распределения ее имеет вид P(X=х_i)=P_i(θ), i=1,2,...,n. Тогда вероятность при п независимых наблюдениях CВ X получить выборку (x₁, х₂,..., х_п) равна

Функция L(θ) называется функцией правдоподобия, а величина θ, являющаяся точкой максимума этой функции, есть оценка, полученная по методу максимального правдоподобия (сокращенно МП-оценкой) параметра θ.

Если определяется оценка непрерывной CВ X с плотностью распределения f(x,θ), то функция правдоподобия определяется так:

.

Если функция правдоподобия дифференцируема по θ и при любых возможных значениях x_i достигает максимума по θ внутри интервала возможных значений параметра θ, то находят, решая уравнение

Поскольку точки максимума функции ипри фиксированныхх₁,..., х_n совпадают, то в некоторых случаях удобно решать уравнение

.

Если требуется оценить не один, а k неизвестных параметров θ₁,θ₂,…,θ_k, то оценки максимального правдоподобия для этих параметров находят, решая систему уравнений

Ценность МП-оценок обусловлена следующими их свойствами, которые выполняются при весьма общих условиях. Приведем их без доказательства для случая одного параметра.

Уравнение правдоподобия имеет решение, которое является состоятельной оценкой параметра θ.

1. Решение является асимптотически эффективной оценкой для θ.

2. Решение имеет асимптотически нормальное предельное распределение, то есть при соответствующей нормировке предельное распределение при n→∞ полученной оценки оказывается нормальным.

3. Если для параметра θ существует эффективная оценка, то уравнение правдоподобия имеет единственное решение, совпадающее с этой оценкой.

Недостатками метода является то, что МП-оценка может оказаться смещенной, а также то, что этот метод на практике нередко приводит к довольно сложным системам уравнений.

Пример. Пусть случайная величина Х распределена по нормальному закону N(m,σ²) с неизвестными параметрами m и σ². Найти МП-оценку нормального распределения.

Решение. Рассмотрим выборку x₁, x₂,…, x_n как реализацию n-мерного случайной величины (Х₁, Х₂,…, Х_n). Тогда составляющие Х_i также распределены по закону N(m,σ²). Запишем функцию правдоподобия

.

Здесь удобнее перейти к :

.

Дифференцируя поm и σ², получаем систему

Из первого уравнения находим . Подставив это значение во второе уравнение, получим. Заметим, что эти оценки совпадают с оценками, полученными по методу моментов.

Доверительный интервал и доверительная вероятность

В предыдущей главе были рассмотрены точечные оценки неизвестных параметров распределения. За исключением редких случаев оценка не совпадает с истинным значением θ оцениваемого параметра, то есть всегда имеет место некоторая ненулевая погрешность. Часто точное значение погрешности несущественно, а требуется лишь знать, что она находится в определенных пределах. На основании выборкиx₁, x₂,…, x_n указывают два значения θ₁(x₁, x₂,…, x_n) и θ₂(x₁, x₂,…, x_n), c помощью которых можно сделать статистический вывод о том, что истинное значение параметра θ лежит в интервале ]θ₁, θ₂[.

Доверительным интервалом для параметра θ называется интервал ]θ₁, θ₂[, содержащий истинное значение параметра с заданной вероятностью

р=1-α. Таким образом,

P(θ₁<θ<θ₂)=1-α. (1)

Число 1-α называется доверительной вероятностью (надежностью), а значение α - уровнем значимости.

Нижняя и верхняя границы доверительного интервала θ₁ и θ₂ определяются по результатам наблюдений и, следовательно, являются случайными величинами. В связи с этим говорят, что доверительный интервал накрывает оцениваемый параметр с вероятностью 1-α или в 100(1-α)% случаев.

Часто применяют односторонние доверительные интервалы, границы которых определяются из условия P(θ<θ₂)=1-α или P(θ₁<θ)=1-α.

Эти интервалы называются соответственно левосторонними и правосторонними доверительными интервалами. Выбор доверительной вероятности определяется в каждом случае конкретными условиями. Обычно используемые значения 1-α равны 0,90; 0,95; 0,99. На практике часто рассматривают симметричные доверительные интервалы длиной 2δ. Соотношение (1) в этом случае записывается в виде

или . (2)

Длина доверительного интервала играет важную роль: чем меньше длина доверительного интервала, тем точнее оценка. Если же длина доверительного интервала велика, то оценка малопригодна для практики.

Из соотношения (1) или (2) и из того, что θ₁ и θ₂ являются функциями выборки, следует, что длина доверительного интервала определяется двумя величинами: доверительной вероятностью 1-α и объемом п выборки.

Таким образом, величины δ, (1-α), п взаимосвязаны и, задавая определенные значения двум из них, можно определить значение третьей. Процедура нахождения границ доверительного интервала для параметра θ по заданной доверительной вероятности в простейшем случае состоит в следующем.

1. Из генеральной совокупности с функцией распределения F(x,θ) извлекается выборка объемом п. По этой выборке методом моментов или методом максимального правдоподобия находится точечная оценка неизвестного параметра θ.

2. Составляется некоторая функция элементов выборки - статистика Y(), связанная с параметром θ, такая, что ее распределение не зависит от θ и других неизвестных параметров.

3. Задается доверительная вероятность (1-α).

4. Зная распределение статистики Y, определяют два числа у₁ и y₂, удовлетворяющих условию Р(y₁<Y<y₂)=1-α.

5. Границы доверительного интервала для параметра θ определяются из решения относительно θ неравенства y₁<Y()<y₂.

Используем указанную схему для нахождения доверительных интервалов параметров m и σ нормального закона распределения.

Доверительный интервал для математического ожидания случайной величины X, распределенной по закону N(m, σ) при известном σ

Пусть случайная величина X имеет нормальное распределение N(m,σ). Требуется найти доверительный интервал для параметра m по результатам выборки x₁,x₂,...,x_n объемом п при условии, что дисперсия σ² известна, а доверительная вероятность равна 1-α.

В качестве оценки параметра m возьмем выборочное среднее . Рассмотрим выборку x₁,x₂,...,x_n как реализацию случайного вектора (X₁,..., Х_п) с зависимыми компонентами X_i, распределенными по нормальному закону N(m,σ). Тогда случайная величина , также распределена по нормальному закону с тем же математическим ожиданием и дисперсией D(X)=σ²/n. В качестве статистики Y рассмотрим стандартизованную случайную величину

,

имеющую стандартизированное нормальное распределение N(0,1), не зависящее от m и σ. Из определения квантиля порядка р распределения непрерывной случайной величины X имеем

или .

Отсюда

, и, так как , то

.

Таким образом, . Очевидно, что.

Согласно п.4 схемы, приведенной выше,

или

;

,

так что u_1-α/2 (квантиль стандартизованного нормального распределения) определяется как решение уравнения

.

Зная величину u_1-α/2 получаем доверительный интервал для математического ожидания

(3)

Для u_1-α/2 имеется таблица

1-α	0,90	0,95	0,99	0,997	0,999
u1-α/2	1,64	1,96	2,58	3,00	3,37

Из анализа полученных соотношений можно сделать следующие выводы.

1. Увеличение объема п выборки приводит к уменьшению длины доверительного интервала.

2. Увеличение доверительной вероятности (1-α) приводит к увеличению длины доверительного интервала, то есть к уменьшению точности δ.

3. Если задать точность δ, то есть предельную погрешность интервальной оценки, по формуле (2) и доверительную вероятность 1-α, то из соотношения можно найти минимальный объем выборки, который обеспечивает заданную точность:

.

Доверительный интервал для математическим ожиданием случайной величины X, распределенной по нормальному закону при неизвестном σ

На практике более естественной является ситуация, когда оба параметра т и σ нормального распределения неизвестны. В этом случае для построения доверительного интервала используется статистика

,

где X - выборочное среднее, а .

В полных курсах математической статистики доказывается, что распределение случайной величины Т_n-1, не зависит от параметров m и σ нормального распределения, соответствующего выборке, и является распределением Стьюдента с п-1 степенями свободы.

Плотность вероятности распределения Стьюдента с п-1 степенями свободы имеет вид

, М(Х)=0, .

Определим величину как решение уравнения

или вытекающего из него уравнения

учитывая при этом Г(1/2)=, Г(п+1)=пГ(п)=n!

Для доверительного интервала получаем выражение

. (4)

Для нахождения кватнилей распределения Стьюдента t_p имеется таблица. Приведем ее для двух значений доверительной вероятности.

1-α n	5	10	20	30	∞
0,95	2,571	2,228	2,086	2,042	1,960
0,99	4,032	3,169	2,845	2,750	2,576

Отметим, что средняя длина доверительного интервала (4) больше средней длины доверительного интервала (3). В остальном доверительный интервал (4) обладает теми же свойствами, что и интервал (3) для математического ожидания при известном σ.

Доверительный интервал для σ² случайной величины X, распределенной по нормальному закону

Пусть случайная величина X имеет нормальное распределение N(m,σ), причем m и σ неизвестны. Требуется найти доверительный интервал для параметра σ² по выборке х₁х₂,..,x_n объемом п с доверительной вероятностью 1-α. В качестве точечных оценок для m и σ² возьмем несмещенные оценки

для m и для σ².

Для построения доверительного интервала для σ² используем следующую статистику:

.

Ранее было показано, что она имеет распределение χ_n-квадрат с п-1 степенью свободы.

.

Тогда

,

или

.

Получаем доверительный интервал

.

Для квантилей имеются таблицы.

Замечание. Так как при п→∞ распределение приближается к нормальному, то при достаточно большом объеме выборки (п≥50) доверительный интервал можно найти по формуле

,

где u_1-α/2 квантиль стандартизованного нормального распределения, соответствующая доверительной вероятности 1-α.

Рекомендуемая литература

1. Высшая математика для экономистов: Учебник для вузов / Под редакцией Н.Ш. Крамера.- М.: Банки и биржи, ЮНИТИ, 1998.

2. Красс М.С. Математика для экономических специальностей: Учебник. – М.: Инфа-М, 1998.

3. Гмурман В.Е. Теория вероятностей и математическая статистика. – М.: Наука, 2003.

4. Гмурман В.Е. Руководство к решению задач по теории вероятностей и математической статистики. – М.: Высшая школа, 2003.

Лекция 17

СТАТИСТИЧЕСКАЯ ПРОВЕРКА ГИПОТЕЗ. КРИТЕРИИ ЗНАЧИМОСТИ, ОСНОВАННОЙ НА ИНТЕРВАЛЬНЫХ ОЦЕНКАХ. КРИТЕРИЙ И ЕГО СВЯЗЬ В РАСПРЕДЕЛЕНИИ ². ОПРЕДЕЛЕНИЕ ПАРАМЕТРОВ ЛИНЕЙНОЙ РЕГРЕССИИ МЕТОДОМ НАИМЕНЬШИХ КВАДРАТОВ.

Статистическая гипотеза. Общий метод построения критериев. Ошибки первого и второго рода

Во многих случаях функция распределения генеральной совокупности бывает заранее неизвестна, и возникает необходимость ее определения по эмпирическим данным. Нередко из некоторых дополнительных соображений могут быть сделаны предположения (гипотезы) о виде функции распределения.

Пусть Х – наблюдаемая дискретная или непрерывная случайная величина.

Статистической гипотезой (или просто гипотезой) Н называется любое предположение относительно параметров или вида распределения случайной величины Х.

Статистическая гипотеза Н называется простой, если она однозначно определяет распределение случайной величины Х, в противном случае гипотеза Н называется сложной.

Примеры. Простой будет гипотеза Н: F_χ(x)=F(x), где F(x) – фиксированная функция распределения, например, N(0,1). Гипотеза

,

где F(x) – фиксированная функция распределения, является сложной.

Гипотеза называется параметрической, если вид распределения случайной величины Х и по выборке наблюдений необходимо проверить предположение о значении параметров этого распределения.

Наряду с выдвинутой гипотезой обычно рассматривают одну или несколько альтернативных (конкурирующих) гипотез. Если выдвинутая гипотеза будет отвергнута, то ее место занимает альтернативная.

Основную (выдвинутую) гипотезу называют нулевой и обозначают через Н₀.

Альтернативную гипотезу обозначают через Н₁.

Выбор альтернативной гипотезы определяется конкретной формулировкой задачи.

Пример. В теории надежности для многих классов изделий установлен экспоненциальный закон отказов: если Х – время безотказной работы изделия, то

,

где Т – среднее время безотказной работы изделия. Допустим, что техническими условиями предусмотрено обеспечение безотказной работы с надежностью 1-α в течение времени Т₀.

или .

Тогда

.

Альтернативная гипотеза

.

Задача проверки статистических гипотез состоит в том, чтобы сформулировать такое правило, которое позволяло бы по результатам соответствующих наблюдений принять или отклонить выдвинутую гипотезу.

Правило, согласно которому проверяется гипотеза Н₀ принимается или отвергается, называется статистическим критерием или просто (критерием) К проверки гипотезы Н₀.

Разработка таких правил и их обоснование с точки зрения требований оптимальности и составляет предмет теории проверки статистических гипотез.

Рассмотрим общий метод построения критериев. Пусть о распределении случайной величины X, описывающей результат изучаемого эксперимента, сформулирована некоторая гипотеза Н₀. Так как решение принять или отклонить гипотезу Н принимается на основе выборки наблюдений, то, чтобы построить критерий проверки этой гипотезы, в большинстве случаев поступают следующим образом.

Пытаются найти такую статистику Z=Z(X₁,Х₂,…,Х_п), характеризующую отклонение эмпирических данных от соответствующих (гипотеза Н₀) гипотетических значений, распределение которой в случае справедливости Н₀ можно было бы определить. Ее называют статистикой критерия К.

Проверка статистической гипотезы основывается на принципе, в соответствии с которым маловероятные события считаются невозможными, а события, имеющие большую вероятность (близкую к единице), считаются достоверными. Этот принцип может быть реализован следующим образом.

Предположим, что указанная выше статистика и ее распределение при гипотезе Н₀ найдены. Пусть V - множество значений статистики Z. Зафиксируем некоторую малую вероятность α и обозначим через такое подмножество V, что при условии истинности гипотезы Н₀ вероятность попадания статистики критерия в V_k, равна α, то еcть

.

Обозначим выборочное значение Z(x₁,х₂,...,x_n) статистики Z через Z_B. Тогда правило проверки гипотезы H₀ можно сформулировать следующим образом.

Гипотезу H₀ следует отклонить, если Z_BV_k. Гипотезу следует принять, если Z_BV\V_k.

Критерий, основанный на использовании заранее заданной вероятности α, именуемой уровнем значимости, называют критерием значимости.

Множество V_k всех значений статистики Z критерия, при которых принимается решение отклонить гипотезу H₀, называется критической областью. Область V\V_k называется областью принятия гипотезы Н₀.

Итак, согласно описанной методике, критерий определяется "размером" критической области в множестве значений статистики Z, а "размер" критической области определяется уровнем значимости α.

Для практики может быть рекомендована следующая схема проверки статистической гипотезы при помощи критерия значимости:

1. Сформулировать проверяемую (Н₀) и альтернативную (Н₁) гипотезы.

2. Назначить уровень значимости α.

3. Выбрать подходящую статистику Z критерия для проверки гипотезы Н₀.

4. Определить выборочное распределение статистики Z(X₁,X₂,...) при условии, что верна гипотеза H₀.

5. В зависимости от формулировки альтернативной гипотезы определить критическую область V_k одним из неравенств Z>Z_1-(α/2), Z<Z_α или совокупностью неравенств Z>Z_1-(α/2) и Z<Z_α , где Z_p – квантили порядка р распределения статистики Z при условии, что верна гипотеза Н₀.

6. Получить выборку наблюдений х₁,х₂,...,х_п и вычислить выборочное значение Z_B=Z(х₁,х₂,...,х_п) статистики критерия.

7. Принять статистическое решение: если Z_BV_k, то отклонить гипотезу H₀ как не согласующуюся c результатами наблюдений; если Z_BV\V_k, то принять гипотезу Н₀, т.е. считать, что гипотеза Н₀ не противоречит результатам наблюдений.

Замечание. Решение, принимаемое на основе того или иного критерия значимости для гипотезы Н₀, может быть ошибочным. Выборочное значение Z_b статистики критерия может попасть в критическую область не потому, что нулевая гипотеза ложна, а по некоторым другим причинам: малый объем выборки, имеются недостатки в методике проведения эксперимента и другие. В этом случае, опровергнув гипотезу, мы совершаем ошибку.

Ошибка, совершаемая при отклонении правильной гипотезы Н₀, называется ошибкой первого рода.

Очевидно, что вероятность ошибки первого рода равна вероятности попадания выборочной статистики критерия в критическую область при условии, что верна гипотеза Н₀, т. е. равна уровню значимости α:

.

Ошибкой второго рода называется ошибка, совершаемая в том случае, если гипотеза Н₀ принимается, но в действительности верна альтернативная гипотеза Н₁.

Вероятность ошибки второго рода в случае простой гипотезы Н₁ определяется по формуле

.

При заданной вероятности α ошибки первого рода вероятность β ошибки второго рода может быть уменьшена путем увеличения объема выборки. Если при этом вероятность ошибки второго рода не должна превышать заданного значения β, то минимальный объем выборки п можно найти, решив систему

Аналитически система решается только в простых случаях.

Статистическая проверка гипотезы о виде распределения генеральной совокупности. Критерий χ²

Пусть имеется выборка x₁,x₂,…,x_n наблюдений случайной величины X с неизвестной ФР F_χ(x), о которой выдвинута простая гипотеза Н₀: F_χ(x)=F(x), где F(x) - известная функция. Наиболее часто применимым критерием проверки этой гипотезы является критерий, введенный К.Пирсоном. Его можно использовать для любых распределений, в том числе и многомерных.

Чтобы воспользоваться этим критерием, выборочные данные предварительно группируют следующим образом. Разбивают множество значений случайной величины X на п непересекающихся множеств S_i с помощью (r-1) чисел

a₁<a₂<…<a_r-1:

Обозначим: p_i=P(α_i-1<X<α_i)=F(α_i)-F(α_i-1) - вероятность попадания X в интервал в случае, когда предложенная гипотеза справедлива. Очевидно, что. Пустьп_i, i=1,2,...,r - количество элементов выборки, попавших в интервал . Тогдаn_i/n есть относительная частота попадания величины X в интервал прип наблюдениях. Очевидно, что .

Для приведенного на рисунке разбиения р_i есть приращение гипотетической функции распределения на интервале S_i, а n_i/n - приращение эмпирической функции распределения F*(x) выборки на том же интервале S_i. В качестве статистики принимают следующую величину:

, (*)

являющуюся мерой отклонения эмпирической функции распределения от теоретической, а критическую область задают в виде .

Величина χ², определенная формулой (1), является случайной величиой , и нужно знать ее распределение, вычисленное в предположении, что принятая гипотеза верна. Точное распределение статистики χ² неудобно для вычисления критической границы Z_α при заданном уровне значимости α. Нo для больших объемов п-выборок статистика χ² имеет при гипотезе Н₀ простое предельное распределение, не зависящее от гипотезы (т.е. oт чисел р_i). Справедлива следующая теорема.

Теорема Пирсона. Какова бы ни была функция распределения F(x) случайной величины X, при п→∞ распределение величины χ² стремится к "хи-квадрат" распределению с (r-1) степенями свободы, то есть

при n→∞,

где k_r-1(t) - плотность распределения χ²(r-1).

На практике предельное распределение χ²(r-1) можно использовать c хорошим приближением уже при п≥50 и n_i≥5. При выполнении этих условий в соответствии с теоремой Пирсона критическую границу Z_α выбирают равной , т. е. квантили порядка (1-α) распределения χ²(r-1). Действительно, в этом случае критерий χ² имеет вид

.

Пусть задан уровень значимости α и выборка x₁,x₂,…x_n объемом n, причем выполняются условия п≥50, а частота n_i≥5, i=1,2,...,n. Тогда, если наблюдавшееся значение статистики χ²=Z(x₁,x₂,…x_n)=Z₀, определяемое формулой (*), удовлетворяет неравенству

,

то гипотезу Н₀ отвергают, в противном случае гипотеза Н₀ не противоречит результатам испытаний.

Замечание. С небольшими изменениями критерий χ² применяется и в том случав, когда функции распределения F(x, θ₁, θ₂,…, θ_k) зависят от неизвестных параметров и по выборке надо оценить эти параметры.

Сглаживание экспериментальных зависимостей. Метод наименьших квадратов

Пусть величины X и Y связаны функциональной зависимостью вида Y=φ(Х), причем функция φ нам не известна, и ее требуется определить по результатам наблюдений. Предположим, что имеется возможность экспериментально измерить значение величины Y при различных заданных значениях x_i величины X. Обозначая результат 1-го измерения через у, можно записать:

, (5)

где - случайная ошибка измерения с М()=0, то естьявляется значением случайной величины.

Если нанести на график точки (x_i,y_i) и соединить их отрезками прямой, то вид ломаной будет отличаться от кривой у=φ(х) из-за наличия случайных погрешностей при определении ее ординат.

Возникает вопрос: как обработать опытные данные, чтобы наилучшим образом определить зависимость Y от Х? Эта задача называется задачей о сглаживании экспериментальных зависимостей. При полном отсутствии информации о характере функции φ(х) невозможно получить достаточно удовлетворительное ее приближение. Рассмотрим случай, когда заранее известно, что функция φ(х) принадлежит к некоторому классу функций, зависящему от одного или нескольких параметров, то есть

φ(х)=φ(х, θ₁, θ₂,…, θ_k). (6)

В этом случае отыскание наилучшей функции φ(х) сводится к задаче определения соответствующих параметров θ₁, θ₂,…, θ_k по экспериментальным данным. Для определения оценок неизвестных параметров в практике чаще всего применяется метод наименьших квадратов.

Условимся говорить, что неизвестные параметры θ₁, θ₂,…, θ_k функции φ(х)=φ(х, θ₁, θ₂,…, θ_k), задающей зависимость Y=φ(х, θ₁, θ₂,…, θ_k) определены наилучшим образом в смысле метода наименьших квадратов, если минимальная величина

. (7)

Для нахождения точки минимума величины δ²(θ₁, θ₂,…, θ_k) в обычных аналитических условиях нужно приравнять нулю ее частные производные по θ₁, θ₂,…, θ_k. При этом получаем

, (8)

где 1≤j≤k, то есть систему k уравнений с k неизвестными, решая которую, определяем искомые оценки параметров θ₁, θ₂,…, θ_k.

Заметим, что система (8) содержит случайную величину y_i, поэтому ее решение также случайно. Величиныявляются оценками неизвестных параметров θ по результатам наблюдений.

Замечание. Рассмотренная задача отличается от рассмотренных ранее задач об оценке неизвестных параметров распределения, т.к. величины y₁,y₂,…,y_n хотя и предполагаются независимыми, имеют, вообще говоря, различные распределения.

В предположении, что величины у_i, имеют одинаковые распределения, метод наименьших квадратов может быть применен для оценки неизвестных параметров распределения.