Розділ 15. Метод моментів та метод максимальної правдоподібності

Нехай =(₁, ₂, …, _n) — вибірка з генеральної сукупності з розподілом де =(₁, ₂, …, _s), Припустимо, що у випадковій величині , що спостерігається, є перші s моментів При цьому вони є функціями від невідомих параметрів : Нехай — реалізація вибірки . Значення оцінок параметрів за методом моментів знаходиться в результаті розв’язку системи рівнянь:

Оцінки, знайдені методом моментів, як правило, спроможні, але часто неефективні.

Нехай спостерігається випадковий вектор =(₁, ₂, …, _n) з щільністю і Оцінкою максимальної правдоподібності називається така точка множини , в якій функція правдоподібності при заданому X набуває максимального значення. Тобто

У багатьох випадках знаходять причому максимум досягається в тих же точках, що і

Якщо для кожного X з вибіркового простору Rⁿ максимум досягається у внутрішній точці і функція диференційована за , то оцінка при заданій реалізації вектора  задовольняє систему рівнянь:

або

Останні рівняння називаються рівняннями правдоподібності.

Якщо для параметра  існує достатня статистика T(X), то розв’язок рівнянь правдоподібності є функцією від достатньої статистики.

Нехай  — скалярний параметр. Якщо для параметра  існує ефективна незміщена оцінка, то вона збігається з оцінкою максимальної правдоподібності.

Приклади розв’язання задач

Задача 1. Нехай ₁,₂,…,_n — вибірка з генеральної сукупності з щільністю

Знайти методом моментів оцінку параметра . Чи буде ця оцінка незміщеною та спроможною?

Розв’язок. Спочатку підрахуємо:

Тоді і оцінкою параметра  буде Таким чином, є незміщеною і спроможною оцінкою (закон великих чисел).

Задача 2. Задана щільність рівномірного розподілу

Знайти методом моментів оцінку параметра .

Розв’язок. Математичне сподівання і не залежить від . Підрахуємо Отже, рівняння має вигляд і оцінка параметра  буде

Задача 3. Знайти оцінку максимальної правдоподібності для параметрів нормального розподілу

Розв’язок.

Рівняння правдоподібності мають вигляд:

Розв’язуючи ці рівняння відносно і дістанемо:

Знайдемо тепер другі частинні похідні:

оскільки

Підрахуємо визначник у точці

Тобто точка з координатами максимізує значення функції , і для параметрів оцінкою максимальної правдоподібності буде .

Задача 4. Знайти оцінку максимальної правдоподібності для показникового розподілу з щільністю .

Розв’язок. Функція правдоподібності має вигляд а рівняння правдоподібності

Отже, Оскільки то — точка максимуму функції Таким чином, оцінкою максимальної правдоподібності параметра буде Ця оцінка є зміщеною і неефективною. Зауважимо, що коли показниковий розподіл задається у вигляді

то оцінка максимальної правдоподібності буде незміщеною і ефективною.

Задачі

15.1. Використовуючи метод моментів, знайти за вибіркою _, ₂, …, _n, де , оцінку параметра Чи буде оцінка незміщеною, спроможною? Знайти також оцінку максимальної правдоподібності параметра

15.2. Нехай ₁,₂,…,_n — вибірка з генеральної сукупності з рівномірного на відрізку pозподілу. За допомогою методу моментів знайти оцінку параметра Чи буде ця оцінка незміщеною і спроможною?

15.3. Побудувати за допомогою методу моментів спроможні оцінки параметрів і за результатами незалежних спостережень випадкових величин _, ₂, …, _n, кожна з яких має нормальний розподіл або з імовірністю і відповідно.

15.4. Нехай _, ₂, …, _n — вибірка з генеральної сукупності з щільністю Знайти функцію оцінку параметра методом моментів. Чи буде оцінка незміщеною та спроможною? Чи збігається вона з оцінкою максимальної правдоподібності?

15.5. Методом максимальної правдоподібності за вибіркою ₁, ₂, …,_n знайти оцінку невідомого параметра  розподілу Паскаля Яким властивостям відповідає ця оцінка?

15.6. Нехай _, ₂, …, _n — вибірка з генеральної сукупності з щільністю Знайти оцінку невідомих параметрів і за допомогою методу моментів. Нехай при _, ₂, …, _n набули таких значень: 0,1; 0,4; 0,5; 0,7; 0,6; 0,1; 0,05; 0,8; 0,15; 0,1. Обчислити значення оцінок.

15.7. Методом максимальної правдоподібності за вибіркою =(_, ₂, …, _n) з генеральної сукупності з розподілом знайти оцінку параметра

15.8. Методом максимальної правдоподібності знайти оцінку параметра біноміального розподілу (див. задачу 14.3). Яким властивостям відповідає ця оцінка? Чи буде вона збігатися з оцінкою методу моментів?

15.9. Методом максимальної правдоподібності знайти оцінку параметрів логнормального розподілу (див. задачу 14.9).

15.10. Показати, що оцінкою максимальної правдоподібності для рівномірного на розподілу служить

15.11. Методом максимальної правдоподібності знайти оцінку параметра розподілу Чи буде ця оцінка незміщеною та ефективною?

15.12. Нехай ₁, ₂,…, _n — вибірка з генеральної сукупності з щільністю Знайти оцінку максимальної правдоподібності для параметра . Чи буде вона спроможною?