1.13.5. Метод наибольшего правдоподобия

Метод предложен английским статистиком Р.Фишером в 1912 г.

Обозначим вероятность того, что в результате испытания величина Х примет значение , через (для дискретной величины).

Функцией правдоподобия дискретной случайной величины называют функцию аргумента :

.

В качестве точечной оценки параметра  принимают такое его значение *, при котором функция правдоподобия достигает максимума. Оценку * называют оценкой наибольшего правдоподобия.

Обычно вместо L используют логарифм функции правдоподобия , поскольку обе функции достигают максимума при одном и том же значении.

Оценка  находится из условия .

Оценки метода наибольшего правдоподобия (МНП) не всегда совпадают с оценками метода моментов и часто требуют сложных вычислений.

Пример 1. Найти для показательного закона оценку параметра по МНП.

Видоизменим несколько МНП [24].

В качестве логарифмической функции правдоподобия используем величину .

Для этого вначале логарифмируем плотность р(t):

.

Далее находим математическое ожидание

.

Берем первую производную по α

.

Приравнивая полученное выражение нулю, находим =1/М(t).

Теперь осталось приравнять М(t) среднему выборочному и за­пи­сать оценку параметра в виде: .

Пример 2. Найдем по МНП оценки параметров закона Вейбулла:

Прологарифмируем плотность p(t)

и рассмотрим математическое ожидание величины lnp(t), т.е. логарифмическую функцию правдоподобия

Найдем частные производные по параметрам α, β и приравняем их нулю:

Получили систему двух уравнений правдоподобия с двумя неизвестными α, β. Однако найти оценки этих параметров из системы уравнений очень сложно. Поищем более простое решение.

Выразим во втором уравнении произведение через функцию распределения

С учетом последнего равенства второе уравнение примет вид

откуда имеем

Тогда из первого уравнения значение параметра α равно

В эти формулы вместо математических ожиданий соответствующих случайных величин следует подставить их оценки.

2. Вероятностная модель текста и ее исследование

2.1. Понятие математического ожидания случайной функции, нового события и кривой роста новых событий

Одним из наиболее эффективных методов изучения статистических закономерностей такого сложного объекта, каким является текст, написанный человеком, является метод построения моделей. Текст в первом приближении можно рассматривать как случайную последовательность словоупотреблений. В этой весьма упрощённой модели текста не учтены грамматические и семантические связи, существующие между словами. Однако, как показывают исследования [31, с. 57–58], в реальном тексте эти связи проявляются довольно слабо и действуют на весьма близком расстоянии. Следовательно, они не могут оказать существенного влияния на характер некоторых количественных закономерностей текста.

После выявления характера этих закономерностей (на основе исследования упрощённой модели текста) и опытной проверки полученных результатов можно будет построить более точную модель, учитывающую грамматические и семантические связи между словами реального текста, и, более того, найти для них количественную меру.

Итак, в качестве вероятностной модели текста будем рассматривать один класс случайных функций, описывающих статистическую зависимость между числом произведенных испытаний и числом наступивших при этом разных событий. Чтобы составить более полное представление об этом классе случайных функций, рассмотрим следующую схему испытаний.

Пусть имеется n несовместных событий, составляющих полную группу, причём, вероятности каждого из n событий заданы и равны p₁, p₂,…, p_n. Пусть далее производятся независимые испытания, в каждом из которых может наступить любое из n разных событий. Если произвести достаточно большое число испытаний, то отдельные события могут наступить более одного раза. Условимся считать новым любое из n разных событий при первом его появлении от начала испытаний. Тогда число наступивших разных событий будет равно числу новых событий.

Результаты испытаний можно представить на графике. Будем откладывать по оси абсцисс число произведенных испытаний Х, а по оси ординат – число наступивших при этом разных (новых) событий Y. Построенные таким образом точки для наглядности можно соединить отрезками прямых. В результате получим ломаную, которая будет представлять собой реализацию случайной функции Y(X).

Если же каждому числу испытаний Х поставить в соответствие неслучайную величину – математическое ожидание числа наступивших разных событий M[Y], которое является функцией вероятностей p₁, p₂,…, p_n и числа испытаний Х, то таким же способом можно построить график математического ожидания случайной функции M[Y(X)], который также будет представлять собой ломаную.

Эту ломаную можно аппроксимировать непрерывной плавной кривой y=f(x), которую будем называть кривой роста новых событий.

Таким образом, кривая роста новых событий – это непрерывная кривая y=f(x), аппроксимирующая математическое ожидание случайной функции M[Y(X)].

Графическим изображением математического ожидания случайной функции является некоторая средняя линия, около которой располагаются возможные реализации случайной функции.

В качестве примеров случайных функций, принадлежащих рассматриваемому классу, можно привести статистические зависимости между следующими величинами:

– объемом выборки в словоупотреблениях и количеством разных слов (словоформ или лексем);

– количеством книговыдач и количеством разных наименований выданных книг;

– количеством пойманных особей мотыльков и количеством разных их видов (из числа попавших в ловушку);

– количеством отказов элементов некоторой системы (отказавший элемент сразу заменяется исправным) и количеством разных отказавших элементов;

– количеством цифр, взятых подряд из таблицы случайных чисел, и количеством разных отобранных цифр;

– количеством информационных запросов (с учетом их повторяемости) и количеством разных запросов;

– количеством поданных заявок на изобретения и количеством выданных авторских свидетельств и т.д.

Из приведенных примеров видно, что такого рода зависимости имеют место не только в математической лингвистике, но и в информатике, библиотечном деле, биологии, технике, математической статистике и т.д.

Отметим, что в опыте можно наблюдать лишь некоторую реализацию (траекторию) случайной функции. Ниже будут рассматриваться математическое ожидание случайной функции (во взаимосвязи с законом распределения вероятностей n разных событий, составляющих полную группу) и аппроксимирующая его кривая роста новых событий, которые на первом этапе исследований принимаются в качестве вероятностных моделей текста.