Пиотровский

Задачу определения доверительного интервала неизвестной теоретической функции F (я) можно решать, исходя из интегральной предельной теоремы Муавра—Лапласа (см. гл. 6, § 3, п. 4).

Оценивая теоретический закон F (Х) с помощью эмпирической функции Fn (х), мы будем считать, что значение FN (л) сходится по вероятности к F (я), т. е.

Тогда отношение между накопленной частостью и накопленной вероятностью при заданном х будет таким же, как и между относительной частотой и вероятностью в схеме Бернулли с N независимыми испытаниями. Следовательно, в качестве меры расхождения FN(х) — F(x) накопленной частости /* от вероятности р* можно взять среднее квадратическое отклонение

<*(/*)= VP*{L—P*)!N.

Опираясь на указанную теорему, можно утверждать, что

Иными словами, вероятность того, что абсолютная величина отклонения эмпирического распределения накопленных частот от теоретического интегрального закона будет меньше величины

г Кр*(1— p*)/N = го (/*), при достаточно большом N приближается к 2Ф (г):

lim Р {| /*—р* | < га (/*)} = 2Ф (г).

N -+оо

Теперь можно утверждать с вероятностью Р = 2Ф(2р), сколь угодно близкой к единице, что относительно каждой точки из после-

на стр. 369 величину Zp, можно при известных р" = F (х) и N найти

(пунктирные линии на рис. 61). Если график эмпирической функции FN (Х) (сплошная линия на рис. 61) всюду находится в пределах доверительной полосы, то вероятность события, состоящего в том, что для любого х отклонение | /* — р*\ меньше величины г^о (/*), равна Р.

Положение доверительной полосы в значительной степени зависит от вида функции F (х). Поэтому если FN (х) оказывается за

290

пределами полосы, то это может указывать на несоответствие теоретического и эмпирического распределений. В этом случае следует искать другую функцию F (Х), соответствующую эмпирической функции FN (*).

2. Построение доверительного интервала с помощью функции Колмогорова. Было бы неверным утверждать, исходя из всего сказанного, что выполнение неравенства

г - р*I < (Г) (8.48) гарантируется с той же большой вероятностью Р о д н о в р е м е н -

почти наверняка будет больше zpa(/*).

Одновременно возникает вопрос: что представляет собой функция распределения величины DN И какова ее доверительная оценка? Ответ на этот вопрос дает предельная теорема Колмогорова, которая формулируется так: если функция F (х) непрерывна, то вакон распределения

Вначения функции Колмогорова К (ty приведены в табл. VII на стр. 369, 370.

При больших N выражение (8.49) можно переписать следующим образом:

где %fV~N = е можно считать величиной погрешности оценки закона F (лс), К = *> — надежностью, а 1 — К (Ц = Ч — уровнем значимости (табл. 8.2).

Если обратиться к геометрической интерпретации, то теорема Колмогорова утверждает с вероятностью К что график неизвестной теоретической функции F (х) целиком находится внутри полосы Ск ft), ограниченной кривыми /* = FN (xt) — е и

пользование малых интервалов группировки, но получаемая оценка в этом случае действует с некоторым приближением.

Построение доверительной полосы для неизвестного теоретического закона распределения F (я) с помощью функции Колмогорова осуществляется по следующей схеме.

1. Вычисляют значения эмпирической функции FN(x), представляющие собой накопленные частости

292

вычисляют границы доверительного интервала закона распреде-

ляют границы доверительной полосы (если имела место интервальная группировка данных, то графики /7 и /7 носят ступенчатый характер). Полученная полоса с вероятностью Р покрывает график

теоретической функции F (х).

Теперь, пользуясь данными о распределении длин китайских слогов (см. гл. 7, § 2, п. 2), дадим оценку неизвестного теоретического интегрального закона этого распределения (табл. 8.3).

Воспользуемся схемой построения доверительной полосы.

293

1. Приняв в качестве величин xt середины интервальных значений длин китайских слогов (ср. табл. 7.8 на стр. 226), запишем в столбце (2) табл. 8.3 количество Ft слогов, длина которых соответствует данному интервалу, а в столбце (3) — абсолютные накопленные частоты F* для каждого xt. Пользуясь равенством (8.50) и учитывая, что общее число измеренных слогов N равно 150, в столбце

(4) получим величины /*, выступающие в качестве значений эмпирической функции FN (Х).

изображение доверительной полосы (рис. 63).

§ 6. Определение достаточности объема выборки

Ценность всякого лингвистического исследования измеряется степенью достоверности его выводов. Само собой разумеется, что лучшим средством оценки этой достоверности является проверка полученных выводов на практике. Но такая проверка может быть осуществлена в течение длительного времени после завершения самого исследования. Между тем лингвисту нужны приемы, с помощью которых можно было бы уже при постановке эксперимента прогнозировать достоверность получаемых результатов. Наиболее простым приемом такого прогнозирования является определение того минимального объема выборки, при котором получается заслуживающая доверия лингво-статистическая информация. Необходимый объем выборки можно определить, опираясь на оценку одного из параметров распределения, которое должно быть близким к нормальному, а также исходя из заранее установленной степени точности или относительной ошибки и надежности наших суждений.

Рассмотрим несколько вариантов определения достаточного объема лингвистической выборки.

294

1. Определение минимально достаточного объема выборки в грамматических и фонетико-фонологических исследованиях. Учитывая соотношение (6.129), можно утверждать, что величина максимально допустимой абсолютной ошибки равна

ранее определена надежность Р. Однако это не дает нам возможности вычислить величину выборки N, поскольку неизвестна вероятность р той лингвистической единицы, относительно которой определяется достаточность объема выборки. Чтобы оценить величину р, пользуются той частостью / лингвистической единицы, которая либо получена ранее в аналогичных условиях, либо извлечена из небольшого предварительного выборочного наблюдения. Заменяя р в выражении (8.54) на ее оценку Д получаем

довании употребительности грамматических, фонетических и фонологических единиц, которые обычно дают нормальное распределение и вероятность которых не очень мала.

Например, по данным предварительного эксперимента относительная частота употребления мягких согласных фонем в украин-

статочный объем выборки N для получения достоверных сведений об употребительности мягких согласных фонем в украинских драматур-

Если вместо е была бы задана величина б, которая в данном случае равна 0,027, то для определения N следует воспользоваться

295

равенством (8.68); в конечном итоге мы получаем аналогичный результат:

N = 1,962 • 0,9172/(0,027® • 0,0828) =» 58374 яе 60 тыс. фонем.

2. Определение минимально достаточного объема выборки в лексикологических исследованиях. В ходе лексикологических исследований минимальный объем выборки вычисляется с помощью приближенных равенств

которые легко выводятся из выражений (8.56) и (8.58), если принять во внимание, что частости / лексических единиц обычно очень малы и, следовательно, разности 1 — / близки к единице.

Рассмотрим в связи с этим следующую лингвистическую задачу. Относительная частота словосочетания split cylinder 'разрезной цилиндр' в английских текстах по строительным материалам составляет 0,000175 [33, с. 410]. Необходимо определить минимально

скольку f очень мало, для расчета величины N можно использовать формулу (8.60):

N = 1,967(0,ЗЗ2 • 0,000175) » 200000.

Таким образом, для получения достоверных результатов при статистическом исследовании лексических единиц, обладающих частостью не менее 0,000175, при заданной 33%-ной относительной ошибке и 95%-ной надежности нужна выборка объемом не менее 200 тыс. словоупотреблений.

В столбцах (4) — (6) табл. 8.4 показаны минимальные объемы выборки, необходимые для того, чтобы получить с надежностью р и относительной ошибкой б (соответственно с абсолютной ошибкой е) достоверные данные об употребительности лингвистических единиц, имеющих частоту выше заданного f .

Минимальные выборки, необходимые для получения достоверных данных об употребительности лингвистических единиц, имеющих частоту выше заданного Д если / достаточно мало, показаны

встолбцах (7) — (9) табл. 8.4.

3.Определение достаточности объема выборки с учетом рассеяния лингвистического признака. В предыдущих разделах объем выборки мы определяли, исходя из оценки только одного параметра распределения —вероятности р. Однако в лингвистических и инже- нерно-лингвистических исследованиях нередко встречаются задачи, которые требуют, чтобы при определении минимального объема выборки были учтены средняя частота F, оценивающая матема-

296

297

Построение двуязычных и одноязычных машинных словарей связано с разного вида сжатием лексической информации. При этом важно иметь очень точные сведения о средней длине словарного глоза или словоформы. Эти сведения можно получить, обследуя не тексты, а одноязычные или двуязычные словари разного объема.

Так, например, предварительное обследование русского технического словника показало, что средняя длина словоформы равна здесь 8,68 буквы при достаточно высоком рассеянии численных значений ее длины: стандарт здесь составляет 3,12 буквы. Нужно определить минимально необходимый объем словаря L, из которого можно получить при б = 0,01 и р = 0,95 достоверные данные о средней длине словоформы.

Здесь F = 8,68, s = 3,12, б = 0,01, р = 0,95 (гр = 1,96). Подставляя эти данные в формулу (8.61), получаем

L= l,962>3,122/(8,682-0,012) = 4970 словоформ.

Вработе [7, с. 184] показано, что в тех случаях, когда дисперсия

D(XJ = о2 = Np( 1 — р) больше или равна 9, случайная величина распределена нормально. Отсюда можно утверждать, что величину минимально необходимой выборки для определенного вначения р, оцениваемого частостью /, можно установить из неравенства

Из столбца (10) табл. 8.4 видно, что формула (8.62) указывает объемы выборок, в несколько раз меньшие чем минимально необходимые объемы выборок, рассчитанные по формулам (8.56) — (8.60). Однако эта оценка выборки не гарантирует какой-либо надежности р и не фиксирует какую-либо определенную величину относительной ошибки б.

4. Оценка точности результатов лингво-статистических исследований. В лингвистических исследованиях нередко приходится оценивать точность получаемых статистических результатов. Для

299

оценки точности можно использовать величины относительной ошиб- ки б и погрешности (абсолютной ошибки) е, которые можно найти по приведенным выше формулам. При этом нужно псинить, что

рения, тем меньше должны быть величины относительной ошибки или погрешности.

Степень точности лингво-статистических измерений связана также с объемом выборки и надежностью.

Например, при исследовании устного украинского драматургического текста длиной в 60 тыс. фонем обнаружено, что относительная частота мягких согласных фонем равна 0,0828. Необходимо определить абсолютную ошибку е и относительную ошибку б

ношению к объему выборки. Чем больше объем лингво-статисти- ческих наблюдений, тем меньше погрешность и относительная ошибка и тем выше точность наших лингво-статистических результатов. В только что рассмотренном примере получена довольно высокая точность наблюдений (всего 2,7% относительной ошибки). Однако эта точность была оплачена довольно дорогой ценой: пришлось просчитать текст длиной в 60 тыс. фонемоупотреблений (т. е. около 30 страниц среднего объема). Можно было бы при желании уменьшить относительную ошибку в 10 раз, доведя ее до 0,27%, но тогда выборку пришлось бы увеличить в 100 раз, просчитав 2400 страниц фонетической записи украинского текста. В связи с этим возникает вопрос: каков же разумный предел повышения точности лингво-статистических измерений?

Выбор уровня точности, так же как и выбор надежности наших суждений, зависит от теоретических и практических приложений той дисциплины, которая использует описываемые статистические приемы. Если для авиационной и ракетной техники относительная ошибка измерения в 2,7% может рассматриваться как предельная, то для лингвистических исследований такая точность оказывается излишней и приводит к неразумному увеличению объема выборки и, таким образом, к неоправданному расходованию сил исследователя на механическую нетворческую работу. В настоящее время

299