Пиотровский

В случае нормального распределения приходится учитывать уже т р и связи: связь, образующуюся при суммировании наблюдаемых частот, и связи, содержащиеся в величинах х и s, соответ-

Однако если при сопоставлении нормального распределения с выборочным величины х и s оказываются уже известными до опыта, то тогда должна быть учтена всего лишь одна связь, образующаяся при суммировании наблюдаемых частот. В связи с этим здесь число степеней свободы v = N — 1.

где N — число наблюдений (сведений), а I — число линейных связей, налагающихся на эти наблюдения при данной статистической процедуре.

От числа степеней свободы зависит вид кривых %2 распределения. Как видно из рис. 59, эти кривые асимметричны, причем степень асимметрии уменьшается с увеличением числа степеней свободы.

LS0

Распределение-s* подробно описано в работе [61, с. 139— 1441. Отметим лишь, что оно имеет параметры

М (s2) = a2, D (?) = 2а4/v.

Поскольку при v оо распределение х2 асимптотически приближается к нормальному, при этих условиях распределение s2 также должно приближаться к нормальному распределению.

Переходя к определению доверительного интервала для аа и а, перепишем равенство (8.21) в виде

они могут быть сдвинуты по оси абсцисс (рис. 60) влево или вправо

При этом условии надежность наших рассуждений остается равной р. Действительно,

Р (Xf < vs2/ a2 < %l) = 1 - Р (X2 < X I ) - Р (X2 ^ XI) =

281

мы получаем с надежностью р доверительный интервал для дисперсии а2, имеющий нижнюю границу

и столбцов. Подставив эти значения в формулы (8.25) — (8.28),

в украинской драме и поэзии с использованием интервальной оценки.

Решая вопрос о существенности статистических расхождений между украинской драмой и прозой [см. столбец (9) табл. 8.1 на стр. 275], мы пользовались точечной оценкой среднего квадратического отклонения. Как уже говорилось, эта оценка не дает сведений о том, как далеко отстоит от наблюдаемого стандарта s или s среднее квадратическое а. Поэтому в тех случаях, когда сопоставляемые лингвистические признаки дают близкие средние частоты F = х, как это имеет место при сравнении употребительности глаголов в украинской драме и прозе, использование точечных оценок а может привести к ошибочным лингвистическим выводам. В связи с этим снова обратимся к вычислению доверительного интервала для средних частот глагола в украинских жанрах украинской прозы, пользуясь

282

Таким образом, нижняя и верхняя границы доверительного

Из табл. 8.1 и рис. 58 видно, что хотя при точечной оценке а доверительный интервал употребительности глагола в поэзии не накладывается на доверительный интервал глагола в драме, верхняя граница первого интервала очень близко подходит к нижней границе второго.

Теперь посмотрим, сохраняется ли этот разрыв между доверительными интервалами при использовании интервальной оценки а. Для этого определим нижнюю границу р,* доверительного интервала F — х глагола в драме и верхнюю границу аналогичного интервала в поэзии. Само собой разумеется, 4TQ и в том, и в другом случае следует пользоваться верхней границей интервальной оценки среднего квадратического о*в. Тогда для драматических текстов получаем

Цн = X — Zptr; = 90,5 — 1,96 • 2,43 = 85,73,

адля поэзии соответственно имеем

р; = 82,1 + 1,96 • 1,86 = 85,71.

Полученные результаты показывают, что нижняя часть доверительного интервала F = х глаголов в украинской драме по существу соприкасается с верхней частью соответствующего доверительного интервала в поэзии. Поэтому благоразумнее воздержаться от сделанного с надежностью в 95% вывода § 2, п. 4 о том, что частота глаголов может рассматриваться в качестве статистикостилистического параметра, надежно отграничивающего язык украинской драмы от языка поэзии.

§ 4. Доверительные интервалы для вероятности качественного лингвистического признака

В лингвистической практике постоянно приходится применять интервальную оценку вероятности отдельных единиц — фонем, графем, слогов, морфем, словоформ и т. д. При осуществлении этой оценки интересующая нас лингвистическая единица, например глагольная словоформа, рассматривается в виде качественного альтернативного признака А. Все остальные лингвистические единицы (в нашем случае — все неглагольные словоформы) квалифицируются здесь как качественный признак А, т. е. не А.

283

В гл. 6 (см. § 1, п. 3) было показано, что вероятность р альтернативной величины А имеет биномиальное распределение. Однако определение интервальной оценки р при биномиальном распределении этой вероятности связано с громоздкими расчетами, опирающимися на довольно сложный математический аппарат. Чтобы обойти эти затруднения, пользуются более простыми приемами определения интервальной оценки р.

1. Интервальная оценка вероятности р с помощью нормального распределения. Пусть вероятность р альтернативного лингвистического признака А не слишком близка к нулю и к единице, а число наблюдений N достаточно велико (такая ситуация имеет обычно место при статистических исследованиях в области грамматики, фонетики и фонологии). Вероятность р неизвестна, и ее нужно оценить через получаемую в опыте частость / FIN.

В гл. 6 (см. § 4) было показано, что распределение величины f близко к нормальному Теоретически можно предполагать, что па-

(т. е. объема выборки) предельным распределением нормированной частости

где

o=Vp(l-p)/N. (8.31)

Заменив в (8.31) вероятность р на полученное из опыта значение частости / и следуя рассуждениям п. 2, § 2, приходим к доверительному интервалу вероятности, который имеет вид

284

где величина е указывает на погрешность при определении доверительного интервала дляр:

Нужно с надежностью в 95% определить доверительные границы вероятности появления во взятом тексте глагольного словоупотребления.

чем меньше объем выборки. Более точную интервальную оценку

Затем обе части неравенства возведем в квадрат и перенесем все его члены в левую часть:

(8.37)

Приравняв левую часть неравенства нулю и решая квадратное уравнение относительно р, получаем

285

Используем только что описанную методику для вычисления более точных интервальных оценок вероятности появления глагольных словоупотреблений в молдавских публицистических тек-

стах.

Подставляя числовые значения в формулы (8.38) и (8.39), имеем

Следовательно,

0,1548 < р < 0,1580.

Нетрудно заметить, что этот доверительный интервал несколько шире интервала, полученного по приближенной оценке. Это происходит потому, что улучшенная оценка дает меньшую погрешность по сравнению с приближенной. Расхождение между обеими оценками становится особенно заметным при малых выборках лингвистических единиц.

2. Интервальная оценка вероятности р для малых выборок. При малых N приближенные оценки вероятности р дают заметные ошибки, связанные с заменой неизвестного р опытным /, а также с переходом от дискретного биномиального к непрерывному нормальному распределению. Чтобы уменьшить эти ошибки, используются различные поправочные пригмы.

Один из приемов со:тоит в том, что в левую и правую части двойного неравенства (8.32) вводят поправочный член 1/(2 N), в связи с чем доверительный интервал р записывается следующим образом:

f - l l ( 2 N ) - z P V f (1 -/)/А/ < р < / + 1/(2.V) + z P V f ( 1 - f ) / N .

(8.40)

Используем указанный прием для решения следующей лингвистической задачи. Из русского прозаического текста взята выборка в 50 словоупотреблений, в которой обнаружено 20 именных форм. Необходимо определить доверительные границы вероятности р при надежности в 95%.

Здесь N = 50, f = 0,4, р = 0,95 и zp = 1,96. Подставив эти величины в формулу (8.40), получим

р*и = 0,4 — 0,01 — 1,961/0,4 (1-0,4)/50 = 0,2442 « 0 , 2 4 , pi = 0,4 + 0,01 + 1,96 У OA (1 — 0,4)/50 = 0,5572 ж 0,56.

Другой прием заключается в том, что величина г^ в формуле

286

Используем этот прием для определения доверительного интервала вероятности именных форм в только что рассмотренном примере.

Здесь f = 0,4, р = 0,95, v = 20 — 1 = 19, /o,95;i9 = 2,09. Подставив эти значения в формулы (8.42) и (8.43), получим для ниж-

ней границы

pi = 0,40 — 2,09 /0,4(1 — 0,4)/49 = 0,40 — 0,1463 = 0,2537 «0,25,

а для верхней границы р'в = 0,40 + 0,1463 = 0,5463 да 0,55.

Легко заметить, что оба приема дают практически одни и те же оценки границ доверительного интервала.

Из сказанного не следует, что удовлетворительную интервальную оценку вероятности р можно получить при любом значении N. При очень малых объемах выборки даже самые сильные приемы оценки вероятности не дают удовлетворительного' результата. В этом легко может убедиться читатель, взяв выборку в 5 словоупот-

положения истинной доли именных словоупотреблений в тексте. Это еще раз говорит о том, что построения «процентной» лингвистики, не учитывающие объема выборки и других важных понятий статистики, не всегда дают достаточное количество содержательной информации.

Все рассмотренные приемы интервальной оценки для вероятности р могут быть распространены и на логнормальное распределение.

3. Интервальная оценка вероятности редких лингвистических событий. До сих пор мы рассматривали случаи, когда вероятность лингвистической единицы достаточно велика. Такая ситуация типична для фонетико-фонологических и грамматических исследований. Однако при лексикологических исследованиях вероятности

287

словоформ, слов и словосочетаний обычно очень малы. Распределения их вероятностей чаще всего подчиняются распределению Пуассона.

Поэтому доверительный интервал вероятности лексических единиц следует устанавливать не на основе нормального приближения, которое может привести к значительным ошибкам, а путем приме-

текстов взята выборка в 300 тыс. словоупотреблений, в которой слово aizgrieznis 'кран' встретилось 3 раза. Определить доверительные границы пуассоновой вероятности указанного слова при надежности Р =» 0,95.

нижней и верхней границ доверительного интервала, в котором заключена вероятность латышского слова aizgrieznis.

Методика интервальной оценки пуассоновой вероятности может быть применена также и к вероятностям, получаемым из лингвистических распределений Чебанова — Фукса и Фукса — Гачечи-

ладзе.

68

§ 5. Оценка функции генерального распределения по данным лингво-статистического наблюдения

В предыдущих параграфах была рассмотрена первая задача, связанная с переходом от статистической модели текста к скрытой от прямого наблюдения вероятностной схеме его построения. Решение указанной задачи заключалось в оценке неизвестных параметров распределения генеральной лингвистической совокупности.

Теперь обратимся ко второй задаче, состоящей в том, чтобы по опытным данным оценить неизвестную функцию распределения непрерывной случайной лингвистической величины X. Решение этой задачи сводится к определению того доверительного интервала, в котором находятся значения теоретической функции, соответствующие определенным значениям аргумента. Этот доверительный интервал определяется по отдельным опытным данным без какого бы то ни было обращения к параметрам функции, которые остаются, как правило, нам неизвестными.

1. Доверительный интервал функции генерального распреде- ления. При оценке неизвестной функции используются следующие рассуждения. Предположим, что в результате исследования текстовой выборки получена последовательность лингвистических единиц, упорядоченная в порядке возрастания номеров их извлечений из текста:

Величины Xt можно рассматривать в качестве значений некоторой конкретной случайной лингвистической величины X.

Последовательность (8.46) может быть описана с помощью интегральной функции эмпирического распределения накопленных частостей, соответствующих значениям xt:

Вместе с тем можно предположить, что имеется теоретический интегральный закон

F (х) - Р (X < *,) = рЧ,

описывающий распределение значений рассматриваемой непрерывной случайной величины X в генеральной лингвистической совокупности. Вид этого закона нам неизвестен, и какой-либо дополнительной информацией о его свойствах, кроме свойства непрерывности, мы не располагаем.

Оценка теоретического закона F (х) эмпирической функцией осуществляется, как и в случаях с неизвестными параметрами, при заданной надежности Р и точности е. При этом доверительный интервал закона F (х) имеет вид

Fn(X) — в < F (х) < Fn(X) + е.