По формуле (7.24) находим внутреннюю дисперсию:
D,, = 1 [ ( 1 2 - 8 , 2 ) 4 ( 1 3 - 8 , 2 ) 4 (9—8,2)2 + ( 6 - 8 , 2 ) 2 +
+ ( П - 8,2)2 + (6 — 8,2)2 + (8— 8,2)г + (8—8,2)2 + (3—8,2)* +
+ (6-8,2)*] = - 1 - 8 7 , 6 = 8,76.
Значения DRS, DR„ DRT помещены в столбце (14) табл. 7.23. С помощью формулы (7.26) находим значение средней внутренних дисперсий, которое равно
D = |
8 > 7 6 + 3 . 4 9 + 2 , 4 9 + 16,76 = |
31,50 _ ? g 7 g |
г |
4 |
4 |
Значение межгрупповой дисперсии DM, вычисляемое по формуле (7.27), составляет
DM = 4 |
1 (8,2—6,5)й + ( 5 , 1 - 6,5)2 + ( 3 |
, 9 - 6,5)2 + |
(8,8 - 6,5)2] = |
= |
— (1,72 |
+ 1 4* + 2,6а + 2,3*) = |
= |
4,225. |
|
4 |
|
4 |
|
Следовательно, значение общей дисперсии согласно формуле (7.28) равно
D = s8 = 7,875 + 4,255 = 12,1,
а среднеквадратическое отклонение и коэффициент вариации для общей совокупности соответственно составляют
s = / 12Х= 3,48; V = |
100% = 53,5 %. |
|
( 1 / 4 X 8 , 2 + 5 , 1 + 3 , 9 + 8 . 8 ) |
Значительное рассеяние средних арифметических по жанрам казахской прозы говорит о том, что средняя длина словоупотребления выступает в каждом жанре в качестве стилистико-статис- тического параметра.
14. Средняя арифметическая и дисперсия в совокупностях с качественным признаком. Статистическая однородность текста Рассмотренные до сих пор статистические характеристики относились к количественным лингвистическим признакам. Для того чтобы применить понятия средней арифметической и дисперсии к совокупности, которая характеризуется качественным признаком, необходимо эту последнюю преобразовать в совокупность с количественными признаками.
Проще всего осуществить такое преобразование в том случае, когда совокупность содержит объекты, характеризующиеся некоторым признаком, и объекты, не имеющие этого признака. Такую совокупность мы будем называть статистической совокупностью о альтернативным признаком.
Отметим наличие признака единицей, а его отсутствие — нулем. Теперь данную качественную совокупность можно представить в виде вариационного ряда, показанного в табл. 7.24.
|
|
Т а б л и ц а |
7.24 |
|
|
*2=»0 |
<4 |
F |
N—F |
|
Объем этой совокупности есть величина N, представляющая собой сумму величин F (числа единиц) и N — F (числа нулей). Относи-
тельная частота (доля) признака равна / = Р а доля его отсутст-
N—F |
, |
, |
ВИЯ — j j - |
== 1 — |
/ . |
Найдем теперь среднюю арифметическую* и дисперсиюО. Пользуясь формулой (7 4), нетрудно показать, что средняя арифметическая равна частости:
|
f • 1 +(N—F)0 |
N = Л |
(7.29) |
|
N |
|
|
На основании соотношения (7.14) находим дисперсию данной совокупности:
|
D |
N |
|
|
|
|
|
|
|
|
|
F {N —F)a+ (N — F) F2 |
F(N F) |
|
N-F |
(7.30) |
|
№ |
№ |
N |
N |
|
|
Дисперсия, являясь здесь мерой рассеивания вариации, характеризует совокупность с качественным признаком с точки зрения ее однородности. Например, полная однородность текста относительно признака А имеет место тогда, когда все его словоупотребления обладают признаком А (т. е. F = N) или когда этот признак полностью у них отсутствует (т. е. F — 0). Одновременно чем ближе значение D — s2 к нулю, тем однороднее статистическая совокупность (в данном случае текст). Чем больше значение D, тем она разнороднее.
Рассмотрим следующий пример. В целях определения статистической однородности английских научно-технических и разговорных текстов с точки зрения использования в них именных форм подверглись сравнению два отрывка текста из указанных стилей по 1000 словоупотреблений в каждом. В научно-техническом тексте обнаружено 300, а в разговорном — 200 именных словоформ.
Вычислим и сравним дисперсии для научно-технического (Dj) и разговорного (£>а) стилей. Здесь N = 1000, = 300, Fа = 200. Следовательно,
= 300/1000 = 0,3, |
х2 = 200/1000 = 0,2, |
£>! - |
(300 700)/( |
1000 • 1000)« 0,21, |
D a = |
(200 • 800)/(1000 • 1000) = 0,16. |
Сравнив значения |
и D2 , убеждаемся, что разговорный текст |
с точки зрения употребления именных форм более однороден, чем английский научно-технический текст.
Если исследуемая лингвистическая совокупность является не генеральной, а выборочной совокупностью, как это имело место в рассматриваемых примерах, то формулы (7.29) и (7.30) дают лишь выборочные характеристики х и D, но не истинные значения средней арифметической и дисперсии, присущие всей генеральной совокупности. В связи с этим снова возникает уже ставившийся нами в гл. 6 вопрос о близости этих выборочных характеристик к характеристикам генеральной совокупности Этот вопрос будет рассмотрен подробно в гл. 8 и 9.
§4. Исследование лингвистических вариационных рядов
спомощью эмпирических моментов
Средняя арифметическая и дисперсия представляют собой частные случаи эмпирических (статистических) моментов, являющихся
характеристиками |
опытного распределения (вариационного ряда) |
лингвистических |
признаков. |
Эмпирический |
момент h-го порядка определяется как средняя |
арифметическая h-x степеней отклонений вариант признака X от некоторой произвольно взятой постоянной а (так называемого начала отсчета или условного нуля) и выражается равенством
"b(f l ) = - F |
2 « i ( * i — |
(7-31) |
N |
/=i |
|
Эмпирические моменты являются аналогами теоретических моментов, рассмотренных в гл. 6, § 2, п. 8. По аналогии с теоретическими моментами в зависимости от значения произвольной постоянной а
|
|
|
|
|
различаются четыре |
вида |
эмпирических моментов: м о м е н т ы |
о т н_о с и т е л ь н о |
п о с т о я н н о й |
а (при условии, что а Ф 0, |
а Ф х), н а ч а л ь н ы е |
м о м е н т ы |
(при а = 0), ц е н т р а л ь - |
н ы е м о м е н т ы |
(при |
а |
х) и н о р м и р о в а н н ы е м о - |
ме н т ы .
1.Начальные эмпирические моменты для непрерывных и дискретных лингвистических вариационных рядов. Формулы для первых
пяти начальных моментов относительно произвольно фиксированной постоянной а имеют вид
|
|
|
(7.32) |
= |
Y |
2 n t ( x t - a ) , |
(7.33) |
|
|
CS 1 |
|
= |
7 |
|
(7-34) |
"a(a) = |
4 " |
(*<-«)'. |
(7-35) |
|
N |
iTi |
|
= |
|
^ n d x t - a ) * . |
(7.36) |
N1-Х
Втом случае, когда разности xt — а имеют общий множитель I, вычисление моментов можно упростить, если воспользоваться выражением
^ - i i / ' t 3 ? 2 - ) " - - ^ |
<7-з7> |
где |
|
S ^ i ) 4 " f L r L ) f t ' |
( 7 - 3 8 ) |
Величины (xt — а)/1 = х\ выступают в качестве условных |
(рабо- |
чих) вариант случайной величины, а п'н является рабочим начальным моментом.
Если необходимо получить истинные значения начальных мо-
ментов относительно о, |
го правую часть равенства (7.37) |
нужно |
умножить на /t-ю степень множителя /. В итоге получаем |
|
= |
= |
(7.39) |
Этим приемом мы уже пользовались при вычислении средней арифметической (§3, п.З) и опытной дисперсии (§3, п. 11).
Теперь воспользуемся методом моментов для определения характеристик непрерывного распределения — вариационного ряда длин китайских слогов (см. § 2, п.2).
Полагая а = 145, / = 30 и пользуясь формулами (7.37) — (7.39), произведем расчеты, как это показано в табл. 7.25. В итоге получаем
величины tii, |
пя> п*> которые показаны в нижней строке таблицы |
("„ = 1). |
|
Расчет начальных моментов из-за своей громоздкости часто со-
провождается ошибками в вычислениях. Для проверки расчетов
л
обычно пользуются формулой, выражающей связь первых пяти начальных моментов для вариант хх с начальным моментом четвертого порядка для вариант л:( -f- 1. Эта формула имеет вид
Л4* = Л0 + 4 Л | ' + 6 Л 2 + 4ЛЗ + Л4, |
(7 . 40) |
где ti'C — четвертый начальный момент вариант Xi + 1, а правая часть равенства включает пять начальных моментов вариант xt.
Если значение момента/гГ> вычисленное по формуле (7.40), совпадает с его значением, полученным из выражения (7.36), то это значит, что расчет первых пяти моментов для вариант Xt произведен правильно.
Проверим правильность вычисления рабочих начальных моментов в вариационном ряде длин китайских слогов. Для этого, используя данные столбца (11) табл. 7.25, находим, что п'С = 8223/150. Эта величина совпадает с величиной п\, вычисленной с помощью формулы (7.40):
'* |
I |
, |
л |
13 . с |
403 |
. . |
487 |
, 3655 |
Па |
= 1 + |
|
4 ' |
Ьб |
|
f-4 |
|
|
|
|
|
|
150 |
150 |
|
150 |
150 |
|
1 5 0 + 5 2 + 2 4 1 8 + |
1948 + |
3655 |
__ |
8223 |
|
|
|
|
150 |
|
|
|
150 |
Таким образом, рабочие начальные моменты для распределения длин китайских слогов определены правильно.
Если вариационный ряд лингвистических признаков содержит нулевую варианту, то целесообразно пользоваться начальными эмпирическими моментами.
Формулы для первых пяти начальных эмпирических моментов
имеют вид: |
к |
|
|
|
|
|
= |
|
- I . |
(7-41) |
2 |
Я | Д С | = |
-т=~х> |
( 7 - 4 2 ) |
<•= 1 |
|
|
(средняя |
арифметическая), |
|
2 |
я < |
- - f r ~ ( |
7 , 4 4 ) |
i=1 |
|
|
причем |
к |
|
|
|
|
|
S h = ^ n i |
X l |
(7.46) |
Воспользуемся приведенными выше сведениями при решении задачи автоматического устранения многозначности слова в тексте. Это устранение осуществляется путем поиска в самом слове или в его окружении некоторого формального признака — индикатора. Этот индикатор в комбинации с другими индикаторами или же сам по себе помогает машине выбрать из автоматического словаря подходящее для данного контекста значение слова. Индикаторами могут быть как морфемы, так и отдельные слова. Для унификации поиска та позиция в предложении, которую занимает многозначное слово, считается нулевой, позиции слева от контрольного слова помечаются целыми отрицательными числами, а позиции справа — положительными.
Для оптимизации поиска индикатора бывает важно иметь распределение частот индикаторов в различных позициях и получить характеристики этого распределения.
Так, например, распределение 100 индикаторов в контрольном отрывке немецкого научно-технического текста характеризуется величинами, показанными в столбцах (1) и (2) табл. 7.26.
|
|
|
|
|
|
Т а б л и ц а 7 . 26 |
Позиции |
Частота |
|
|
niX'i |
»txi |
|
nt ( t j + I)4 |
индикато- |
индикато- |
|
|
Jtj+i |
ров JCj |
ров г>| |
|
|
|
|
|
|
|
(1) |
(2) |
(3) |
(4) |
(5) |
(6) |
(7) |
(8) |
— 2 |
10 |
— 20 |
40 |
—80 |
160 |
— 1 |
|
10 |
—1 |
30 |
— 30 |
30 |
—30 |
30 |
0 |
|
0 |
0 |
30 |
0 |
0 |
0 |
0 |
1 |
30 |
1 |
20 |
20 |
20 |
20 |
20 |
2 |
320 |
2 |
10 |
20 |
40 |
80 |
160 |
3 |
810 |
|
j v = i o o |
5 1 = —10 |
S 2 = |
130 S 3 = - 1 0 |
St — 370 |
|
Sf = |
1170 |
|
|
п{==—0,1 |
n j = |
l , 3 « s = — 0 , 1 |
n j - 3 , 7 |
|
n 2 « |
11,7 |
Данный вариационный ряд содержит нулевую варианту, в качестве которой выступает позиция многозначного слова, поэтому постоянное число а = 0. Отсюда следует, что характеристиками рассматриваемого ряда служат начальные моменты, расчет которых
следует |
вести по формулам (7.41)—(7.46), как это показано |
в табл. |
7.26. |
Теперь проверим правильность расчетов при определении первых начальных моментов в распределении частот индикаторов устранения многозначности в немецком научно-техническом тексте.
Для этого, пользуясь данными табл. 7.26, находим четвертый начальный момент для вариант xi + 1:
пГ = 1170/100 - 11,7.
Тот же результат получаем с помощью формулы (7.40):
«Г = 1 + 4 (-0,1) + 6-1,3 + 4 ( - 0,1) + 3,7 = 11,7.
Таким образом, вычисления начальных моментов произведены правильно.
Тот факт, что первый начальный момент, совпадающий со средней арифметической, имеет близкое к нулю отрицательное значение (п\ = х — —0,1), говорит о том, что снимающий полисемию индикатор следует искать в непосредственном левом окружении многозначного слова.
2. Центральные и нормированные эмпирические моменты. Начальные моменты не только используются в лингвистике при определении средней арифметической, ной применяются в основном как вспомогательные величины при вычислении центральных эмпирических моментов, которые дают основную характеристику рассеяния случайных величин.
Формулы для вычисления эмпирических центральных моментов
аналогичны |
формулам |
теоретических |
центральных |
моментов |
(см. гл. 6, § 2, |
п.8): |
|
|
|
|
|
|
|
|
|
т й |
= |
1, |
|
|
|
|
|
тj |
= |
0, |
|
|
i2 — s* = |
п2— rii (опытная |
дисперсия), |
(7.47) |
|
т а |
= пз — 3п2пг |
+ 2п\, |
(7.48) |
|
т 4 = |
|
Пц — 4rt3«! + |
6nan? — 3п\. |
(7.49) |
Если квадратный |
корень из |
второго |
центрального |
момента |
"Ущ = s принять за стандарт, то |
отношение центрального момента |
h-го порядка |
к h-й степени стандарта даст безразмерный |
нормиро- |
ванный эмпирический |
момент |
|
|
|
|
|
rh = m h / ( V ^ ) h |
= mh/s», |
(7.50) |
аналогичный теоретическому нормированному моменту рЛ.
Для первых четырех нормированных эмпирических моментов
имеем: |
|
|
|
h |
= |
0, |
|
г2 |
= |
1, |
|
г ^ т 3 ] ( У т , ) 3 |
= т,/з3 , |
(7.51) |
r4 = m4 /m| = m4/s4. |
(7.52) |
Третий и четвертый нормированные моменты подобно их теоретическим аналогам р3 и р.». служат соответственно для количественной оценки асимметрии (скошенности) и крутости (островершинности или плосковершинности) эмпирического распределения.
Если г8, а также все нечетные центральные моменты тх, тз, ms,...
равны нулю, то эмпирическое распределение является |
симметрич- |
9 Зак. 1287 |
257 |
ным. |
При г, > |
0 ряд характеризуется правосторонней (положитель- |
ной), |
а при л3 < |
0 — левосторонней (отрицательной) скошенностью |
(ср. |
гл. 6, §2, |
п. |
8). |
При л 4 > 3 |
эмпирическое распределение характеризуется острой |
вершиной; плосковершинный или двухвершинный ряд дает л4 < 3. Для измерения крутизны распределения используется также величина опытного эксцесса
аналогичная теоретическому эксцессу (куртозису).
3. Использование эмпирических моментов для сравнения лингво-
статистических вариационных рядов |
с |
теоретическими |
распределе- |
ниями. Часто |
характер |
эмпирического |
распределения |
лингвистиче- |
|
|
п |
|
|
|
|
|
40 |
|
|
|
|
|
SO- |
|
|
|
|
|
20 |
|
|
|
£ |
|
10 |
|
|
|
т |
9,00 X |
Щ |
|
|
3,00 |
6,00 |
|
|
о) |
|
|
е} |
|
Рис. 56
ских единиц оценивается непосредственно по виду графика, полигона или гистограммы. При этом не учитывается тот факт, что графический вид распределения во многом определяется выбором границ и ширины интервала. Например, на рис. 56 показаны гистограммы одного и того же распределения средних длин словоформ в языках -мира (исходное распределение этих длин словоформ приведено в табл. 7.27). Первая гистограмма (а) построена на основании данных табл. 7.28, использующей узкий интервал. Вторая же (б) опирается на ряд, который использует вдвое более широкий интервал и дает смещение конца распределения вправо (табл. 7.29). При этом может показаться, что оба распределения существенно отличаются друг от друга, хотя в действительности мы имеем дело с одним и тем же эмпирическим распределением. Аналогичным образом можно получить разные гистограммы распределения длин китайских слогов (см. табл. 7.9 и 7.25) или индикаторов снятия многозначности в немецких текстах (табл. 7.26).
Поэтому, чтобы не впасть в ошибку, предварительную оценку характера эмпирического распределения следует производить не визуально, а опираясь на количественные характеристики вариационного ряда. Для описания лингвистических вариационных ря-
