Пиотровский

Этот, казалось бы, скромный статистический результат может иметь важные теоретические последствия не только в области теории языка или психолингвистики, но и в плане кибернетической физиологии высшей нервной деятельности, а также инженерной лингвистики. Действительно, нормальность распределения длин словоформ может рассматриваться как указание на то,' что существует некоторый общечеловеческий эталон, равный центру этого распределения. Величину этого эталона, определяющуюся, вероятно, особенностями строения быстродействующей памяти человека [21, с. 97], следует учитывать при расчете памяти слушающих, переводящих и обучающих автоматов.

Существование некоторого среднего общечеловеческого эталона длины словоформы и нормального распределения средних длин вокруг этого эталона в языках мира нисколько не противоречит тому факту, что длина словоформы может неограниченно возрастать и в отдельных конкретных случаях достигает нескольких десятков букв (см. гл. 4, § 2, п. 1). Легко заметить, что искусственные слова типа двустороннесимметричнообразный «не выговариваются» сразу, «одним дыханием», а делятся при воспроизведении на сегменты, включающие одну или более морфем, причем длина этих сегментов

350

приближается к средней длине словоформы. Аналогичным образом осуществляется, очевидно, и восприятие сверхдлинных слов.

Нет ничего необычного и в том, что в некоторых стилях средняя длина словоформы может заметно возрастать по сравнению с общечеловеческим эталоном или средней длиной, характерной для данного языка (ср. § 3, п. 1). Эти отклонения свидетельствуют лишь о существовании у нашей быстродействующей памяти некоторых резервов, позволяющих человеку пользоваться различными функциональными разновидностями языка.

§6. Доминантные смысловые единицы

иэлементы заполнения текста

1.Исследование вариационных рядов словосочетаний в немецких публицистических текстах. Статистическая проверка лингвистических гипотез используется для формально-семантического исследования текста и составляющих его единиц.

Рассмотрим в этой связи распределение трехкомпонентных немецких словосочетаний, образованных от наиболее частых словоформ. Поскольку трехсловные сочетания являются редкими линг-

формуле (9.17) сравнивают с опытными частотами nt = SF. В тех случаях, когда величины SF И SF меньше пяти, они соответственно объединяются с соседними значениями (ср. табл. 9.13).

рассматриваемого распределения зависит от того, выполняется ли

деления вероятности того, что некоторая случайная величина, распределенная по х2. примет при v =» N* — 2 степенях свободы значение, не меньшее, чем вычисленная по формуле (9.17) величина критерия х2 (см. § 4, п. 2).

851

По указанной схеме исследовались распределения у большой группы различных по грамматической природе и семантике трех-

мента A dap der (начало дополнительного придаточного предложения с существительным в начальной позиции, символ А указывает здесь на знак препинания), распределение которого уже рассматривалось нами в гл. 6 (см. § 3, п. 2).

1) Имеется 100 серий (5), каждая из которых содержит 1000 трехсловных сочетаний. По формуле (9.28) определяем вероятность PN(F) (F — 0, 1, 2 и т. д.) появления сегмента A dap der в каждой серии [столбец (3) табл. 9.19]. Вместо параметра X используем его оценку

[в связи с укрупнением последних частот — ср. столбцы (2) и (4), полученная оценка несколько отличается err F, вычисленного иа основании данных табл. 6.7].

2) Затем вычисляем теоретические частоты Sf [столбец (4)1, которые сравниваем с эмпирическими частотами Sf [столбцы (5)

и(7)].

3)Полученная в столбце (7) величина %г = 4,67 меньше порогового

значения Хо,ов;з * (с учетом укрупнения малых частот имеем v = 5 — 2 = 3) и лежит таким образом в области принятия нулевой гипотезы о пуассоновском характере интересующего нас лингвистического распределения.

4) Оценивая гипотезу Н0 с помощью вероятности Р(%2), мы убеждаемся, что вероятность некоторой распределенной по ха случайной величины принять значение, большее, чем 4,67 при v = 3, лежит в пределах между 0,26 и 0,17 (см. табл. IX). Иными словами, эта вероятность достаточно велика. Поэтому гипотеза о пуассоновском характере распределения сегмента Д dap der вполне правдоподобна.

352

В первую группу (34 сегмента) входят словосочетания, состоящие либо из служебных слов (например, A dap ist А это есть ...' A es ist 'А это — A dap die — начало дополнительного придаточного предложения с существительным множ. числа или ед. числа женск. рода в начальной позиции), либо представляющие комбинацию служебных и общеупотребительных знаменательных слов (например, in der Welt 'в мире). Вариационные ряды этих сегментов независимо от количества микровыборок и их объема показывают, подобно только что рассмотренному обороту A dap der, хорошее согласие с законом Пуассона.

Вторая группа (22 сегмента) включает словосочетания, обозначающие политические реалии обоих немецких государств; ср. такие сегменты, как Deutsche Demokratische Republik 'Германская Демократическая Республика', in der Bundesrepublik в Федеративной Республике', beiden deutschen Staaten 'оба немецких государства'. Эмпирическое распределение этих оборотов обнаруживает несогласие с распределением Пуассона при любых видах нормировки, т. е. при любых объемах серий (порций, на которые делится'выборка).

Третья группа (28 сегментов) занимает промежуточное положение между первыми двумя группировками. Входящие в нее обороты включают служебные слова, а также общеупотребительные и терминологические лексемы. Согласие или несогласие эмпирических распределений этих оборотов с законом Пуассона зависит от способа разбиения выборки на серии.

Тот факт, что триады первой группы четко противопоставлены оборотам второй группы как с точки зрения лексико-грамматической природы, так и в статистическом плане, подтверждает высказывавшееся предположение о том, что статистическое поведение лексической единицы в тексте может служить формальным признаком для выявления ее лексико-грамматической природы. В частности, можно ожидать, что редкие слова и словосочетания, не подчиняющиеся закону Пуассона, а тем более нормальному закону, имеют терминологическую или конкретную семантику, в то время как слова и обороты, показывающие пуассоновское или нормальное распределения, несут служебные функции или представляют собой лексические единицы общего значения.

2. Статистическое опознание термина и выделение доминантных единиц в тексте. Гипотеза о возможности формально-статистического опознания термина была рассмотрена относительно пуассоновского, нормального и логнормального распределений [32а, с. 47—112]. Исследованию подвергались вариационные ряды двух единиц искусственных языков (буквенные символы, цифры), 298 словоформ и 300 трехсловных сегментов, взятых из английских научно-тех- нических текстов подъязыка судовых механизмов. Общий объем

исследованного текста составил 400 тыс. словоупотреблений (ок. 1200 стр.).

Применяя электронно-вычислительную технику, авторы расмотрели разные варианты разбивки и нормировки материала, в. результате чего для каждой словоформы и словосочетания были построены до 27 вариационных рядов. Затем с помощью ЭВМ по критерию х2 ПРИ уровне значимости 0,01 проверялось согласие этих рядов с указанными выше распределениями.

Поскольку учесть все совпадения и несовпадения эмпирических и теоретических данных в 27 вариационных рядах каждой лексической единицы невозможно, было введено следующее обобщаюющее условие. Эмпирическое распределение считалось совпадающим с теоретическим в том случае, если такое согласие показывал вариационный ряд, охватывающий целиком всю выборку, либо несколько вариационных рядов, построенных на частных выборках, составляющих в сумме весь выборочный текст длиной в 400 тыс. словоупотреблений. В других случаях отмечалось несогласие эмпирического и теоретического распределений.

Исследование показало, что согласие или несогласие эмпирического распределения с тем или иным теоретическим законом зависит, во-первых, от статистических условий эксперимента — "частоты лингвистической единицы и способа построения вариационного ряда, а во-вторых, от семантики исследуемой словоформы или словосочетания.

Если говорить о результатах эксперимента с точки зрения статистических условий его поведения, то здесь обнаруживаются следующие тенденции.

1.Если упорядочить лексические единицы в список, построенный по принципу убывания частот исследуемых единиц, то распределения словоформ и отчасти словосочетаний, стоящих в начале такого списка, чаще всего подчиняются нормальному закону. Эта тенденция прослеживается для первых 20 словоформ вне зависимости от объема микровыборки (серии), на которые делится общая выборка. Что касается словосочетаний, то согласие с нормальным законом прослеживается в области первых 15 номеров частотного списка словосочетаний в тех случаях, когда берутся микровыборкп длиной не менее 4 тыс. словоупотреблений.

2.В зоне средних частот (номера 60 — 1500 списка) отмечается постепенное отступление нормального закона перед законом Пуассона. При этом пуассоновское распределение появляется в первую очередь в тех вариационных рядах словоформ, которые обобщают малые микровыборки (1 — 2 тыс. словоупотреблений), наоборот, нормальность удерживается в рядах, построенных из крупных серий по 4,8 или 16 тыс. словоупотреблений. Расширяя сферу своего

распространения, пуассоновские распределения накладываются на нормальные: начиная с 60-70-х номеров списка все чаще попа-

354

блюдается и в частотном списке словосочетаний с той лишь разницей, что наложение пуассоновского распределения на нормальное обнаруживается в самом начале списка.

3.Распределение редких лексических единиц независимо от разбивки и нормировки выборки подчиняется закону Пуассона, исключая случаи, когда этому препятствует семантика словоформы или словосочетания.

4.Логнормальный закон хорошо описывает эмпирические рас-

группу войдут словоформы и словосочетания, эмпирические распределения которых не показывают согласия ни с нормальным законом, ни с законом Пуассона. Вторая группа будет включать лексические единицы, вариационные ряды которых подчиняются либо нормальному, либо пуассоновскому распределению, либо одновременно обоим законам. Такая разбивка экспериментального материала оправдывается тем, что при больших значениях параметра X распределение Пуассона приобретает форму нормального распределения (см. гл. 6, § 3, п. 2). Это аппроксимирующее свойство нормального закона обнаруживается, в частности, в наложении этого распределения на закон Пуассона в зоне среднечастотных словоформ и словосочетаний, о чем говорилось выше.

деления 66 единиц не подчиняются ни нормальному, ни пуассоновскому законам, а среди 300 словосочетаний 22 не дают согласия своих вариационных рядов с указанными теоретическими законами.

Какова же лексико-грамматическая природа этих слов и словосочетаний?

Во-первых, сюда относятся именные, глагольные, адъективные словоформы, а также именные обороты явно терминологического значения. Например:

bearing(s) 'подшипник(и)'; blades 'попасть'; cylinder(s) 'цилиндр^)'; diesei 'дизель'; exhaust 'выхлопная труба, выхлоп, выпуск'; nozzle 'форсунка'; machinery 'машинное оборудование, механизм'; piston 'поршень'; power 'сила, мощность'; pump 'насос'; temperature'температура'; tubes 'трубы'; turbine(s) 'турбина(ы)*; valve 'клапан'; velocity 'скорость', и т. п.

the gas turbine 'газовая турбина', marine disel engine 'судовой дизельный двигатель'; the water level 'уровень воды'; и др.

current 'текущий'; moving 'приводя(щий) в движение'; marine 'морской'; work 'работать' и т. п.

.Во-вторых, не подчиняется нормальному и пуассоновскому закону эмпирическое распределение вспомогательных и модельных

глагольных форм was, would, should, must, а также распределение глагольного оборота shown in fig ... 'показано на рис. ...'.

В-третьих, в рассматриваемую группу попадают сегменты текста, представляющие собой комбинацию словоформ и символов искусственных языков —цифр и формул (х), а также буквенных обозначений и сокращений (z). Ср.: х and х 'х и х'; is xz 'равняется xz'; figure xz 'рисунок xz'; see zx' см. zx'; valueof x'значение x', и т. п.

Вторая группа, как уже говорилось, включает текстовые единицы и словосочетания, вариационные ряды которых дают согласие с распределением Пуассона и нормальным распределением. Сюда •входят отдельно употребляемые единицы искусственных языков (х, z), большинство служебных слов, все наречия, местоимения, числительные, все существительные, прилагательные и глаголы общеупотребительного характера, а также общеупотребительные словосочетания. Вместе с тем здесь обнаруживается и небольшое количество терминологических слов и словосочетаний.

Метод проверок гипотезы о согласии эмпирического и теоретического распределения с помощью критерия */2 применялся не только к научно-техническим текстам, но и к художественной прозе, публицистике, а также к речи душевнобольных. При этом выяснилось, что несогласие эмпирического распределения с нормальным и пуассоновским законами обнаруживают не только терминологические слова и словосочетания, а также близкие к ним по семантической природе комбинации словоупотреблений и элементов искусственных языков, но и другие лексические единицы, обладающие важным, с точки зрения сюжета текста, значением. В художественной речи этим свойством обладают слова и словосочетания, выражающие основные образы произведения, в публицистике — имена собственные и названия особо важных политических, экономикосоциальных и географических реалий (см. §3, п. 3), в речи душевно- больных—слова и словосочетания, обозначающие объекты навязчивого состояния. Короче говоря, несогласие эмпирических и теоретических распределений обнаруживают семантически доминантные (ключевые) единицы текста, напротив, недоминантные единицы текста, обладающие «стертой» семантикой, показывают хорошее согласие своих распределений с теоретическими законами Пуассона и Гаусса.

Природа этого явления состоит, очевидно, в следующем.

Как уже говорилось (см. гл. 5), порождение текста определяется, с одной стороны, системой языка и его нормой, а с другой — независимой от языка ситуацией, которую призван описывать этот текст. Появление семантически нагруженных ключевых элементов текста диктуется ситуацией, употребление же семантически истертых» единиц, так называемых единиц заполнения, служащих средством организации текста и связи ключевых единиц, подчиняется требованиям системы и нормы языка. Отсюда следует, что статистика единиц заполнения подчиняется вероятностным законам нормы языка, в то время как статистика ключевых элементов текстов управляется вероятностью ситуаций.

356

ЗАКЛЮЧЕНИЕ

1. Краткий обзор содержания. Конфронтация языка и математики осуществлялась нами, с одной стороны, в области количественной экспликации диахронических процессов и процессов развертывания текста, а с другой — в плане вероятностно-статисти- ческого моделирования построения текста, являющегося результатом взаимодействия системы, нормы и ситуации.

Одна из задач этой конфронтации состояла в выявлении таких математических моделей, с помощью которых можно было бы не только описать структуру и функционирование интересующих нас лингвистических объектов, но и получить новую информацию о природе языка и речи.

Экспликация синтагматического развертывания речи и диах-

ступенчатый (скачкообразный) и циклический характер. Цикличное распределение информации в тексте диктуется периодическим ритмом, в котором мозг перерабатывает поступающую в него информацию.

Ступенчатость и цикличность развития языка определяется, очевидно, дискретно-порционным характером перестройки языко- ЕОЙ системы.

Общность математических моделей, аппроксимирующих развитие языка и информационное развертывание текста, заставляет лингвиста задуматься над проблемой речевого онтогенеза и диахронического филогенеза.

Экспликация построения текста с помощью аппарата теорий вероятностей и информации, а также математической статистики (см. гл. 5 — 9) показала, что порождение текста определяется не только системой языка, но диктуется также, с одной стороны, вероятностными моделями, а с другой — вероятностью. Поэтому ин- формационно-статистическая структура текста является результатом взаимодействия двух статистик. Одной из них является статистика нормативных единиц заполнения (буквы, слоги, грамматические морфемы, служебные слова и словосочетания, а также некоторые синтаксические схемы). Другой статистикой является статистика доминантных, или ключевых, единиц текста (слов, словосочетаний и синтаксических построений), передающих основное содержание текста. Несогласованность этих статистик может быть использована для формального автоматического распознавания терминологических единиц текста.

Одновременно возникает вопрос о том, как взаимодействуют между собой элементы заполнения и ключевые единицы в рамках циклической информационной схемы текста — схемы, навязанной ритмом работы нашего мозга. Исследование этого вопроса является одной из важных задач современной кибернетической лингвистики.

358

2. Перспективы развития математической лингвистики. Осуществленная в книге конфронтация языка и математики проходила под знаком преобладания математического подхода к отбору материала и его компоновке. Такой подход оказался целесообразным ввиду того, что по сравнению с языкознанием математика имеет более строгую и последовательную организацию. Однако при этом

кации и моделированию с помощью жесткого аппарата современной «количественной» и «качественной» математики, охватывающей не только функции одной переменной, рассмотренные в настоящей книге, но и функции многих переменных (случайных величин). Вместе с тем процесс математизации лингвистики вовсе не направлен на обеднение языкознания и его подчинение математике Напротив, этот процесс должен привести к усилению исследовательского аппарата языкознания и к обогащению наших лингвистических знаний.

Поэтому вслед, за этапом конфронтации математики и языкознания— этапом, на котором математика исполняла роль «королевы наук», должен следовать этап сближения, на котором математика выступает на службе остальных наук, создавая для языкознания и для других гуманитарных наук особый логический аппарат.

Необходимость в создании такого аппарата объясняется тем, что используемый в настоящее время для моделирования и экспликации лингвистических явлений традиционный математический аппарат был первоначально предназначен для описания «жестких» и сравнительно простых систем неживой природы. Поэтому он оказывается недостаточно адекватным при моделировании сложных гуманистических, в том числе языковых систем, имеющих, как принято сейчас говорить, «мягкую», полиморфную структуру [26, с. 208]. Эта неадекватность перерастает иногда в несовместимость традиционного математического аппарата и сложных гуманистических систем. Суть этой несовместимости кратко определяется так: чем сложнее система, тем менее способна традиционная математика дать точные и одновременно имеющие практическое значение суждения о поведении этой системы 165, с. 7].

Преодолеть этот парадокс можно с помощью такого математического аппарата, который использовал бы эвристические подходы и приемы, при помощи которых человек решает различные жизненные и в том числе лингвистические задачи.

Создавая такой аппарат, следует иметь в виду, что оперативным^ единицами человеческого мышления являются не дискретные математические объекты, а элементы некоторых нечетких множеств (гл.. 1, § 1, п. 1). При этом переход от принадлежности элементов

а непрерывно, характеризуясь убыванием степени принадлежности р. элемента xt множеству А в интервале от единицы до нуля. Сим-

359