Пиотровский

ЧАСТЬ ВТОРАЯ

ВЕРОЯТНОСТНО-ИНФОРМАЦИОННЫЕ ОЦЕНКИ НОРМЫ ЯЗЫКА И СТАТИСТИЧЕСКОЕ ПОСТРОЕНИЕ ТЕКСТА

ГЛАВА 5

КОМБИНАТОРИКА ЛИНГВИСТИЧЕСКИХ ЕДИНИЦ. ВЕРОЯТНОСТЬ И ИНФОРМАЦИЯ ЛИНГВИСТИЧЕСКИХ СОБЫТИЙ

§1. Комбинаторные схемы

1.Измерение комбинаторики внутри лингвистических множеств.

Языковеду постоянно приходится решать задачи, в которых рассматриваются комбинации и расположения элементов, принадлежащих определенному лингвистическому множеству. Так, например, синтаксисту важно знать, сколько позиционных вариантов может давать в устно-разговорной речи предложение сегодня идет дождь. Фонетисту, специалисту в области кодирования текста, а также работнику Госавтоинспекции, занимающемуся распределением буквенных серий автомобильных знаков на территории страны, нужно знать, сколько двух- и трехбуквенных комбинаций может дать русский алфавит. Иногда при этом нужно выяснить, какая часть этих комбинаций образует слова и их формы, использующиеся в современном русском языке. Задачи, в которых требуется ответить на воп-

Простейшие задачи комбинаторики можно решать перебором всех возможных вариантов. Так, например, путем перебора нетрудно установить, что предложение сегодня идет дождь имеет в русской разговорной речи 6 вариантов:

сегодня идет дождь; сегодня дождь идет; дождь сегодня идет; дождь идет сегодня; идет сегодня дождь; идет дождь сегодня.

Однако число комбинаций быстро растет с увеличением числа составляющих их элементов. Так, например, четыре слова (увы, сегодня, дождь, идет) дают 24, пять слов — 120, шесть — 720 позиционных вариантов и т. д. Не все из этих вариантов допустимы с точки зрения норм современного литературного языка. Определить допустимые варианты путем простого перебора оказывается невозможным.

110

Поэтому, сталкиваясь с такими комбинаторными задачами, прибегают к типовым схемам решения, учитывающим лингвистические или какие-либо другие ограничения.

2. Размещения. Предположим, что имеется алфавит, включающий я элементов. Из этих элементов составляются /п-членные комбинации (соединения), причем каждый из п элементов может

1957—1961), из этих сочетаний только 114 выступает в качестве самостоятельных слов (имена собственные, сокращения, архаизмы и

Так, например, из 30 букв русского алфавита (исключая ь я ъ) можно составить 302 = 900 двухбу квенных серий для денежных знаков и 303 = 27 ООО трехбуквенн ых серий для автомобильных номеров.

4. Перестановки. Пусть размещения из п разных элементов взяты по п элементов, т. е. каждое размещение содержит все п элементов алфавита и отличается от других лишь порядком этих элементов. Такие размещения называются перестановками. Тогда из формулы (5.1) можно получить формулу для нахождения числа перестановок, заменив т на п и учитывая, что 0 1 — 1 . Действительно,

Определим, например, сколько трехсловных предложений можно построить из трех слов: сегодня, идет, дождь. Число предложений

111

чаются соединения, называемые перестановками с повторениями Число этих перестановок вычисляется по формуле

которое можно получить из букв, составляющих словоформу мате-

тальные буквы были различными, то искомое число перестановок, было бы равно Р\° = 101/2!. На самом деле, кроме двух одинаковых м в нашем слове имеются три а и два т. Поэтому общее число перестановок, полученных из букв, входящих в словоформу мате-

смысла, избыточными с точки зрения современного русского языка последовательностями букв.

6. Сочетания. В размещениях из п эламентов по т соединения отличаются друг от друга либо элементами, либо их порядком, либо и элементами и их порядком. Объединим в отдельные группы такие комбинации, которые содержат т одинаковых элементов и отличаются друг от друга только порядком этих элементов. Нетрудно заметить, что в каждой группе будет ровно Рт элементов. Группы комбинаций, различающиеся только элементами, называются соче-

пятифонемных «слов», отличающихся друг от друга только расположением гласных и согласных фонем.

вии, что один и тот же элемент может включаться в комбинацию

112

несколько раз. Два соединения считаются различными, если они отличаются хотя бы одним элементом, и одинаковыми, если они состоят из одних и тех же элементов. Число сочетаний из п элементов по т с повторениями определяется по формуле

Рассмотрим в связи с этим следующий пример. В некотором языке имеются два типа фонем: гласные и согласные, причем слово может быть образовано из .одних гласных, из одних согласных, а также из гласных и согласных (таким образом, согласные, так же как и гласные, являются слогообразующими). Необходимо определить, сколькими способами можно образовать трехфонемное «слово».

Поскольку здесь п = 2, а т = 3, то на основании соотношения (5,6) искомое число равно

Действительно, при построении трехфонемного слова возможны два случая: а) «слово» составлено из фонем одного типа; б) в «слово» входят и гласные, и согласные. В первом случае могут быть два способа образования «слова»: оно состоит либо из гласных, либо из согласных. Во втором случае также имеются два способа: либо «слово» образовано из одной гласной и двух согласных, либо из двух гласных и одной согласной. Итак, существуют только четыре способа образования трехфонемных слов.

В только что рассмотренном примере мы имеем дело с сочетаниями из двух элементов по три с повторениями.

§2. Лингвистическое событие

1.Наблюдение, испытание и событие в индуктивных исследованиях языка и речи. Основой всех индуктивных исследований в языкознании является наблюдение за поведением и признаками изучаемых лингвистических объектов. Это наблюдение может осуществляться также путем опыта, эксперимента или количественного измерения, Осуществление каждого такого наблюдения (опыта или измерения) называется испытанием. Совокупность условий, при которых осуществляется данное испытание, называют комплексом условий (о).

Результатом лингвистического испытания является лингвистическое событие.

Проведем опыт (испытание), состоящий в угадывании буквы при следующем комплексе условий (Oj): угадываемой букве пред-

соответственно в появлении следующих букв: г (которого), е (кото-

Съ Dj). Если результат лингвистического испытания полностью

113

исчерпывается каким-либо одним (и только одним) событием, то мы имеем дело с элементарным случайным событием. Событие, состоящее из нескольких элементарных событий, определяется как сложное случайное событие. Появления букв г, е, й, м после цепочки Лкоторо являются элементарными случайными событиями, появления после этой же цепочки диграмм го, му следует рассматривать как сложные, случайные события.

2. Соотношения между лингвистическими событиями. Поскольку между алгеброй событий и теорией множеств существует тесная связь, мы будем пользоваться, рассматривая операции над событиями, тео- ретико-множественными аналогиями. Соотношения между событиями будут иллюстрироваться часто теми же рисунками, с помощью которых эксплицировались операции над множествами (см. рис. 4

состоящим из гласных и согласных. При этом буква й считается принадлежащей одновременно и к классу гласных, и к классу согласных. Будем считать появление гласной после цепочки Дкоторо

а В не имеет места, называется разностью событий А и В и обозна-

(а), влечет за собой каждый раз событие В, то говорят, что А явля-

Акоторо одновременно означает (влечет за собой) появление соглас-

рис. 4, е). Так, например, условившись считать появление четвер-

114

той буквы русского алфавита событием А[ и сохраняя комплекс условий (djj, мы можем считать события Аг и А\ равносильными, записав при этом, что А^ —А\ (это соответствует равенству: г — четвертая буква русского алфавита).

6. Если некоторое событие при данном комплексе условий должно непременно произойти, то такое событие называется достоверным. Событие, которое при комплексе условий (а) произойти не может, называется невозможным. Поскольку все достоверные события равносильны между собой, их принято обозначать буквой V, невозмож-

условий (аз) отличается от комплекса условий (ах) только тем, что угадываемой букве предшествует цепочка Дкоторое. Испытание дает здесь только одно событие, заключающееся в появлении буквы о. Это событие является достоверным. Появление любой другой буквы после цепочки Лкоторое представляет собой невозможное событие.

7.Два события называются несовместимыми, если появление одного из них при данном испытании Исключает возможность появления другого. События, состоящие в появлении после цепочки Акоторо букв г и е, являются несовместимыми.

8.Два события являются совместимыми, если появление одного из них при данном испытании не исключает появление другого.

Так, например, события Ф, и Н1 (см выше) являются совместимыми.

хотя бы одно из них должно произойти. События, состоящие в появлении после цепочки Акоторо букв г, е, й, м, образуют полную систему событий.

10. Два несовместимых события А л Л (А читается: «не Л»), составляющих полную систему событий, называются противоположными. Угадывая букву после цепочки Акотором, имеем два противоположных события, образующих полную систему. Первое из них состоит в появлении буквы у (которому), второе заключается в появлении пробела Д (котором А)

Система, включающая простые события А, В, С,..., а также слож-

Простое перечисление и классификация лингвистических событий, которые образуют поле событий, принадлежащее данному опыту, имеет сравнительно ограниченный познавательный интерес. Гораздо важнее оценить степень возможности того или иного события.

Мерой возможности появления лингвистического события А при осуществлении комплекса условий (а) является вероятность Р (Л) этого события. Большинство определений вероятности носит в боль-

115

шей или меньшей степени операционный характер, т. е. опирается на конкретный прием оценки вероятности того или иного события. Для языкознания интерес представляют три определения вероятности: а) определение вероятности, исходящее из субъективной количественной оценки возможности события; б) «классическое» определение вероятности; в) «статистическое» определение вероятности.

1. Субъективное определение вероятности и его использование в лингвистике. Если человек решается интуитивно оценить вероятность события Л, то он опирается на совокупность знаний (тезаурус) в относительно тех возможностей, которые могут способствовать или не благоприятствовать осуществлению события А.

Эта вероятность может быть представлена как Р (А, в), т. е. как вероятность события А при заключенном в мозгу данного чело-

ция встречается редко. Чаще вероятность одного и того же события оценивается разными людьми, исходя из разных величин ©, В'. Даже у одного и того же познающего субъекта со временем величина © изменяется и превращается в ©', следовательно, и его оценки вероятности события А в разные периоды его жизни являются различными: Р (А, ©) Ф Р (А, ©').

Так, например, человек, недостаточно знающий русский язык, может предполагать, что вероятности появлений букв г, е, й, м после цепочки Акоторо равны. Напротив, человек, хорошо знающий русский язык и ориентирующийся на художественную прозу и разговорную речь, скажет, что вероятность появления е или й после указанной цепочки выше, чем появление г или м. Наконец, информант, языковое чутье которого сформировалось на основе газетной речи, будет утверждать, что наиболее вероятной в данной ситуации является* буква г [6, с. 46].

Часто говорят, что оценка вероятности того или иного события имеет отношение только к состоянию познающего субъекта, и поэтому все выводы из вероятностных суждений лишаются объективного, не зависящего от познающего субъекта содержания [14, с. 18]. Вместе с тем нельзя забывать, что многие исследования в области экспериментальной психологии и языкознания строятся на основе

* На использовании субъективных вероятностей строятся многие языковедческие исследования, а различия в субъективных вероятностях становятся часто источником разного вида лингвистических дискуссий.

116

обработки именно субъективных вероятностных оценок, получаемых исследователем от информанта [21]; [23]. С помощью субъективных вероятностей оценивается достоверность вхождения объектов в не-

и построение частотного словаря целостного текста. Существуют испытания, для которых вероятности их исходов можно оценить непосредственно из условий самого опыта. Для этого необходимо, чтобы различные исходы испытаний обладали симметрией и в силу этого были бы равновозможными.

Для иллюстраций симметрии и равновозможности опытов (схемы случаев) рассмотрим слово кот, составленное из букв разрезной азбуки. Карточки с буквами тщательно перемешивают и кладут в урну. Производится испытание, состоящее в извлечении карточки с буквой. Появления любой из букв, образующих слово кот, в силу правила симметрии, являются равновозможными и попарно несовместимыми событиями.

Теперь обратимся к некоторому множеству S попарно несовместимых равновозможных лингвистических событий ALT Аг, ..., AN, которые составляют полную систему событий. Образуем систему £1, состоящую из невозможного события V, всех событий AT множества S, а также всех комбинаций событий AIT входящих в это множество.

Нетрудно видеть, исходя из определения, данного в п. 2 § 2, что Q есть поле событий. Действительно, невозможное событие V входит в Q по определению, комбинации событий AT входят в Q также по определению, достоверное событие U входит сюда, посколь-

Если результаты испытания можно представить в виде полной системы N равновозможных и попарно несовместимых событий и

т. е. отношению количества случаев, благоприятствующих данному событию, к общему числу всех случаев.

с л е д с т в и я .

117

1. Вероятность достоверного события равна единице: P(U)= 1.

2. Вероятность невозможного события равна нулю:

Р(V) = 0.

3.Вероятность появления случайного события А при N испытаниях есть положительное число, заключенное между нулем и единицей:

0 < / > ( Л ) < 1.

В некоторых лингвистических работах, использующих элементы теории вероятностей, величина вероятности выражается в процентах.

Исходя из классического определения вероятности,-осуществля- ется вероятностная обработка частотных словарей отдельных произведений или всего творчества писателя. В этих случаях все словоупотребления, составляющие текст всех произведений или отдельного произведения, подчиняются правилу симметрии и образуют полную систему равновозможных и попарно несовместимых событий. Некоторое интересующее нас слово (или словоформа) Л появляется в исследуемом тексте в виде словоупотреблений. Отсюда вероятность того, что наугад взятое слово из нашего текста окажется именно словом (словоформой) А, согласно (5.7), равна Р (Л) = FIN,

Например, текст «Капитанской дочки» А. С. Пушкина состоит из 29343 словоупотреблений. Формы слова быть встречаются здесь 430 раз. Отсюда следует, что вероятность появления в тексте «Капитанской дочки» форм слова быть такова:

Р1 {быть) = Fl/N1 = 430/29343 ~ 0,0147 = 1,47°/0.

Что касается всего корпуса текстов А. С. Пушкина, который состоит из 544777 словоупотреблений, то здесь формы слова быть употреблены автором 8771 раз. Вероятность того, что наугад взятое слово окажется словом быть в любом произведении Пушкина, составит [6, с. 51—52]

Рг (быть) = FJNt = 8771/544777 ~ 0,0161 = 1,6170.

3. Статистическое определение вероятности. Выборочное час- тотное описание текста. Классическое определение вероятности оказывается весьма удобным применительно к таким опытам, которые заведомо дают симметрию конечного числа равновероятных исходов. Однако при переходе от этих простых примеров к решению более сложных вероятностно-лингвистических задач это определение наталкивается на непреодолимые трудности.

Во-первых, число возможных результатов может и не быть конечным. Так, например, определяя вероятности появления в языке слов, словоформ или сочетаний, мы должны согласиться с тем, что практически число этих лингвистических единиц стремится к бесконечности.

Во-вторых, утверждать о равновероятности исходов лингвистического опыта обычно бывает весьма затруднительно.

118

К опытам, которые не могут быть исследованы на основе системы

Пусть произведена серия из N испытаний, в каждом из которых могло появиться или не появиться событие А. Тогда абсолютной частотой (или частотой) F называется число появлений события А,

При небольшом числе опытов частоты события носят непостоянный и случайный характер и могут изменяться от одной группы событий к другой. Например, в одном взятом наугад тексте из произведений Пушкина длиной в 100 слов формы глагола быть не появились ни разу, зато в другом отрывке той же длины этот глагол появился три раза и его относительная частота возросла до 0,03. Однако при последовательном увеличении объема выборки относительная частота глагола быть приобретает определенную устойчивость, приближаясь к величине 0,01 (см. табл. 5.1). Аналогичным образом получены относительные частоты (статистические вероятности) русских букв, показанные в табл 5.2.

Т а б л и ц а 5.1

Относительная частота глагола быть в русской художественной прозе (Пушкин, Тургенев, Бунин)

119