Пиотровский

Равенство (5.34) показывает, какова в среднем мера неопределенности и количество информации от выбора лингвистического элемента в позиции п, когда известна цепочка bn~l.

Если взаимосвязи элементов распространяются как угодно далеко, то энтропия (информация) на один лингвистический элемент составляет

Так как величины средней условной энтропии зависят от распределения вероятностей элементов на л-м шаге текста и от вероят-

которую несет буква при условиях, что: предшествующая ей буква

и фонемного алфавита сравнительно велик. Существуют также реалистичные способы оценки h для слов, словоформ и даже словосочетаний. Однако число комбинаций из пяти, шести и т. д. букв (фонем), не говоря уже о комбинациях из четырех, пяти и т. д. слов (слогов, морфем), растет так быстро, что для определения их условной энтропии требуется колоссальная счетная работа.

Поэтому необходимо искать косвенные методы, с помощью которых можно было бы достаточно быстро определить энтропию и информацию в различных частях текста. Этому требованию отвечает эксперимент по предсказанию букв неизвестного текста, опирающийся на субъективные оценки условных вероятностей этих букв (ср. § 3, п. 1) со стороны угадчика.

140

В основе этого метода лежит предположение, что в сознании носителя языка заложены достаточно полные сведения о вероятност- ных характеристиках нормы языка. На основании его лингвисти- ческого опыта в сознании угадчика формируется степень убежден- ности по поводу того, какие лингвистические единицы встречаются чаще, а какие — реже, и хотя «ранжирование» лингвистических элементов в сознании разных носителей языка может быть неоди- наковым, оно приближается при достаточно хорошем знании языка к некоторой оптимальной схеме.

Испытуемый или коллектив испытуемых угадывает текст, опираясь каждый раз на ранжированный спектр лингвистических единиц. Поэтому всю совокупность предсказаний можно рассматривать как некоторую систему лингвистических реакций, более или менее полно отражающую статистические процессы образования текста, за которыми стоят вероятностные свойства нормы языка.

Если осуществляется коллективное угадывание, то результаты его обрабатываются по формуле (5.33), причем вероятность опреде-

При индивидуальном угадывании по полной программе используются две формулы: по одной определяется верхняя граница интервала, в котором находится истинное значение информации:

Величины qi указывают на вероятность правильно угадать букву

сг-й попытки, a q0 есть вероятность достоверного продолжения. Результаты сокращенной программы угадывания обрабатывают-

ся по формуле

где Нщ есть неопределенность (энтропия) третьего порядка, значения остальных символов те же, что и в выражениях (5.37) и (5.38). Подробнее о психо-лингвистической стороне угадывания см. [23, с. 12—14].

Кроме того, делаются попытки выработать новые приемы расчета информации [23, с. 53—55]; [41, с. 258], в том числе и такие, которые не предусматривают обращения к вероятностному или тео- ретико-множественному подходу [53, с. 131—150].

5. Синтактическая информация и особенности ее распределе-

ния в тексте и слове. Полученные при алгоритмическом и вероят-

141

ностном подходе иформационные величины не измеряют семантики сообщения. Они ничего не говорят и о том, как интерпретирует содержание текста его получатель (прагматика сообщения).

Получаемые в результате психо-лингвистического или просто комбинаторно-статистического эксперимента величины являются синтактической (по иной терминологии — статистической или селективной) информацией и служат количественной мерой струк- турно-статистического разнообразия и свободы выбора лингвистического варианта. Это разнообразие и свобода выбора задаются в каждом участке текста системой и нормой языка. Вместе с тем результаты нашего эксперимента отражают и то разнообразие, которое существует внутри самой системы и нормы языка (ср. в этом смысле оценки энтропии распределений длин слогов и морфем, которые будут приведены в гл. 6).

Наблюдения над распределением синтактической информации

В частности, выясняется, что текст дает квантовое распределение информации. Очевидно, письменная и устная речь воспринимается и перерабатывается нашей памятью не непрерывно, а путем ритмической отдачи накопленных порций информаций. Периодичность обнаруживается и в информационном построении длинных слов. Похоже, что в качестве кванта синтактической информации выступает морфема — элементарная смыслонесущая единица текста (см. гл. 1, § 9, п. 3).

Выше было показано, что в письменном тексте основная часть информации размещается в начале слова. Концы слов, а у длинных слов и средние участки оказываются избыточными. Такое распределение объясняет не только механизм аббревиации, но проясняет также вопрос об установлении границы слова в тексте. Интерпретант текста (читатель или слушатель), принимая решение о правой границе слова, не опирается на граничные комбинации графем или фонем, а прогнозирует положение конца слова, исходя из его информационно нагруженного начала.

Неравномерностью распределения синтактической информации в слове можно объяснить и особенности развития некоторых языков. Сюда относится фонетическое выветривание середин и особенно концов слов, приводящее к ослаблению и разрушению флексий, а одновременно значительная сопротивляемость фонетическим изменениям начал слов и препозитивных служебных форм [27]; [37]; [58].

6. Контекстная обусловленность и избыточность текста. Если синтактическая информация выступает в качестве меры свободы выбора лингвистического варианта в данном участке текста, то контекстная обусловленность используется в качестве меры тех ограничений, которые накладывают на данный участок текста система и норма языка.

Контекстная обусловленность задается уже известным нам вы-

142

Значения синтактической информации и контекстной обусловленности сильно зависят от объема лингвистического алфавита (числа букв, фонем, слогов и т. п.), использующегося в данном языке. Поэтому при сравнении разных языков удобнее пользоваться взвешенной величиной контекстной обусловленности, которая не зависит от длины алфавита. Эта взвешенная величина называется избыточностью в данном участке текста:

Общая избыточность текстов данного языка или его разновидности определяется из равенства

Значения избыточности, полученные для семи языков и их разновидностей из экспериментальных значений 1Х и 1Ж [см. формулы (5.37) и (5.38)], показаны в табл. 5.5. Легко заметить, что все исследованные языки в целом имеют близкие значения избыточности. Вместе с гем явные расхождения обнаруживаются между^значениями

143

избыточности, характеризующими отдельные разновидности языка. В частности, высокую избыточность показывает в некоторых языках деловая речь. Вопрос о существенности расхождений в численных значениях избыточности по отдельным стилям мы рассмотрим в гл. 9.

7. Измерение смысловой информации в тексте. Колйчёствбнные оценки смысловой информации, содержащейся в тексте и в образующих его словах и словосочетаниях, можно получить, опираясь на значения синтактической информации и пользуясь идеей контекстной обусловленности.

В ходе эксперимента по угадыванию букв неизвестного текста было замечено, что свои гипотезы о наиболее вероятных продолжениях текста испытуемые строят, исходя из двух типов комбинаторных ограничений: комбинаторики фигур (букв и слогов) и комбинаторики знаков (морфем, слов, словосочетаний).

Эксперимент показывает, что уже на 4-м или 5-м буквенных

ваются ограничения в сочетаемости словосочетаний и предложений, затем появляются ограничения, связанные с комбинаторикой параграфов, глав, частей книги или статьи.

Таким образом, при угадывании букв, находящихся на достаточном удалении от начала текста, испытуемый опирается не на статистическую комбинаторику букв и слогов, а на смысловое (лекси- ко-грамматическое) построение текста. Поэтому если информация, извлеченная из начального участка экспериментального текста, выступает как количественная оценка дистрибуции (распределения) и статистики букв, то синтактическая информация, которая получается с удаленных от начала текста участков, служит отражением смысловой (семантико-прагматической) информации.

Эти соображения позволяют предложить некоторые приемы для

и мы хотим оценить количество информации, содержащееся в слове

щ.

Для решения этой задачи проведем коллективное угадывание сегмента текста W^s-Wk. Первый раз коллективу сообщено слово ы>1, стоящее перед контрольным сегментом. Второй раз угадывание начинается прямо со слова w2 (само собой разумеется, что между обоими угадываниями должно пройти достаточно времени, чтобы испытуемые забыли содержание текста; либо угадывания должны быть проведены в двух разных, но идентичных коллективах).

Естественно, что оба угадывания дадут разные результаты.

144

Получаемая в первом случае от контрольного сегмента информация

будет больше информации

полученной при условии, что испытуемым было известно слово wx. Разность

представляет собой количественную оценку той смысловой (семан- тико-прагматической) информации, которая содержится в слове Wi. Именно эта информация уменьшила неопределенность конт-

слову для разных языков, необходимо иметь средние оценки смысловой информации. Такие данные можно получить, усредняя оценки, снятые с большого количества разных контекстов. Однако даже предварительные результаты показывают, что в аналитических языках (французском и болгарском) слово несет меньше смысловой информации, чем это имеет место в синтетических (флективном русском и агглютинирующем эстонском) языках. Эти наблюдения согласуются с традиционными предположениями об информационной нагруженности слов в указанных языках.

Теперь попробуем оценить ту лексико-грамматическую информацию, которую содержит контекст. Для этого с помощью приемов, описанных в работах [23, с. 69—73, 81—82] и [26], определим количество синтактической информации, приходящееся на слово средней длины I, взятое вне контекста, т. е. 7 (ш^, и в контексте, т. е. 7 (wh). Кроме того, с помощью выражения

I (w0) = 11о (дв. ед.)

определим то количество информации, которое может нести цепочка длиной в I символов (букв) при условии, что все символы алфавита данного языка равновероятны и обладают неограниченными возможностями сочетаемости.

Тогда общая сумма контекстных ограничений, накладывающихся на слово в контексте, для верхней границы информации сос-

145

Контекстные ограничения К (wь) включают информацию, ко- торая характеризует вероятностную дистрибуцию букв и слогов (см. выше), а также ту синтактическую информацию, которая оце-

поскольку, уже начиная со второго слова, угадывание текста осуществляется на основе смысловой информации.

Доля лексико-грамматических связей контекста относительно общей суммы ограничений, накладывающихся на текстовое слово, т. е. выражение

K(wh)

может служить оценкой степени аналитичности языка. Значения А и другие контекстные оценки относительно четырех европейских языков приведены в табл. 5.7.

Т а б л и ц а 5.7

Контекстные оценки и процент аналитизма в некоторых индоевропейских языках

То, что значение коэффициента аналитичности А для английского языка.в полтора раза превосходит его значение в русском языке, хорошо согласуется с нашими представлениями о соотношении аналитизма и синтетизма в этих языках. Несколько неожиданным кажется малая величина коэффициента А в аналитическом

147

ГЛАВА б

ВЕРОЯТНОСТНОЕ МОДЕЛИРОВАНИЕ ПОРОЖДЕНИЯ ТЕКСТА

ИСОСТАВЛЯЮЩИХ ЕГО ЕДИНИЦ

§1. Повторение независимых испытаний в тексте

Как уже говорилось (см. гл. 5), при исследовании механизмов порождения текста результаты отдельного лингвистического испытания не представляют большого интереса. Изучение взаимо- действия системы, нормы и ситуации эксплицируется с помощью моделей теории вероятностей, предусматривающих осуществление массового эксперимента, при котором одно и то же лингвистическое испытание повторяется много раз. Эти повторяющиеся испытания образуют серии, в каждой из которых интересующее нас событие появляется или не появляется определенное число раз.

Так, например, при вероятностном исследовании норм употребления слова море в произведениях А. С. Пушкина нас не будет интересовать, употреблено ли это слово, скажем, в первом предложении на 100-й странице первого тома Академического издания сочинений поэта. Зато нам важно будет дать прогноз общего числа появлений этого слова в определенном числе (серии) предложений, СОСТАВЛЯЮЩИХ, например, текст «Евгения Онегина», либо образующих некоторую выборочную последовательность из писем поэта и т. д.

Выбор той или иной модели описания текста зависит от построения вероятностно-лингвистического,испытания и, в частности, от того, как организовано извлечение из текста отдельных его единиц.

1. .Повторная и бесповторная выборки. Рассмотрим следующий элементарный пример. Пусть из текста взято N фонем, среди которых п гласных и т согласных, и каждая из фонем записана на отдельную карточку; карточки положены в урну и перемешаны. Испытания, состоящие в извлечении из урны одной карточки, могут осуществляться по двум схемам.

Согласно условиям первой схемы каждая извлеченная карточка в о з в р а щ а е т с я в урну, после того как в протоколе фиксируется результат каждого испытания. При каждом последующем испытании вероятности появления гласной или согласной остаются неизменными. (Эти вероятности соответственно равны n/N и т!N.) Вероятностно-лингвистический эксперимент, оперирующий с последствиями взаимно независимых испытаний, в каждом из которых лингвистические события сохраняют свои безусловные вероят-

согласной при каждом последующем испытании зависит от результатов предшествующих извлечений. Таким образом, мы имеем здесь дело с зависимыми испытаниями, а вероятность исхода каж-

149