2. Вероятностная модель текста и ее исследование

2.1. Понятие математического ожидания случайной функции, нового события и кривой роста новых событий

Одним из наиболее эффективных методов изучения статистических закономерностей такого сложного объекта, каким является текст, написанный человеком, является метод построения моделей. Текст в первом приближении можно рассматривать как случайную последовательность словоупотреблений. В этой весьма упрощённой модели текста не учтены грамматические и семантические связи, существующие между словами. Однако, как показывают исследования [31, с. 57–58], в реальном тексте эти связи проявляются довольно слабо и действуют на весьма близком расстоянии. Следовательно, они не могут оказать существенного влияния на характер некоторых количественных закономерностей текста.

После выявления характера этих закономерностей (на основе исследования упрощённой модели текста) и опытной проверки полученных результатов можно будет построить более точную модель, учитывающую грамматические и семантические связи между словами реального текста, и, более того, найти для них количественную меру.

Итак, в качестве вероятностной модели текста будем рассматривать один класс случайных функций, описывающих статистическую зависимость между числом произведенных испытаний и числом наступивших при этом разных событий. Чтобы составить более полное представление об этом классе случайных функций, рассмотрим следующую схему испытаний.

Пусть имеется n несовместных событий, составляющих полную группу, причём, вероятности каждого из n событий заданы и равны p₁, p₂,…, p_n. Пусть далее производятся независимые испытания, в каждом из которых может наступить любое из n разных событий. Если произвести достаточно большое число испытаний, то отдельные события могут наступить более одного раза. Условимся считать новым любое из n разных событий при первом его появлении от начала испытаний. Тогда число наступивших разных событий будет равно числу новых событий.

Результаты испытаний можно представить на графике. Будем откладывать по оси абсцисс число произведенных испытаний Х, а по оси ординат – число наступивших при этом разных (новых) событий Y. Построенные таким образом точки для наглядности можно соединить отрезками прямых. В результате получим ломаную, которая будет представлять собой реализацию случайной функции Y(X).

Если же каждому числу испытаний Х поставить в соответствие неслучайную величину – математическое ожидание числа наступивших разных событий M[Y], которое является функцией вероятностей p₁, p₂,…, p_n и числа испытаний Х, то таким же способом можно построить график математического ожидания случайной функции M[Y(X)], который также будет представлять собой ломаную.

Эту ломаную можно аппроксимировать непрерывной плавной кривой y=f(x), которую будем называть кривой роста новых событий.

Таким образом, кривая роста новых событий – это непрерывная кривая y=f(x), аппроксимирующая математическое ожидание случайной функции M[Y(X)].

Графическим изображением математического ожидания случайной функции является некоторая средняя линия, около которой располагаются возможные реализации случайной функции.

В качестве примеров случайных функций, принадлежащих рассматриваемому классу, можно привести статистические зависимости между следующими величинами:

– объемом выборки в словоупотреблениях и количеством разных слов (словоформ или лексем);

– количеством книговыдач и количеством разных наименований выданных книг;

– количеством пойманных особей мотыльков и количеством разных их видов (из числа попавших в ловушку);

– количеством отказов элементов некоторой системы (отказавший элемент сразу заменяется исправным) и количеством разных отказавших элементов;

– количеством цифр, взятых подряд из таблицы случайных чисел, и количеством разных отобранных цифр;

– количеством информационных запросов (с учетом их повторяемости) и количеством разных запросов;

– количеством поданных заявок на изобретения и количеством выданных авторских свидетельств и т.д.

Из приведенных примеров видно, что такого рода зависимости имеют место не только в математической лингвистике, но и в информатике, библиотечном деле, биологии, технике, математической статистике и т.д.

Отметим, что в опыте можно наблюдать лишь некоторую реализацию (траекторию) случайной функции. Ниже будут рассматриваться математическое ожидание случайной функции (во взаимосвязи с законом распределения вероятностей n разных событий, составляющих полную группу) и аппроксимирующая его кривая роста новых событий, которые на первом этапе исследований принимаются в качестве вероятностных моделей текста.