книги из ГПНТБ / Белоногов Г.Г. Автоматизированные информационные системы

Система разделителей, используемая при такой 'ор­ ганизации словаря, представлена в табл. 6.1. Строки этой

Т а б л и ц а 6.1

таблицы обозначены буквами русского алфавита, столб­ цы — числами, выражающими количество букв в слове, а в клетках записаны начальные номера слов для каж­ дого участка словаря, соответствующего сочетанию при­ знаков «длина слова» и «код первой буквы». Поиск на участке словаря может производиться последовательным просмотром буквенных кодов слов или способом «деле­ ния пополам». Попутно по адресам ячеек памяти опре­ деляются номера просматриваемых слов.

В памяти ЭВМ табл. 6.1 записывается в виде после­ довательности групп столбцов. Каждая группа столбцов размещается в 32 ячейках (по числу букв в алфавите), а количество столбцов в группе определяется емкостью ячейки памяти. В одной ячейке может быть записано

номеров слов, где М — длина ячейки в двоичных разря­ дах; г — длина кода номера слова; Е — оператор выделе­ ния целой части числа.

90

Форма записи разделителей в памяти ЭВМ для слу­ чая, когда в одной ячейке помещается три номера слова, иллюстрируется табл. 6.2. Обозначения строк и столбцов в этой таблице приведены для наглядности. В действи­ тельности они нигде не записываются.

91

Процедура выборки из таблицы разделителей началь­ ного номера слова, соответствующего сочетанию призна­ ков «длина слова» и «код первой буквы», включает оп­ ределение участка таблицы разделителей, где этот номер записан, выбор ячейки на участке и выбор нужной пози­ ции в ячейке.

Участок таблицы разделителей определяется но

в которой Ао — адрес ячейки, предшествующей первой

А0, а позицию номера слова в ячейке определяют по формуле

где символ Res обозначает операцию вычисления остатка при делении одного числа на другое. При прямом и об­ ратном поиске в словаре адрес буквенного кода слова определяется по его номеру с помощью формулы (6.1). Объем таблицы разделителей определяется согласно вы­ ражению

записывается по три номера слова, то под таблицу раз­ делителей необходимо отвести около трехсот ячеек. При этом для каждого сочетания признаков «длина слова» и «код первой буквы» отводится место под начальный но­ мер группы слов независимо от того, имеются ли в дей­ ствительности в словаре слова, обладающие этими приз­ наками.

Таким образом, в таблице разделителей, особенно в той ее части, которая откосится к длинным словам, оказывается значительное количество пустых клеток.

Число пустых клеток можно сократить, если двумер­ ную таблицу разделителей построить только для основ­ ной массы более коротких слов словаря, а для длинных слов использовать небольшую одномерную таблицу,

92

в которой разделительным признаком служит длина сло;- ва. Полное исключение пустых клеток из таблицы приве­

адресам участков словаря производится по сверткам ко­ дов слов (код свертки образуется из кода первой буквы и кода длины слова). Поиск на выделенном участке словаря производится последовательным просмотром буквенных кодов слов.

В ячейках) к которым адресуются по сверткам кодов слов, могут записываться не начальные адреса участков словаря, а начальные адреса групп адресных отсылок к отдельным словам этих участков. После обращения по свертке к группе адресных отсылок поиск в словаре про­ изводится последовательным сравнением соответствую­ щих этим отсылкам буквенных кодов слов с буквенным кодом искомого слова. Такой способ представления сло­ варя позволяет записывать буквенные коды новых слов

впроизвольные ячейки памяти, но он неудобен тем, что

впроцессе включения новых слов здесь требуется раз­ двигать 'Массив адресных отсылок. Этого можно избе­ жать, если применить цепной способ поиска (см. гл. 5),

который требует больше места для адресных отсылок, но зато позволяет располагать их в произвольном по­ рядке. По этому способу в ячейках, к которым обращают­ ся по сверткам кодов слов, записывается по две адрес­ ные отсылки. Первая отсылка является адресом буквен­ ного кода первого слова участка словаря, соответствую­ щего заданной свертке, а вторая отсылка (код связи) указывает место записи адреса буквенного кода второго слова. Адресные отсылки к буквенным кодам вторых, третьих и т. д. слов всех участков словаря записывают­ ся в отдельном массиве ячеек памяти. Эти ячейки также содержат по две адресные отсылки. Первая служит ад­ ресом буквенного кода некоторого п-го слова участка

кода (я+1)-го слова участка.

Поиск в словаре ведется среди группы слов, имею­ щих такой же код свертки, что и искомое слово. При этом адрес буквенного кода первого слова выбирается

93

по коду свертки, а адреса остальных слов в группе — по кодам связи.

В информационно-поисковых системах наряду со сло­ варями слов применяются словари словосочетании. Эти словари обычно хранятся в памяти машины в пословных кодах и каждому словосочетанию ставится в соответст­ вие его номер. Количество слов в словосочетаниях может быть различным. Соответственно этому пословные коды словосочетаний имеют разную длину и могут записы­ ваться в одной, двух и т. д. ячейках памяти ЭВМ.

Словосочетания могут упорядочиваться по различным признакам: по длине кодов, по численным значениям ко­ дов, по длине и по численным значениям кодоводновре­ менно и т. д. Для поиска в словаре могут применяться способы, рассмотренные в гл. 5 (способ деления пополам, способ разделителей и др.). Если состав словаря часто изменяется, то наиболее удобным оказывается узловой способ поиска. По этому способу словосочетания, содер­ жащие одинаковые коды слов, объединяются в ассоциа­ тивные цепочки. Каждое словосочетание может входить одновременно в несколько ассоциативных церочек (по числу слов, входящих в его состав), а общее число цепо­ чек определяется количеством разных слов, встречаю­ щихся в словаре словосочетаний. В адресной части сло­ варя (см. рис. 5.2) для каждого кода слова указывается адрес его первого вхождения в словосочетание. Обраще­ ние к адресной части производится по сверткам кодов слов. В качестве сверток могут быть выбраны, например, п младших разрядов кода слова.

Группы (узлы) адресных отсылок, представляющие в памяти машины словосочетания, могут иметь разную длину. Поэтому для обнаружения границ словосочетаний необходимо ввести разделительные знаки. В качестве таковых могут выступать кодовые комбинации, отличные от кодов адресных отсылок, или кодовые комбинации, записываемые в специально отведенные для этого участ­ ки ячеек памяти. Для удобства поиска в словаре рядом с каждой группой адресных отсылок, представляющей словосочетание, может записываться пословный код это­ го словосочетания.

94

Г л а в а 7 ТОЧНЫЕ ПРОЦЕДУРЫ МОРФОЛОГИЧЕСКОГО АНАЛИЗА И СИНТЕЗА СЛОВ

Морфологическая классификация слов

При автоматическом переводе текстовых сообщений с русского языка на информационный возникает задача отождествления различных форм одного и того же слова и получения к ним грамматической информации. Эта задача может быть выполнена как путем морфологиче­

встречающиеся) формы слов. Принципы автоматического отождествления слов и их синтез с помощью словаря словоформ описаны в работе [24] и здесь не рассматри­ ваются. В настоящей главе и гл. 8 основное внимание уделяется способам автоматического морфологического анализа и синтеза слов.

Различные способы морфологического анализа раз­ рабатывались в связи с задачей автоматического пере­ вода текстовых сообщений с русского языка на иностран­ ные или с иностранных языков на русский (см., например, работы [48, 62, 90, 133]). Мы проиллюстрируем идею морфологического анализа и синтеза русских слов на примере того алгоритма, который был разработан авто­ ром совместно с Т. С. Белоноговой и А. К. Родионовой

ипроверен на ЭВМ.

Врезультате морфологического анализа основы слов заменяются их порядковыми номерами по словарю и сопровождаются грамматической информацией, которую могут нести формы слов без учета окружения в тексте. Морфологический синтез слов является заключительным этапом процесса декодирования сообщений, записанных на информационном языке, в результате которого осу­ ществляется формирование буквенного кода слова по номеру основы и сопровождающей его грамматической информации. В основу построения алгоритмов автомати­ ческого морфологического анализа и синтеза положено разбиение всех слов на классы, определяющие характер изменения буквенного состава форм слов. Эти классы

условно названы м о р ф о л о г и ч е с к ими.

95

Изменения форм слов могут носить различный ха­ рактер. Они могут быть связаны как с изменением ос­ новы слова, так и с изменением его окончания. Измене­

ние окончаний является основным способом образова­ ния различных форм слов. В русском языке оно исполь­ зуется как самостоятельно, так и в сочетании с измене­ нием основ слов.

По характеру изменения буквенного состава все ос­ новы слов могут быть отнесены к одному из следующих

типа IV относятся, в частности, супплетивные формы слов (например, следующие формы слов: кто, кого, кем, что, чего, он, ему и др.).

Морфологические классы слов делятся на два вида: 1) основоизменительные классы, характеризующие систе­ му изменения основ, и 2) флективные классы слов. Флективные классы изменяемых слов выделялись на ос­ нове анализа их синтаксической функции и систем падеж­ ных, личных и родовых окончаний. Классы неизменяе­ мых слов выделялись только по синтаксическому принци­ пу. Список флективных классов слов приведен в табл. 7.1, а распределение частот их появления в текстах и в сло­ варях— в приложении 1.

По своей синтаксической функции изменяемые слова объединены в следующие группы: 1) существительные; 2) прилагательные; 3) глаголы в личной форме; 4) гла­ голы прошедшего времени, краткие прилагательные и причастия; 5) количественные числительные. Группа «существительные», в свою очередь, состоит из несколь­ ких подгрупп, выделенных по признакам рода и одушев­ ленности (для существительных мужского и женского рода). В каждой группе и подгруппе слова распределе­ ны по флективным классам.

Флективный класс может быть охарактеризован либо некоторой системой признаков, либо словом-представи- телем, которое является носителем этих признаков

96

Т а б л и ц а 7.1

ФЛ ЕКТИВНЫ Е КЛАССЫ СЛ О В

А. Существительные

Сущ ест вит ельны е м уж ского рода неодуш евленны е

* Символ . + * обозначает нулевое окончание.

П р о д о л ж е н и е т а б л . 7.1

99

fc . П р и л а г а т е л ь н ы е

Г. Глаголы прошедшего врем ени, краткие прилагательны е

ипричастия9