4.6.4. Приобретение знаний из текстов

Как было указано в параграфе 4.3, даже ручные методы выявления знаний из тек­ста крайне слабо разработаны. В тех же немногих случаях, когда применяются автоматизированные методики, речь, как правило, идет о методах лексико-семантического анализа, а также о моделях понимания текста.

Наибольшую известность имеют модели понимания на лингвистическом уровне. Системы, основанные на них, состоят в большинстве случаев из двух частей:

• первая - морфологический и синтаксический анализ;

• вторая - семантический анализ, который использует результаты работы пер­вой части, а также словарную или справочную информацию для построения формализованного образа текста.

Говоря о семантическом анализе текста, надо иметь в виду, что всякие отношения текста с его семантикой начинаются после того, как в нашем распоряжении ока­зывается некоторая модель действительности. Объектами этой модели, в частно­сти, могут являться индивиды и отношения.

Таким образом, первая проблема, возникающая при попытках автоматического извлечения знаний из текста, - это выявление свойств элементов текста для со­отнесения этих элементов с объектами модели. Крайне редко эти свойства при­сутствуют в тексте эксплицитно, то есть явно.

Вторая особенность существующих систем анализа текста - это, как правило, необходимость использования словаря предметной области для выполнения морфологического анализа, выделения имен и словосочетаний и т. д. Однако тре­бование предварительного создания словаря предметной области одновременно сильно осложняет задачу и уменьшает степень универсальности получаемой сис­темы.

Понимание текста на семантическом уровне предполагает выявление не только лингвистических, но и логических отношений между языковыми объектами [Апресян, 1974]. Среди подходов к пониманию текста на семантическом уровне следует выделить модели типа «смысл - текст», в частности, модель семантик предпочтения [Wilks, 1976], модель концептуальной зависимости [Хейес-Рот и др., 1987]. В модели «смысл - текст» [Мельчук, 1974] предлагается семантичес­кое представление на основе семантического графа и описания коммуникатив­ной структуры текста.

В системе KRITON [Diderich, Ruchman, May, 1987] анализ текста используется для выявления хорошо структурированных знаний из книг, документов, описа­ний, инструкций. Основанный на контент-анализе метод протокольного анализа используется для выявления процедурных знаний. Он осуществляется в пять шагов.

1. Протокол делится на сегменты на основании пауз, которые делает эксперт в процессе записи.

2. Семантический анализ сегментов, формирование высказываний для каждого сегмента.

3. Из текста выделяются операторы и аргументы.

4. Делается попытка поиска по образцу в БЗ для обнаружения переменных в высказываниях (переменная вставляется в высказывание, если соответствую­щая ссылка в тексте не обнаружена).

5. Утверждения упорядочиваются в соответствии с их появлением в протоколе.

В системе ТАКТ (Tool for Acquisition of Knowledge from Text) [Kaplan, Berry-Rogghe, 1991] предполагается предварительная подготовка (разметка посредством введения явной скобочной структуры) предложений текста до начала работы тек­стового анализатора. В результате анализа выделяются объекты, процессы и от­ношения каузального характера.

4.6.5. Инструментарий прямого приобретения знаний SIMER + MIR

Программная система SIMER + MIR, разработанная в ИПС РАН под руководством Осипова Г. С. [Осипов, 1997], представляет собой совокупность программных средств для формирования модели и базы знаний предметной области. Система ориентирована преимущественно на области с неясной структурой объектов, с неполно описанным множеством свойств объектов и богатым набором связей различной «связывающей силы» между объектами.

Одна из особенностей системы состоит в том, что ее использование на заключи­тельном этапе не предполагает участия специалистов-разработчиков экспертных систем. Это означает, что система SIMER + MIR представляет собой технологию создания систем, основанных на знаниях о предметной области, причем техноло­гию, ориентированную на экспертов.

Архитектура. Система SIMER + MIR включает модуль прямого приобретения знаний SIMER, систему моделирования рассуждений типа аргументации MIR, программу адаптации системы MIR к базе знаний, сформированной с помощью SIMER + и программной среды поддержки базы знаний, над которой работают все названные модули. Конструкции базы знаний создаются и просматриваются с помощью языка инженера знаний FORTE, который включается в технологию в специальных случаях (рис. 4.17).

Рис. 4.17. Создание конструкции базы знаний с помощью языка FORTE

Представление и база знаний. Одним из наиболее распространенных видов экс­пертизы являются высказывания (сообщения) эксперта об объектах (событиях) предметной области. Эти высказывания имеют вид:

< имя объекта > < имя отношения > < имя объекта >.

Для ряда областей - медицины, экологии, политики, социологии - можно выде­лить формы сообщений, показанные в табл. 4.6:

Таблица 4.6. Формы сообщений

Номер формы	Имя формы
Ф1	характерно для
Ф2	наблюдается при
Ф3	отмечается при
Ф4	есть проявление
Ф5	есть признак
Ф6	сопровождает
Ф7	нередко сопровождается
Ф8	При нередко присутствует
Ф9	может наблюдаться при
Ф10	обычно сопровождается
Ф11	При как правило
Ф12	При обычно
Ф13	иногда сопровождается
Ф14	часто сопровождается
Ф15	исключает
Ф16	приводит к
Ф17	При возникает
Ф18	может привести к
Ф19	может развиваться в
Ф20	С начинается
Ф21	развивается при
Ф22	может развиваться при
Ф23	может начаться с

Этот список не является исчерпывающим, однако дает представление о тех ког­нитивных структурах, которые необходимо представлять и обрабатывать в базе знаний.

Каждая из этих форм может иметь различный смысл; уточнение смысла можно получить при рассмотрении «прямого» сообщения с «обращенным». Иными сло­вами, если для некоторых фиксированных или справедливо сообщение фор­мы Ф₁₀, то необходимо попытаться установить, какое из сообщений Ф₁ - Ф₂₃ справедливо при замене на , на . Так, для сообщения «Гром наблюдается при грозе» справедливо «обращенное» сообщение «Гроза сопровождается гро­мом», а для сообщения «Воспалительный процесс может наблюдаться при повы­шенной температуре» справедливо сообщение «Повышенная температура ха­рактерна для воспалительного процесса». Таким образом, смысл сообщений уточняется построением «конъюнкций» форм Ф₁ - Ф_23. Такие «конъюнкции» форм сообщений будут называться типами сообщений. Возможные типы сообще­ний приведены в табл. 4.7.

С каждым типом сообщения из табл. 4.7 связывается формальная конструкция базы знаний, то есть бинарное отношение на множестве объектов (событий). Эти конструкции можно проиллюстрировать следующим образом: если каждый объект (событие) представить в виде «двухмерного» множества, по первому из­мерению которого можно откладывать атрибуты этого объекта, а по второму - множества значений соответствующих атрибутов, то каждый объект представляется в виде фигуры:

Таблица 4.7. Типы сообщений

Тип	Сообщение
Т1	есть проявление , и может сопровождать
Т2	есть проявление , и сопровождается
Т3	может увеличивать возможность , и увеличивает возможность
Т4	может сопровождаться , и может быть проявлением
Т5	сопровождается , и может быть проявлением
Т6	есть проявление , и есть проявление
Т7	может увеличивать возможность , и может увеличивать возможность
Т8	может протекать с , и может протекать с
Т9	увеличивает возможность , и увеличивать возможность
Т10	сопровождается , и может сопровождает
Т11	сопровождается , и сопровождаться
Т12	исключает ,. и исключает
Т13	приводит к
Т14	может привести к
Т15	увеличивает возможность развития
Т16	может увеличить возможность развития
Т17	исключает возможность развития

Если считать множества всех атрибутов равновеликими, то можно рисовать пря­моугольники.

Тогда типу сообщения Т₁ можно поставить в соответствие диаграмму (пересече­ние и всюду далее заштриховано).

В качестве примера приведем интерпретации некоторых диаграмм. Так, диаграм­му, соответствующую сообщению типа Т₃, можно интерпретировать следующим образом: для всякого примера объекта качестве примера приведем интерпрета­ции некоторых диаграмм. Так, диаграмму, соответствующую сообщению типа Т₃, можно интерпретировать следующим образом: для всякого примера объекта найдутся такие примеры объекта , в которых равны совпадающие имена и значе­ния атрибутов.

Для остальных типов сообщений получим диаграммы, представленные в табл. 4.8.

Таблица 4.8. Диаграммы для различных типов сообщений

Для сообщения типа Т₈: для всякого имени атрибута примера объекта найдется совпадающее с ним имя атрибута из примера объекта , и наоборот; при этом со­ответствующие значения атрибутов равны. Найдутся такие примеры объекта , в которых равны совпадающие имена и значения атрибутов.

Каждой из изображенных диаграмм можно дать такую теоретико-множествен­ную интерпретацию, связав с каждым из типов сообщений Т_i, некоторое бинарное отношение R_k примеров объектов (при k = i).

Способ представления с определенными так отношениями называется неодно­родной семантической сетью.

В реализации базы знаний основными элементами структур данных являются элементы «вершина», «элемент кортежа», «атрибут», «цепь», «стрелка». Элемент «вершина» соответствует объекту (событию), он содержит имя, списки входных и выходных «стрелок» и список типа «элемент кортежа». Список «элементов кор­тежа» соответствует совокупности атрибутов события.

Для обеспечения простого способа определения указателя «вершины» существу­ют элементы типа «цепь». Элемент типа «цепь» содержит указатель на «верши­ну» и указатель на следующий элемент типа «цепь». Указатель на первый элемент списка «цепь» входит в описание элемента типа «атрибут». «Атрибут» характе­ризуется также именем, множеством значений и единицей измерения.

Отношения на множестве объектов реализованы в элементах типа «стрелка». Каждый такой элемент содержит имя, сорт, вес, тип веса, указатель на «вершину» и указатель на следующий элемент типа «стрелка». Отношения на двух объектах описываются парой элементов типа «стрелка», один из которых входит в список входящих стрелок одного объекта, другой - в список входящих стрелок другого объекта.

Процедурная компонента системы содержит функции создания структур дан­ных, поддержки корректности базы знаний, наследования свойств и ряд других функций. Для обеспечения поиска по именам элементов типа «вершина» и «ат­рибут» в системе реализовано В-дерево. Доступ ко всем элементам базы осуще­ствляется через виртуальную память. Каждый элемент имеет внутренний иден­тификатор, по значению которого однозначно определяется его размещение в оперативной или внешней памяти. Для работы с объектами, отсутствующими в оперативной памяти, осуществляется их динамический перенос из внешней па­мяти в оперативную. Это позволяет системе работать на компьютере с ограничен­ным объемом оперативной памяти.

Прямое приобретение знаний в системе SIMER

Для выявления структурных знаний о предметной области используются страте­гии разбиения на ступени и репертуарных решеток. Подробнее о репертуарных решетках см. параграф 5.2.

Стратегия разбиения на ступени направлена на выявление структурных и клас­сификационных свойств событий (понятий, объектов) области и таксонометрической структуры событий предметной области.

Стратегия разбиения на ступени реализуется в одном из двух сценариев, который выбирается экспертом

1. «Имя - свойство».

2. «Множество имен - свойство».

Сценарий «Имя - свойство»

1. Вопрос системы об имени события.

2. Сообщение эксперта об имени события.

3. Вопрос системы об имени свойства.

4. Сообщение эксперта об имени свойства.

5. Вопрос системы о существовании множества значений свойства.

6. Ответ эксперта (Да/Нет).

7. В случае отрицательного ответа имя свойства воспринимается как имя события.

8. Если имя события, образованного на шаге 3, отсутствует в базе знаний, то это событие рассматривается как новое, и для него выполняются шаги 2-7.

9. Вопрос системы о типе множества значений свойства (непрерывное/дискретное).

10. Ответ эксперта.

11. Вопрос системы о единице измерения свойства.

12. Сообщение эксперта о единице измерения.

13. Вопрос системы о множестве значений свойства.

14. Сообщения эксперта о множестве значений свойства.

15. В процессе выполнения шагов 2-6 создается глобальный объект «имя свойства» и область его значений. Совокупность таких объектов будем называть базисом свойств области.

16. Вопрос системы о подмножестве значений свойства, характерного для описываемого события.

17. Сообщение эксперта о подмножестве значений свойства.

В результате выполнения шага 7 один из элементов базиса свойств связывается с описываемым событием (с указанием подмножества области значений элемента базиса, характеризующего описываемое событие).

Сценарий «Множество имен - свойство»

При работе сценария шаг 1 многократно повторяется, а затем выполняются шаги 2-7 для каждого имени события.

Стратегия репертуарных решеток направлена на преодоление когнитивной за­щиты эксперта. Механизм преодоления основан на выявлении его личностных конструктов. Каждый конструкт описывается некоторой совокупностью шкал, а каждая шкала образуется оппозицией свойств.

Наиболее эффективный способ выявления противоположных свойств - предъяв­ление эксперту триад семантически связанных событий с предложением назвать свойство, отличающее одно событие от двух других [Kelly, 1955]. На следующем шаге эксперту предлагается назвать противоположное свойство. Таким способом выявляются элементы множества личностных психологических конструктов кон­кретного эксперта.

С другой стороны, свойства, различающие события, - это те свойства, которые влияют на формирование решения. Так как при этом не ставится задача выявле­ния когнитивной организации индивидуального сознания эксперта, то описан­ная процедура используется для формирования базиса свойств области, а не для построения личностных конструктов. Пополнение базиса свойств области осу­ществляется путем повторения этой процедуры с другими триадами.

Пример 4.9

Например, эксперту в области представления знаний предъявляется триада понятий, описывающих способы представления: семантические сети, фреймы, системы продук­ций. Эксперту предлагается ответить на следующие вопросы:

Какой из указанных способов представления отличается от двух других?

системы продукций;

Какое свойство отличает системы продукций от семантических сетей и фреймов?

легкость описания динамики;

Назовите противоположное свойство свойству «легкость описания динамики»?

трудность описания динамики;

Дайте имя свойству, имеющему значения «легкость описания динамики» и «трудность описания динамики»?

возможность описания динамики.

В результате формируется шкала с именем «возможность описания динамики» и со значением «легкость описания динамики» для объекта «системы продукций»; «труд­ность описания динамики» для объектов «семантические сети» и «фреймы».

Предлагая эксперту аналогичные вопросы об отличии семантических сетей от систем продукций и фреймов, можно выявить и другие свойства базиса области.

Еще один пример - выявление каузальных знаний о предметной области. К кау­зальным знаниям о предметной области в соответствии с работой [Поспелов, 1986] относятся:

• связи между следствиями и необходимыми и достаточными причинами;

• связи между следствиями и достаточными причинами;

• связи между следствиями и необходимыми со-причинами; связи между след­ствиями и возможными со-причинами.

Будем понимать каузальные знания несколько шире, включив в рассмотрение, кроме связей событий настоящего с будущим и событий прошлого с настоящим, и связи между событиями настоящего. В соответствии с этим отнесем к каузаль­ным знаниям все типы сообщений из табл. 4.6.

Тогда задача выявления каузальных знаний сведется к установлению соответ­ствия между множеством типов сообщений и множеством отношений R₁ - R₁₇, то есть к поиску отображения Т в R. Для поиска этого отображения используется стратегия выявления сходства [Осипов, 1989]. Она основана на выявлении в ин­терактивном режиме алгебраических свойств сообщений Т_i, (таких как симмет­ричность - асимметричность, рефлексивность - иррефлексивность и других) и появлении на основании этого гипотез о принадлежности сообщений тем или иным отношениям R_k (именно эти свойства оказываются нужными при работе механизма рассуждений).

Пример 4.10

Например, относительно двух событий: «рост заработной платы» и «повышение уров­ня жизни» эксперт сообщил, что «рост заработной платы» обычно сопровождается «повышением уровня жизни». Тогда возникают вопросы:

а) повышение уровня жизни всегда сопровождается ростом заработной платы?

б) повышение уровня жизни обычно сопровождается ростом заработной платы?

в) повышение уровня жизни может сопровождаться ростом заработной платы?

Ответ эксперта а) будет свидетельствовать о том, что исходное сообщение относится к типу Т₂ табл. 4.6; ответ в) - исходное сообщение относится к типу Т₁₀ той же таблицы. Далее появляются гипотезы о том, что сообщение эксперта интерпретируется отноше­нием R₂ или R₁₀ в зависимости от ответа а) или в). Повышение степени достоверности такой гипотезы возможно при использовании стратегии подтверждения сходства [Осипов, 1989].

Стратегия подтверждения сходства является комбинированной, основанной на взаимодействии стратегий разбиения на ступени и выявления сходства, а также на анализе свойств событий (если они определены).

Например, в результате работы стратегии выявления сходства установлена принадлежность предыдущего примера отношению R₂. На основании определения отношения R₂ для всякого свойства первого события найдется единственное свойство второго события, и наоборот, так что область значения свойства первого события является подобластью области значений соответствующего свойства второго события. В случае выполнения этого условия гипотеза о принадлежнос­ти предыдущего примера отношению R₂ считается достоверным утверждением, в противном случае запускается стратегия разбиения на ступени с целью выявле­ния новых свойств событий, для которых было бы верно это условие. Если, несмотря на это, условие достоверности не выполняется, то статус гипотезы сохраняется, однако в базе знаний системы появляется информация о некорректности соответствующей связи между событиями. Эта информация ограничивает возможность использования построенной связи, например, с точки зрения механизма наследования свойств. При работе стратегий выявления и подтверждения сходства сценарий работы называется системой.

Моделирование рассуждений в системе MIR

Введем следующие обозначения:

• О — опрос признаков из множества S;

• П — порождение множества гипотез Г;

• И — исключение множества гипотез Г.

Элементы данных типа «стрелка», соответствующие отношению R_l2, будем называть отрицательными связями, остальные - положительными.

Работа системы MIR начинается с работы модуля О, затем модуль П строит множество гипотез Г на основе анализа положительных связей S с Г для подтвержден­ных признаков S. Множество гипотез Г используется модулем О для порождения нового множества признаков S₁ связанных с гипотезами из Г положительными связями, и осуществления их тестирования. К подтвержденным признакам из S₁ применяется модуль П для порождения нового множества гипотез Г₁. Выполняются операции Г: = Г Г₁, S: = S S₁. Этот процесс продолжается итеративно до стабилизации множества S и Г. Затем выполняется модуль И исключения гипотез из Г на основе анализа отрицательных связей для подтверждения симптомов и анализа положительных связей для обусловленных признаков, то есть таких неподтвержденных признаков; отсутствие которых имеет большее значение для принятия решения, чем их присутствие.

Если в результате выполнения модуля И во множестве гипотез осталось более одной гипотезы, то выполняется поиск дифференциальных признаков для под­множеств множества гипотез (дифференциальным признаком для некоторого множества гипотез называется значение свойства, характерное для одной гипо­тезы из множества и нехарактерное для других, или событие, связанное положи­тельной связью с одной гипотезой из множества и не связанное таковой с други­ми). В результате этого процесса происходит исключение соответствующих гипотез. При необходимости процедура повторяется для оставшегося множества гипотез до его стабилизации.

После выполнения еще нескольких модулей осуществляется анализ полученного множества гипотез с целью поиска его минимального подмножества, связанного положительными связями со всеми подтвержденными признаками и тем самым объясняющего их. Это последнее множество и считается окончательным резуль­татом.