8.1.2. Задачи обработки текстов на естественном языке

Для понимания текстов на естественном языке необходима в ИИС система знаний, на основе которой и происходит понимание текста. При восприятии текста сначала формируется его промежуточное ког­нитивное представление. Это представление является не конечным результатом, а лишь средством, по­зволяющим соотносить информа­цию, содержащуюся в сообщении, с системой знаний, на основе чего происходит ее понимание. Далее формируется целостное представле­ние о содержании текста как о фраг­менте действительности, описываемом этим текстом.

Можно считать, что система понимает текст, если она может, во-первых, отвечать на все прямые вопросы по этому тексту и пополнять информацию, содержащуюся в тексте, теми знаниями о действительности, которые хранятся в ее БЗ, и, во-вторых, «представлять» то множество ситуаций, которые могли бы соответствовать введенному в нее тексту в реальном мире.

Основные задачи обработки текстов на ЕЯ представлены в табл. 8.1.

Таблица 8.1

Задачи обработки текстов на ЕЯ

Задачи	Содержание
Машинный перевод	Анализ и синтез ЕЯ-текстов (двуязычные словари, организация пословного перевода) Привлечение синтаксиса ЕЯ и теории трансформационных грамматик
Вопросно-ответ­ные системы	Формальные описания и алгоритмическое обеспечение обра­ботки текстов (логико-семантические отношения)
Системы общения с ЭВМ на ЕЯ	Математическое, структурно-логическое содержание диало­говых процедур (лингвистическая теория)
Решатели задач, оформленных на ЕЯ	Набор правил о лингвосемантических отношениях между тек­стовыми единицами

Система понимания ЕЯ-текстов должна, как минимум, выделять из текста отдельные термины, обозначающие объекты и их свойства, а также использовать отношения между терминами, уточняющими их роль в том контексте, в котором они встретились. При этом наиболее важными являются два типа отношений: выражающие связи, постоян­но существующие между языковыми единицами; выражающие связи между языковыми единицами, возникающими в конкретном тексте.

8.1.3. Уровни понимания текста на естественном языке

Очевидно, что объем информации в тексте, информации, которая по­могает понимать текст и сопровождает его, объем БЗ и т.п. определяют уровни понимания текста. Введем ряд обозначений:

— текст на естественном языке, представ­ленный для ввода в систему;

— расширенный текст, включающий ус­ловия его порождения в некоторой среде;

— расширенный текст, включающий все невербальные (несловесные) компоненты, относящиеся к субъекту, порождающему текст;

— правила пополнения текста, опи­рающиеся на его структуру;

— правила пополнения текста, опираю­щиеся на знание о коммуникации и психологии личности;

— правила коммуникации (знания об организации общения, о целях участников общения, о нормах участия в общении);

— ответ, формируемый системой;

— знания, хранящиеся в БЗ;

— факты, хра­нящиеся в базе фактов;

— правила порождения знаний из фактов;

— метафорические знания;

— правила порождения знаний ме­тафорического уровня.

Предположим, что на вход ИИС поступает текст . Будем говорить, что ЕЯ-система понимает текст, если она дает ответы, правильные с точки зрения человека, на любые вопросы, относящиеся к тому, о чем говорится в тексте. Можно выделить пять основных уровней понимания и два уровня метапонимания.

Первый уровень характеризуется схемой , показывающей, что любые ответы на вопросы система формирует только на основе прямого содержания, введенного из текста .

Второй уровень характеризуется схемой . На втором уровне добавляются средства логического вывода, основанные на ин­формации, содержащейся в . Это разнообразные логики текста (вре­менная, пространственная, каузальная и т.п.), которые способны поро­дить информацию, явно отсутствующую в тексте.

Третий уровень характеризуется схемой . К средствам второго уровня добавляются правила пополнения текста знаниями системы о среде. Эти знания как правило носят логический характер и фиксируются в виде сценариев или процедур иного типа.

Четвертый уровень характеризуется схемой . Вме­сто текста в ней используется расширенный текст , который порож­дается лишь при наличии двух каналов получения информации. По одному в систему передается текст, по другому — дополнительная ин­формация. При человеческой коммуникации роль второго канала, как правило, играет зрение. Более одного канала коммуникации имеют интеллектуальные работы, обладающие зре­нием. Зрительный канал коммуникации позволяет фиксировать состоя­ние среды «здесь и сейчас» и вводить в текст наблюдаемую инфор­мацию. Система становится способной к пониманию текстов, в кото­рые введены слова, прямо связанные с той ситуацией, в которой по­рождается текст.

Пятый уровень характеризуется схемой . Для ответа на этом уровне кроме текста используется информацию о кон­кретном субъекте, являющемся источником , и хранящуюся в памяти системы общую информацию, относящуюся к коммуникации. Теория, соответствующая пятому уровню, — это так называемая теория речевых актов.

Для четвертого и пятого уровней понимания интересны результа­ты по невербальным (несловесным) компонентам общения и психоло­гическим принципам, лежащим в основе общения. Кроме того, в входят правила вывода, опирающиеся на знания о данном конкретном субъекте общения, если такие знания у системы есть. Например, систе­ма может доверять данному субъекту, считая, что порождаемый им текст истинен. Но может не доверять ему и понимать текст, корректируя его в соответствии со своими знаниями о субъекте, породившем его. Зна­ния такого типа должны опираться на психологические теории обще­ния, которые пока развиты недостаточно для их успешной формализации.

Первый метауровень характеризуется схемой . На этом уровне происходит изменение содержимого базы знаний. Она по­полняется фактами, известными системе и содержащимися в тех тек­стах, которые в систему введены. Разные ИИС отличаются друг от друга характером правил . Во всех случаях база знаний оказывается априорно неполной и в таких ИИС возникают трудности с поиском ответов на запросы. В частности, в БЗ становится необходимым немонотонный вывод.

Второй метауровенъ характеризуется схемой . На этом уровне происходит порождение метазнания. Правила , используемые для этих целей, представляют собой специальные процедуры, опирающиеся на вывод по аналогии и ассоциации.

Если рассматривать уровни и метауровни понимания с точки зрения архитектуры ИИС, то можно наблюдать по­следовательное наращивание новых блоков и усложнение реализуемых ими процедур. На первом уровне достаточно лингвистического процессора с БЗ, от­носящихся только к самому тексту. На втором уровне в этом процессо­ре возникает процедура логического вывода. На третьем уровне необходи­ма база знаний. Появление нового канала информации, который рабо­тает независимо от исходного, характеризует четвертый уровень. Кроме процедур, связанных с работой этого канала, появляются процедуры, увязывающие между собой результаты работы двух каналов, интегрирующие информацию, получаемую по каждому из них. На пятом уровне развитие получают разнообразные способы вывода на знаниях. На этом уровне становятся важными модели индивидуального и группо­вого поведения. На метауровнях возникают новые процедуры для ма­нипулирования знаниями, которых не было на более низких уровнях понимания.