Сложность при обработке текстов
•полисемия — наличие у одной единицы языка нескольких связанных между собой значений;
•синонимия — полное или частичное совпадение значений разных единиц;
•омонимия — совпадение по форме двух разных по смыслу единиц (в отличие от полисемии нет смысловой связи между совпавшими по форме единицами).
Сложность при обработке текстов
Виды омонимии
•лексическая омонимия означает одинаково звучащие и пишущиеся слова, не имеющие общих элементов смысла;
•морфологическая омонимия — совпадение форм одного
и того же;
•лексико-морфологическая омонимия возникает при совпадении словоформ двух разных лексем;
•синтаксическая омонимия означает неоднозначность синтаксической структуры, что приводит к нескольким интерпретациям.
Сложность при обработке текстов
Классы омонимии
•неоднозначные по параметрам — в анализе присутствуют словоформы с различными множествами грамматических параметров, но совпадающей леммой и частью речи;
•неоднозначные по части речи — в анализе присутствуют словоформы, совпадающие по лемме, но отличающиеся по части речи. Так как части речи не совпадают, то наборы параметров у словоформ также будут отличаться. В связи с этим сравнение параметров проводиться не может.
Сложность при обработке текстов
Классы омонимии
•неоднозначные по лемме — в анализе присутствуют словоформы, отличающиеся по лемме, но имеющие одинаковую часть речи. Здесь параметры могут как совпадать, так и отличаться;
•неоднозначные по части речи и лемме — в анализе присутствуют словоформы, отличающиеся как по лемме, так и по части речи. Сравнение параметров здесь также
проводиться не может.
Подходы для создания лингвистических
процессов
•основанный на правилах (rulebased);
•инженерный, и основанный на машинном обучении
(machine learning).
Признаковой модели
•BOW (bag of words — мешок слов);
•статистическая языковая модель (Language Model).
Архитектура систем NLP
•блок анализа речевого сообщения пользователя;
•блок интерпретации сообщения;
•блок порождения смысла ответа;
•блок синтеза поверхностной структуры высказывания;
•диалоговый компонент.
Архитектура систем NLP
Блок анализа речевого сообщения пользователя
•определение информации, которую следует передать пользователю;
•предполагаемое членение информации на «порции», соответствующие предложению;
•определение последовательности «порций» смысла;
•построение семантического представления отдельных предложений.
Архитектура систем NLP
Блок синтеза поверхностной структуры высказывания
•упаковка семантического представления высказывания в синтаксические структуры предложения;
•здесь играют существенную роль категории коммуникативной организации смысла высказывания — тема, рема, данное, новое.
Архитектура систем NLP
Задачи обработки текстов
•информационный поиск;
•извлечение информации;
•вопросно-ответные системы;
•диалоговые системы;
•машинный перевод;
•классификация и кластеризация.
