10545

ИСКУССТВЕННЫЙ ИНТЕЛЕКТ

•задача ИИ – компьютерное моделирование интеллектуальных функций;

•первая известная программа ИИ по обработке ЕЯ –

Система Т. Винограда (70-е годы).

6

ЕЯ

•ЕЯ – сложная система знаков, возникшая

для обмена информацией в процессе

человеческой деятельности и постоянно

изменяющаяся вместе с ней

7

Особенности ЕЯ

•разнообразие языков и языковые универсалии;

•две стороны знака: означаемое – означающее;

•сложность системы ЕЯ;

•взаимосвязь всех уровней;

•нестандартная сочетаемость (синтактика) единиц ЕЯ на всех уровнях;

•большая системность (число уровней);

•асиметрия связи единиц и выражаемых ими смыслов: полисемия, синонимия, омонимия.

8

Сложности ЕЯ

•комбинаторная система яз. знаков;

•многоуровневость системы ЕЯ;

•каждый уровень (подсистема) – правила сочетания

знаков;

•взаимосвязь уровней.

9

Уровни ЕЯ

1.Фонологический: звуки ( фонемы )/ буквы – незначащие единицы , средство различения др. единиц. 2.Морфологический – слова ( словоформы ).

•подуровень морфем.

3.Синтаксический – предложения (фразы) ЕЯ.

•подуровень словосочетаний;

•надуровень сверхфразовых единств ( ≈ абзацев) –

предложений, объединяющихся по смыслу.

10

Задача морфологического синтеза

•морфологический анализ — это получение леммы или основы (псевдоосновы) заданного токена, а при необходимости, морфологических параметров;

•морфологический синтез — это генерация нужной словоформы слова или всей его парадигмы по нормальной форме (или основе) и морфологическим характеристикам.

11

ДОПОЛНИТЕЛЬНЫЕ УРОВНИ ЕЯ

•семантический : набор элементарных единиц – сем;

•лексический : множество лексем (лексикон);

•дискурсивный (уровень связного текста): схематические структуры текстов (патентные формулы, деловые письма и

т.п.).

12

Сложность ЕЯ

•графематический анализ;

•морфологический анализ;

•постморфологический анализ: разрешение морфологической омонимии.

13

Различие морфологических модулей

•результату работы — лемма или основа с набором морфологических характеристик (род, число, падеж, вид, лицо и т.п.) заданной словоформы;

•методу анализа — с опорой на словарь словоформ языка или на словарь основ, либо же бессловарный метод;

•возможности обработки словоформы лексемы, не включенной в словарь.

14

Функциональные возможности

морфологических процессов

•выполняющие только лемматизацию или стемминг;

•определяющие часть речи;

•осуществляющие полный морфологический анализ, т. е.

лемматизацию и определение всех морфологических

характеристик словоформы;

•осуществляющие морфемный анализ, выделяющие морфы,

входящие в состав слова.

15