28. Аналіз тексту в цілому. Характеристика етапу

синтаксичну структуру, яку отримуємо після синтаксичного аналізу називають поверхневою, після якої потрібно будувати глибинну структуру.

Побудова глибинних структур дозволяє на їх основі будувати семантичну структуру речення, використовуючи додаткову інфу.

На семантичному рівні теж теж розглядаються поверхневі і глибинні семантичні структури. Поверхневий рівень відповідає глибинній синтаксичній структурі, а глибинна семантична структура передає цілий клас однотипних ситуацій.

29. Поняття автоматизована система опрацювання текстів. Характеристика основних підходів до її розробки

АСОТ – лігвістична інтелектуальна система, призначена для аналізу будови тексту на морфологічному, синтаксичному, семантичному рівнях та ідентифікації складників тексту в термінах відповідних модулів компютерної граматики. Виділяють два основних підходи:

1)словниковий-передбачає створення допоміжних лінгвістичних баз даних(словників) для виконання розроблених алгоритмів.

2)безсловниковий(незалежний) – передбачає представлення всіх потрібних відомостей про мовні одиниці у вигляді алгоритмічних правил.

30. Які задачі вирішує модуль ама в системах автоматичного опрацювання текстів природною мовою

АМА передбачає здійснення:

-морфологічного аналізу (встановлення по словоформі-лексеми, а також морфологічних характеристик доної словолформи)

- морфологічний синтез словоформ(задача зворотнього співставлення знаходження форми заданого слова за відмінком, родом...)

-виявлення та виправлення помилок в тексті(встановлення існування чи неіснування даної словоформи в мові та знаходження за помилковою словоформою вірних словоформ)

-нормалізація слів

-автоматичне виявлення словарних характеристик нових слів

Під автоматичним визначенням орфографічних помилок ми встановлюємо чи належить дана словоформа до тої чи іншої мови.

При автоматичному виправленні помилок ми за помилковою словоформою шукаємо близьку до даної.

Важливе значення при розробці аналізаторів має швидкодія

31. Загальна умовна структура системи ама

32. Основні принципи розробки систем ама

-точна морфологія(використання морфологічних словників великого обєму)

ми маємо морфологічний словник, що містить основні словоформи даної мови і кожній словоформі ставиться у відповідність якийсь код. На основі системи правил можна побудувати всі словоформи мови.

-неточна морфологія(викоримтовуються системи правил, що допомагають вситановлювати морфологічні характеристики заданої словоформи)

наявність тих чи інших морфем може чітко вказати на певні морфологічні характеристики.

-ймовірнісний підхід(аналіз поєднуваності словоформи з іншими словоформами)

the love іменник

to love любити

33.34.35 Основні групи методів ама

1)МА зі словником основ(34)

крім словника основ слів використовуються і допоміжні таблиці. Словник основ містить основи простих і сладних слів. Якщо слово має декілька основ, то словник містить усі. Кожній основі словника ставиться у відповідність сполучення коду основозмінного класу і коду флективного класу, а омонімічній основі – серія сполучень таких кодів.. аналіз починається з морфемного аналізу і увага звертається на флекцію. Визначається основа слова, замінюється її буквений склад порядковим номером за словником і визначається граматична інфа слова.

2)МА зі словником словоформ(35)

метод дуже простий. Маємо слово і шукаємо відповідні йому характеристики. В результаті аналізу ми отримуєм граматичну інформацію аналізованої словоформи, а також і її канонічний варіант. Якщо слово відсутнє у словнику тои аналіз нових слів проводиться з використанням морфемного аналізу. Метою такого аналізу є поділ слова на окремі морфеми(префікси, корені, суфікси і закінчення) і ці лексеми –морфи надають інформацію про граматичні дані слова. Маємо словник словник морфем , маємо множину всіх лексем. Формуємо новий словник морфем з вказаннням типів цих морфем. Префікс йде на початку слова , закінчення в кінці. Звичайно такі словники доповнюють модулями(таблицями, правилами словоформи)

3)МА шляхом логічного множення

4)МА без словника за допомогою таблиць