- •Чинники, що зумовили формування комп’ютерної лінгвістики як науки
- •Поняття кл. Історія розвитку кл
- •Зв’язки кл з іншими нелінгвістичними науками
- •Поняття кл. Основні напрямки кл
- •Основні напрямки кл. Комп’ютерна лексикографія
- •Основні напрямки кл. Аналіз текстів на природній мові
- •Історія розвитку та сучасний стан систем машинного перекладу
- •Прикладні системи розробку яких, забезпечує кл
- •Характеристика об’єкту досліджень в кл
- •Характеристика предмету досліджень в кл
- •Два типи моделей опису мовленнєвої діяльності. Розширена класифікація моделей
- •Класифікація моделей опису мовленнєвої діяльності
- •Етапи створення лінгвістичної моделі
- •Вимоги до побудови лінгвістичних моделей
- •Класифікація лінгвістичних моделей за способом побудови
- •Класифікація лінгвістичних моделей за способом аналізу мовних об’єктів
- •22. Система рівнів абстракції опису лінгвістичних явищ в кл
- •23. Критерії вибору формалізму для представлення лінгвістичних явищ в кл
- •24. Граматики, що використовуються для опису в кл
- •25.Загальна схема опрацювання текстів на природній мові
- •26. Аналіз окремих слів. Характеристика етапу
- •27. Аналіз окремих речень. Характеристика етапу
- •28. Аналіз тексту в цілому. Характеристика етапу
- •29. Поняття автоматизована система опрацювання текстів. Характеристика основних підходів до її розробки
- •30. Які задачі вирішує модуль ама в системах автоматичного опрацювання текстів природною мовою
- •Загальна умовна структура системи ама
- •32. Основні принципи розробки систем ама
- •33.34.35 Основні групи методів ама
- •37. Етапи ма з використанням словників
- •38. Етапи створення швидкодіючого алгоритму ма
- •39. Які основні вимоги висуваються до систем ама
- •40.Основні поняття морфологічної моделі мови флективного типу
- •41.Основні складові лінгвістичного забезпечення систем ма.
- •43. Які складові необхідні для опису мови в її морфологічній моделі?
- •44. Поняття таблиці морфів. Навести приклад
- •45. Поняття списки масок. Навести приклад
- •46. Поняття списки морфів. Навести приклад
- •47. Поняття технічної частини мови
- •48 Яку інформацію повинен містити кожен запис у словнику основ
- •49. Порівняння методів ма «справа-наліво» і «зліва-направо»
- •50. Переваги методів ма «зліва-направо»
- •51. Характеристика задачі побудови словника основ і пошуку в ньому, як задачі керування базою даних
- •52. Загальна структура словника основ, яка забезпечує мінімум звертань до диска
- •53. Алгоритм пошуку у словнику основ. Навести приклад
- •54.Алгоритм роботи «стека вкладених ключів». Навести приклад
- •55.Алгоритм формування словника основ. Навести приклад
- •57.Типи граматичних правил для зняття омонімії
- •58.Використання прихованої моделі Маркова в алгоритмах зняття омонімії
- •60.Алгоритм зняття омонімії методом на основі нормалізуючи підстановок і позицій сусідніх слів
54.Алгоритм роботи «стека вкладених ключів». Навести приклад
Це LIFO стек.(останній прийшов-перший вийшов, елементи якого це словникові статті словника, що формується).Стек змінюється при поступленні кожного нового запису з вхідного файла.На початку роботи стек пустий.При поступленні з вхідного файла кожного з записів з вершини стека видаляються всі елементи , ключі яких не вкладаються зліва в ключ запису, що поступив на вхід.Процес видалення зупиняється, коли стек вичерпаний або на вершині стека знаходиться запис, що вкладається зліва почергово.Далі новий запис розміщується на вершині стека.Тепер розглянемо приклад.Хай буфер містить букви , розміщені в стеку ключів, а власне стек –їх довжини і відповідну граматичну інформацію.Нехай вхідний файл містить записи
паротяг паротяговий
Буфер:________(пустий)
Стек:_________(пустий)
На вході:пар-*
Видаляти зі стека не має що
Додається : пар- (копіюємо в буфер)
Буфер: пар
Стек: вершина :3 (букви в буфер)
На вході: паровоз-*
Вершина вкладається у вхідний запис – не видаляємо
Додається: паровоз-* (копіюємо в буфер)
Буфер: паровоз
Стек: 3(пар), вершина:7(паровоз)
На вході: паровозн-(ий)
Вершина вкладається у вхідний запис- не видаляємо
Додається: паровозн-(копіюємо в буфер)
Буфер: паровозн-
Стек:3(пар),7(паровоз);вершина:8(паровозн)
На вході: пароплав-*
Вершина не вкладається у вхідний запис-видаляємо
Стек:3(пар),7(паровоз)
вершина не вкладається у вхідний запис-видаляємо
Стек:вершина 3(пар)
Вершина вкладається у вхідний запис –не видаляємо
Додається: пароплав-(копіюємо в буфер)
Буфер:пароплав
Стек: 3(пар), вершина :8(пароплав)
На вході літак-*
Вершина не вкладається у вхідний запис-видаляємо
Стек: вершина:3 (пар)
Вершина не вкладається у вхідний запис- видаляємо
Стек-(пустий)Видаляти немає що
Додається: літак-копіюємо в буфер
Буфер:літак
Стек:вершина:5(літак)
55.Алгоритм формування словника основ. Навести приклад
Нам потрібно розмістити прочитані зі входу записи у блоках, продублювавши у кожен з блоків всі записи , ключі яких вкладаються зліва в ключ першого запису блока :лексикографічне впорядкування буде отримано автоматично , оскільки лексикографічно впорядкований вхідний файл.
Вхідний файл читається запис за записом і копіюється зі скороченням за методом Купера у вихідний файл.Разом з цим обновлюється стек вкладених ключів.В кожен з моментів відомо скільки байт уже виведено. Якщо довжина чергового запису призначеного до виводу така, що запис перетне межі блока, то замість його виводу здійснюються наступні кроки:вивід поточного блоку завершується вихідний масив доповнюється нулями до межі блока.Починається вивід нового блока. На вихід копіюється весь вміст стека вкладених ключів, починаючи з самого глибокого, і завершуючи вершиною. Зауважимо, що на вершині стека розміщений, що не помістився в попередній блок.Інші елементи стека—дублюють в даний блок записи, ключі яких вкладаються зліва в ключ першого запису блока. Далі процес читання нових записів продовжується.Розглянемо приклад: нехай вхідний масив складається зі записів з ключами: автомобіль-*, пар-*, паровоз-*, паровозн-(ий), пароплав, літак-*,яхта-(а).Перший блок словника переповнюється при поступленні на вхід пароплав-а. Отже поточний блок виводиться у вхідний блок. А запис з ключем пароплав стає першим записом нового блоку.У вихідний блок виводяться нулі до заповнення необхідного розміру блока. Далі виводиться вміст стека пар-*; пароплав- *.Наступні записи, що підлягають обробці літак-*, яхта-*.
Б1: автомобіль-*|пар-*, паровоз-*, паровозн-(ий) 000
Б2:пар-* |пароплав-*, літак-*, яхта-(а)0000000000000
В блоці Б2 продубльовано слово пар-*. Залишилось розглянути формування індексних масивів. При формуванні чергового блоку необхідно вивести окремий текстовий файл, ключ запису з вершини стека, тобто перший новий запис блока. Після того, як весь масив основ опрацьовано, аналогічно процедурою опрацьовується цей текстовий файл.Але в ньому присутні тільки ключі безт записів.
56.Два типи алгоритмів зняття омонімії:
1.Детерміновані або інакше кажучи алгоритми, що будуються на правилах;
2.Алгоритми, що використовують ймовірнісні методи