4. Методи прикладної лінгвістики.

Кожна конкретна прикладна дисципліна має свій унікальний набір методів:

квантативна лінгвістика – використовує кількісні (простий підрахунок частоти вживання мовних одиниць) та статистичні (використання різних формул для виявлення правил розподілу мовних одиниць у мовленні, для виміру зв’язків між мовними елементами, для встановлення залежності між якісними та кількісними характеристиками мови) методи.

комп’ютерна лінгвістика – методи теорії програмування і представлення знань.

Лекція 2-3

1. Оптимізація когнітивної функції мови.

2. Комп’ютерна лінгвістика.

3. Когнітивний інструментарій комп’ютерної лінгвістики.

4. Напрямки комп’ютерної лінгвістики.

Когнітивна функція мови – функція, в якій мова виступає як знаряддя пізнання світу, за допомогою якого формуються поняття, усвідомлюються логіко-понятійні зв’язки між поняттями, вербалізуються ситуації.

Комп’ютерна лінгвістика (computational linguistics) – є маргінальною галуззю мовознавства, спрямованою на розробку автоматизованих методів зберігання, обробки, переробки й використання лінгвістичних знань й інформації, репрезентованої знаками природної мови. Метою комп'ютерної лінгвістики є реконструкція знань про мову і в мові, яка б забезпечувала автоматизацію інтелектуальних функцій і когнітивної діяльності людини, автоматизоване породження мовлення та його комп'ютерну обробку й розпізнавання і т. ін. А. Баранов розглядає комп'ютерну лінгвістику як широку галузь використання комп'ютерних інструментів - програм, комп'ютерних технологій організації й обробки даних -для моделювання функціонування мови в тих чи інших ситуаціях, проблемних сферах, а також застосування комп'ютерних моделей мови не лише в лінгвістиці, а й у суміжних із нею дисциплінах. Лише в останньому розумінні мова йде про прикладну лінгвістику у строгому розумінні, оскільки комп'ютерне моделювання мови може розглядатися і як сфера теорії програмування в галузі лінгвістики [2003, 13]. Отже, комп'ютерна лінгвістика, як і прикладна, є мовознавчою дисципліною, що інтегрує різні наукові сфери, а її прикладний напрям визначає використання її доробку для розв'язання практичних завдань.

Комп'ютерна лінгвістика почала формуватися у 50-ті p. p. XX ст. на базі комп'ютерної науки, теорії інформації і структурно-математичної лінгвістики. Проте, як зазначають дослідники, прикладна лінгвістика перебуває з комп'ютерною лінгвістикою в різних епістемологічних площинах: комп'ютерна вказує на інструментарій досягнення наукового результату, а прикладна лінгвістика орієнтована на результат. В. Звегінцев ще у 1968 році зауважував: «Прикладну лінгвістику розуміють як усі види автоматичної обробки мовленнєвої інформації (Language-data Processing) - машинного розпізнавання усного мовлення, машинний переклад, автоматичну класифікацію технічних й ін. документів, автоматичне анотування текстів, автоматичне кодування тощо. Дійсно, автоматична обробка мовленнєвої інформації складає сьогодні головну дослідницьку проблематику прикладної лінгвістики [...]. Однак усе ж було б неправильним замикати прикладну лінгвістику в межах цієї проблематики» [1968, 24]. На наш погляд, комп'ютерна лінгвістика є настільки частиною прикладної лінгвістики, наскільки вона може розв'язувати конкретні завдання повсякденного життя людини й суспільства. Сьогодні не підлягає сумніву той факт, що широкий спектр проблем прикладної лінгвістики вирішується за допомогою ЕОМ. Однак, по-перше, існує чимало інших завдань прикладного характеру, які безпосередньо не застосовують комп'ютерних технологій, а, по-друге, комп'ютерна лінгвістика має власний об'єкт, мету й завдання й може постачати так само, як й інші мовознавчі дисципліни, свої технології й теоретичний доробок прикладній лінгвістиці як окремій галузі.

Становлення комп'ютерної лінгвістики пов'язане з появою терміна «штучний інтелект». Поштовхом для її формування стала дискусія, яка розгорнулася на той час із приводу так званого тесту, або критерію, англійського математика А. Тьюринга [Turing 1950]. Цей тест являв собою мисленнєвий експеримент із приводу питання про наявність інтелекту в комп'ютера. Експеримент передбачав розпізнавання людиною-інформантом співрозмовника (спочатку жінки чи чоловіка, згодом людини чи комп'ютера). Якщо таке розпізнавання є неможливим, а результати експерименту адекватні для ЕОМ і для людини, то їхній інтелект може бути ототожненим. Американський логік Дж. Сьорль висунув альтернативний принцип «китайської кімнати» (Chinese room), яким заперечив головний принцип тесту Тьюринга -наявність у ЕОМ інтелекту. Дж. Сьорль представив людину, яка не знає китайської мови, замкненою в кімнаті з китайськими ієрогліфами. За допомогою поданих їй зразків ця людина інтерпретує й породжує китайські фрази. Така людина є ілюстрацією комп'ютера із закладеною до нього програмою, але знань китайської мови вона не має. На захист критерію виступив у полеміці У. Рапапорт, який у 1988 р. запропонував принцип «корейської кімнати» (Korean room). Дослідник представив відомого корейського професора-шекспірознавця, який не володіє англійською, однак розбирається у творчості У. Шекспіра. Так само і в китайській кімнаті людина досягає певного розуміння законів китайської мови, якщо вона породжує й інтерпретує фрази цією мовою. Це розглядалося як свідчення можливості машини мислити й визначило головний дослідницький вектор комп'ютерної лінгвістики - прагнення до досягнення подібності між людською інтелектуальною діяльністю та комп'ютерним моделюванням.

Виокремлення комп'ютерної лінгвістики відбулося у 60-ті р. р. XX ст. Першими її лінгвістичними орієнтирами були розробки трансформаційного й дистрибутивного методів 3. Харриса, генеративна концепція Н. Хомського, формальні граматики генеративного типу, спроби машинного перекладу та створення інформаційно-пошукових систем і мов. Комп'ютерна лінгвістика суттєво вплинула на становлення когнітивної лінгвістики, на визначення нею головних принципів представлення мовно-мисленнєвої діяльності - когнітивізму та модуляризму - з огляду на комп'ютерну метафору цієї галузі. Інтелект із позицій когнітивізму розглядався як цілеспрямована діюча символьна система, а пам'ять як системно організована й символьно-конвенційна ієрархія знань. Розробка формального апарату цієї системи з метою його інтерпретації й обробки комп'ютером стала першочерговим завданням комп'ютерної лінгвістики на той час.

Когнітивний інструментарій комп’ютерної лінгвістики

Існують загальні принципи комп’ютерного моделювання мислення, які так чи інакше реалізуються в будь-якій комп’ютерній моделі. Вони формують так звану метамову комп’ютерної лінгвістики. В основі цієї мови лежить теорія знання. Основний тезис теорії знання – мислення – це процес обробки та породження знань.

Під знанням розуміємо певний тип інформації, який використовується як знаряддя для оптимального розв’язання інтелектуальних та мовних завдань у моделях інтелектуальної діяльності (прийняття рішень, експертні рекомендації, розуміння повідомлень, синтез відповідей у діалозі).

У якості «процесора», який обробляє знання виступає когнітивна система людини.

Види знання: декларативні (знання що…) – тлумачення слів у тлумачних словниках;

процедурні (знання як …) – послідовність (список) операцій, дій, які слід виконати: інструкція по використанню пристрою.

Декларативні знання – істина-неправда.

Процедурні знання – успішність-неуспішність алгоритму.

Для того, щоб знання можна було ефективно використовувати в системі, їх треба формалізувати. Для цього застосовується спеціальний математичний апарат.

В основі подання знання полягає логічна форма його вираження. У зв’зку з цим його елементарною одиницею можна вважати судження, або твердження. Сукупність тверджень про предмети, процеси, явища, що стосуються певної предметної області, утворює знання деякої системи. Для його подання зазвичай використовується апарат формальної логіки. Засоби подання знання, що базуються на застосуванні такого математичного апарату, називають логічними.

Останнім часом все більш поширеними стають засоби подання знань, що називаються семіотичними. Така назва пояснюється тим, що опис зовнішнього світу тут здійснюється за допомогою природної мови. Сюди ж відносяться семантичні сітки та фрейми.

Структури знань: фрейми, сценарії, плани.

Фрейм – структура, що репрезентує стереотипні ситуації у свідомості (пам’яті) людини або інтелектуальної системи і призначена для ідентифікації нової ситуації, що базується на такому ситуативному шаблоні.

Із теорією фреймів пов’язують імена американських вчених Марвіна Мінського (дослідник штучного інтелекту) та Чарльза Філлмора. Вперше поняття фрейма було введено у лінгвістичну науку у середині 1970-х років. Проте досі не визначено, хто з них вжив даний термін вперше. Зазначимо, що використання терміну «фрейм» (англ. frame – каркас, кістяк, будова, структура, система, рамка) дозволило Філлмору використовувати його як елемент опису семантики лексем, граматичних категорій та тексту, що стало значним внеском у розвиток лексичної семантики. Сам Філлмор визначав фрейм як будь-яку систему лінгвістичного вибору – найпростішого випадку сукупності слів, що керуються граматичними правилами, чи лінгвістичними категоріями – які можуть асоціюватись з типовими прикладами сценаріїв.

Важливою й не менш суперечливою є позиція вчених щодо структури фрейму. М. Мінський, наприклад, вважає, що фрейм можна представити у вигляді сітки, яка складається з вузлів та зв’язків між ними, що утворюють фреймову систему. «Верхні рівні» фрейму чітко визначені, оскільки утворені такими поняттями, які завжди правдиві по відношенню до очікуваних ситуацій. На «нижчих рівнях» є безліч вершин-терміналів чи «слотів», які повинні бути заповнені характерними прикладами або даними. Можна лише додати, що фрейм можна використовувати для аналізу знань різної природи та різного ступеню абстракції. Зосереджена у фреймі інформація може включати як вроджені, так і набуті знання, т ак само як і ключові елементи фрейму можуть бути наповнені інформацією з різних концептуальних площин – онтологічної (знання про матеріальний та духовний світи), аксіологічної й модальної (оцінка світу суб’єктом і модус його свідомості), лінгво-прагматичної (володіння канонами лінгвокомунікації).

Це означає, що тоді фрейм розглядався як сукупність лінгвістичного вибору, який асоціювався з так званими «сценаріями», поняттям, яке відноситься до сучасного терміну «ситуації». З лінгвістичної точки зору розуміння терміну «фрейм» пізніше змістилося у бік когнітивної науки. Це стає очевидним з подальших характеристик фрейму. У 1985 році Філлмор розглядає фрейм як «специфічні об’єднання структури знань, або логічні, послідовні схеми досвіду». Пізніше він бачить фрейм як «когнітивні структури знань, які мають на меті поняття, що кодується словами». З вище сказаного стає зрозумілим, що спершу фрейм розглядався як лінгвістична конструкція, пізніше отримавши когнітивну інтерпретацію.

Теорія фреймів Марвіна Мінського була опублікована у 1974 році й відразу набула широкого резонансу, викликавши зацікавленість таких лінгвістів як Р. Шенк, Р. Абельсон та вітчизняних дослідників Д.А. Поспєлова, Є.Н. Єфімова та Н.Н. Перцової.

За визначенням Мінського фрейм – ієрархічно впорядкована репрезентація певної стандартної ситуації дійсності. У своїй теорії Мінський відмовляється формувати модель зовнішнього світу на основі окремих, розрізнених фактів чи понять. Ключовим моментом його теорії є ствердження того, що будь-яка модель, яка відображає складні реалії світу, повинна будуватися увигляді великої сукупності певним чином сформованих даних – фреймів, що є моделями стереотипних, часто повторюваних ситуацій. Мінський розуміє ситуацію у суспільному сенсі, тобто це може бути дія, роздум, зоровий образ, розповідь і т.д. Фрейм представляє собою не одну конкретну ситуацію, а найбільш характерні, свідомі моменти цілої низки схожих ситуацій.

Важливим фактом даної теорії є те, що людина, намагаючись позначити для себе нову ситуацію, чи переглянути вже відомі їй речі, вибирає зі своєї пам’яті певну структуру даних (образ), який Мінський називає фреймом, з розрахунком зміни у ній окремих деталей, зробити її придатною для розуміння широкого класу процесів чи явищ. Фрейм є структурою даних для представлення стереотипних ситуацій. З кожним фреймом асоціюється інформація певних видів. Певна її частина вказує, яким чином повинен використовуватись даний фрейм, інша – що можна очікувати від його здійснення, і нарешті – що потрібно робити, якщо наші очікування не здійсняться.

У формальній нотації фрейм може бути представлений у вигляді таблиці:

Ім’я слоту	Зміст слоту

або кортежу:

{ (ім’я фрейму > < ім’я слоту1 > < значення слоту1 >…, < ім’я слотуn > < значеня слотуn >) }

Вважається, що в довгостроковій пам’яті людини зберігається великий набір різноманітних фреймів, що актуалізуються під час пред’явлення нових сцен. Для розпізнавання сцени в пам’яті людини має актуалізуватися саме той фрейм, що якнайбільше відповідає гіпотезі про об’єкт, який сприймається. У такий спосіб здійснюється ідентифікація об’єкта у свідомості людини.

Фрейм «кімната» має змоделювати здатність людини, що входить до кімнати, охопити все єдиним поглядом, скласти уявлення про те, що є у кімнаті, як розставлені меблі, скільки вікон…

Фрейм – декларативні значення.

У сучасному мовознавстві термін фрейм широко використовується, насамперед, коли йдеться про концептуальний аналіз. З точки зору концептуального аналізу, фрейм розглядається як один із способів «конвертування» інформації представленої в семантиці одиниць мови і мовлення. Поряд із фреймом використовують інші структуровані «пакети», такі як: пропозиції, сітки, схеми, схемати, плани, сценарії та скрипти. Незважаючи на велику кількість термінів, все ж можна прослідкувати загальну тенденцію: дослідники акцентують необхідність розгляду концептуальних структур як статичних, так і динамічних, тобто представити концепт в його потенції, чи реалізації. При цьому центральною структурою, яка тим чи іншим чином пов’язана з іншими моделями, залишається фрейм.

Найбільш поширені різновиди фреймів – сценарії та плани, або скрипти поведінки.

Сценарій – вперше введено Р. Шенком та Р. Абельсоном на поч. 70-х рр. Показують, як створюється сюжет, як зв’язуються між собою події з яких він складається.

Сценарій – формалізований опис стандартної послідовності фактів, подій або процедур, визначають типову ситуацію у певній предметній галузі.

До сценаріїв входять назва ситуації, імена учасників ситуації, перелік причин виникнення ситуації та набір сцен або певних дій. Сценарії визначаються як абстрактні, схематичні, ієрархічно організовані набори пропозицій, кінцеві позиції яких є незаповненими. Тому такі сценарії можна застосовувати до будь-яких ситуацій шляхом заповнення термінальних позицій конкретною інформацією. Плани служать для встановлення причино-наслідкових зв’язків між сценаріями (послідовність дій). Вони складаються зі сцен і сценаріїв, які ведуть до певної мети.

Сценарій «довідкове бюро». Мета: «отримання довідки».

Сцена 1. – «вхід»: увійти до помешкання,

підійти до вікна, де видають довідки,

взяти чистий бланк,

відійти до столу для відвідувачів,

сісти та приготуватися оформлювати документ.

Сцена 2. – «заповнення бланка документа»: підготувати ручку, послідовно заповнити графи.

Сцена 3. – «замовлення довідки»: підійти до довікового віконця,

простягнути заповнений бланк,

оплатити послугу.

Сцена 4. – «очікування замовлення довідки»…

Плани – засіб, за допомогою якого встановлюються причино-наслідкові зв’язки між сценаріями. План описує стандартну послідовність дій людини в тому чи іншому конкретному випадку.

Модель світу – сукупність певним чином організованих знань про світ, притаманних когнітивній системі чи її комп’ютерній моделі.

Прикладні напрями комп'ютерної лінгвістики

Сучасна комп'ютерна лінгвістика розв'язує широке коло завдань з удоско­налення комп'ютерних технологій моделювання мовної й комунікативної компетенції людини. У статті 1990 р. російський дослідник Ю. Городецький узагальнив три класи проблем комп'ютерної лінгвістики.

Перший об'єднує фундаментальні проблеми, пов'язані із представленням і моделюванням мовної системи, тезаурусів знань, із комп'ютерною репрезентацією граматики й рольової структури висловлень в автоматичних системах, із взаємодією вербаліки й невербаліки, мовних і фонових знань у комунікації, із метафоричним моделюванням та процесами розпізнавання повідомлень тощо.

Другий клас охоплює суто лінгвістичні проблеми штучного інтелекту: розпізнавання й синтез мовлення, тексту; розробка метамов і мов репрезентації знань, 648 лінгвістичних процесорів, здатних опрацьовувати тексти у стандартний спосіб для будь-якої системи перетворення мовної інформації; інтелектуальних інтерфейсів, баз даних, моделювання діалогу тощо.

До третього класу проблем відноситься лінгвістичне забезпечення різних прикладних систем: оброблення письмового тексту, автоматичного анотування (упорядкування стислих відомостей про документ), індексування (перекладу на інформаційно-пошукову мову), редагування (виправлення помилок) й реферування (стислого викладу змісту документа), перекладу, аналізу запитів користувача природною мовою до інформаційної системи, інтелектуальних машинних словників, машинних фондів мовних одиниць, інтелектуального інтерфейсу на базі природної мови, моделювання дослідницької лінгвістичної діяльності, автоматизованих робочих місць лінгвіста і т. ін. [1990].

Одним із головних прикладних напрямів комп'ютерної лінгвістики є автоматична обробка природної мови, що передбачає створення, перетворення й аналіз текстів із застосуванням природної або штучної (комп'ютерної) мов, результатом чого може бути формування машинних фондів національних мов, автоматичних словників, термінологічних банків, комп'ютерних картотек, баз даних, комп'ютерних граматик, багаторівневих лінгвістичних процесорів тощо. І. Штерн кваліфікує автоматичну обробку мови як «загал теоретичних і прикладних напрямків лінгвістики, зв'язаних із комп'ютерним опрацюванням текстів» і залучає до цього напряму дослідження та моделювання механізмів синтезу речень; створення моделей та систем автоматичного перекладу, автоматичного реферування, документального інформаційного пошуку, розуміння природної мови; створення лінгвістичних процесорів, систем автоматичного редагування орфографії, побудову машинних фондів національних мов, комп'ютерних граматик, автоматичних словників, термінологічних банків, лінгвістичних баз тощо [1998, 15]. Чимало з цих проблем оформилися у вигляді галузей прикладної лінгвістики на межі із традиційними мовознавчими дисциплінами, як-от: машинний переклад, корпусна лінгвістика, комп'ютерна лексикографія, комп'ютерне термінознавство тощо.

Перші спроби розробки теорії та прикладних систем автоматичної обробки природної мови відносять до 50-х р. р. XX ст. (США, Франція, ФРН, СРСР та ін.). Головними процедурами автоматичної обробки природної мови є автоматичний аналіз, синтез і перетворення текстів.

Автоматичний аналіз мовних структур визначається кінцевим результатом завдання й передбачає членування тексту на одиниці, доступні комп'ютерній лексикографічній обробці, виділення пошукових образів, ключових (опорних) слів, персоналій, термінів, присвоєння одиницям у складі речення граматичних характеристик, визначення семантичних і синтаксичних валентностей, місця у складі дерева залежностей, структурі безпосередніх складників, графі, семантичній сітці, фреймі, Семпі, Ситі і т. ін.; виокремлення фрагментів логіко-композиційної структури тексту та зв'язків між ними. Аналіз текстів є складовою операцією машинного перекладу з однієї мови на іншу, а також перетворення текстів природною мовою на мови програмування, комп'ютерні кодові системи.

Аналіз і синтез текстів здійснюється на базі лінгвістичних процесорів - програмно-лінгвістичних комплексів багаторівневого типу, орієнтованих на граматичний, семантичний або когнітивний аналіз, синтез і перетворення текстової інформації та діалог із користувачем. І. Штерн головною відмінністю сучасних лінгвістичних процесорів порівняно з попередніми системами обробки інформації вважає орієнтацію на семантичний аналіз текстової інформації, наявність у них семантичного блоку, що забезпечує вилучення смислу з тексту та подальше оперування смисловими одиницями [1998, 261]. Сучасні лінгвістичні процесори передбачають послідовне або паралельне оброблення рівнів вихідного тексту й доповнюються рівнем прагматичної компетенції, інформаційної репрезентації (фонових, енциклопедичних знань) й афективно-тематичними блоками (емоційними компонентами інформації). Процесори найсучаснішої генерації є когнітивними, що грунтуються на структурації знань і застосовуються для їхньої обробки, переробки й використання в різних предметних галузях. Цікавий проект когнітивного процесора розробляється в Казанському університеті О. Невзоровою. Він запрограмований накопичувати знання й самонавчатися граматиці природної мови на підставі верифікації гіпотез відносно явищ і категорій мови [1994].

Створення текстів відбувається у процесі автоматичного синтезу на підставі семантичного, синтаксичного й лексемно-морфологічного представлення вихідної інформації. Прикладом є комп'ютерна програма TALE, що моделює породження сюжету казки відповідно до концепції структурного аналізу чарівної казки В. Проппа [Гаазе-Рапопорт, Поспелов, Семенова 1980]. Програма має такі блоки: експозиції, у якому обирається тип сюжету, персонажі й початок казки; персонажів, що надає інформацію про героїв казки; їхні особистісні характеристики; і блоки локусів (казкових світів) та їхніх описів. Останній блок збирає фрагменти казки докупи. Американська дослідниця штучного інтелекту К. Маккьюін запропонувала схему синтезу тексту, що передбачає 4 головних схеми його аналізу: атрибутивну (attributive schema) - зразок приписування властивостей, якісних ознак різним об'єктам; конститутивну (constituency), яка зумовлює опис текстом об'єктів у термінах їхніх складників і різновидів; ідентифікаційну (identification), спрямовану на встановлення класу, до якого належать об'єкти, й контрастивну (contrastive), яка визначає негативну протилежність головного уявлення тексту. Така схема синтезу тексту має різні аналоги в інших теоріях текстопородження. Широко відомими є впроваджені у 80-ті р. р. сюжетно-породжувальні моделі афективних сюжетних одиниць (Affective Plot Units) В. Ленерт [Lehnert 1982], у яких сюжет формується на підставі послідовності емоційних станів героїв; сюжетні моделі X. Олкера, В. Ленерт і Д. Шнайдера, що реінтерпретують євангельські сюжети [Alker, Lehnert, Schneider 1985]. Кожна сюжетна одиниця представлена бінарним відношенням оцінок персонажами певних подій. Такі одиниці встановлюються на підставі сюжетної граматики Дж. Мандлера і Н. Джонсона.

Перетворення текстів здійснюється при автоматизованому редагуванні -внесенні виправлень і доповнень, форматуванні - членуванні тексту, уведенні заголовка, нумерації сторінок і т. ін.; при лексикографічній обробці - уведенні щодо кожного слова словникової дефініції й іншої потрібної інформації або підготовці на базі текстів автоматизованих лексикографічних систем (лематизації); реферуванні - скороченні вихідного тексту відповідно до програми.

Процедури аналізу, синтезу та перетворення текстів застосовуються в комп 'ютерних моделях розуміння мовних повідомлень. Залежно від механізму розуміння виокремлюються чотири типи таких моделей.

Перші ґрунтуються на діалогових кліше як реакціях на лексичні сигналізатори реплік людини,

другі - на шаблонах логічних каузальних зв'язків,

треті - на граматичному аналізі повідомлень, і лише

четверті - на змісті, установленому шляхом семантичного аналізу тексту чи повідомлення.

Таким чином, розробка систем розуміння мови відбувалася від найпростіших клішованих систем діалогу до найсучасніших лінгвістичних процесорів, головним блоком яких є семантичний або когнітивний. Моделями розуміння уважаються діалогові системи (ELIZA Дж. Вейценбаума, США, 1966 р.; ПОЕТ, АІСТ Е. Попова, Росія, 80-ті p. p.; STUDENT Д. Боброу, SEMANTIC MEMORY P. Куільяна, ДИСПЕТЧЕР A. Кібрика, ЗАПСІБ О. Нариньяні, TULIPS Г. Мальковського й ін.), системи мовленнєвого керування діями комп'ютера (SHRDLU Т. Винограда, США, кінець 60-х р. р.) і системи смислового аналізу тексту (LUNAR У. Вудса).

А. Баранов підсумовує результати діалогового спілкування з ЕОМ у відомому експерименті М. Макгайра (24 учасники вели діалог за допомогою телетайпа з комп'ютерною програмою ELIZA, із них 15 були впевнені, що розмовляють із людиною, 4 впевнені, що розмовляють з ЕОМ, а 5 мали сумніви при визначенні партнера по комунікації). Програма ELIZA була створена в середині 60-х р. р. американським дослідником Дж. Вейценбаумом як імітація бесіди між лікарем-психотерапевтом і пацієнткою й побудована на формально-структурних засадах. У цій програмі застосовані принципи рекурсивного зв'язку репліки з попередньою, ключових слів, перепитування, що виконують функцію підтримання контакту. Дослідник наводить чотири висновки як результати цього експерименту: 1) природний дискурс є надмірним і стійким до перешкод, тобто толерантним до збоїв та помилок; 2) пріоритет при спілкуванні мають метакомунікативні параметри, зокрема, інституційні процедури, статуси комунікантів, стандартні стратегії; 3) висновок про існування різних типів спілкування (наприклад, цільового й фатичного); 4) неуніверсальність правил комунікативної взаємодії [2003, 22­25]. Загалом, навіть поверховий аналіз демонструє, що програма не розуміє співрозмовника в точному сенсі: вона не має власної моделі світу, не будує в ній відображення уявлень / знань співрозмовника, не модифікує модель світу з кожним новим висловленням, не накопичує інформацію, хоч у неї є деякі аналоги короткочасної та довгочасної пам'яті [Баранов 2003, 22].

І. Штерн виділяє серед діалогових моделей чотири групи: у першій відсутній семантичний та логічний аналізатори (BASEBALL Дж. Карбонела, STUDENT Д. Боброу), друга представлена семантично-орієнтованими моделями (приміром, моделі Є. Попова [1982; 1987], М. Мальковського [1985], Р. Куільяна, у яких застосовується спрощений семантичний аналізатор); до третьої групи належать моделі з логічним аналізатором (SIR Б. Рафаеля), четверта група об'єднує моделі нового покоління, які мають широкий спектр практичного застосування і є прообразами систем розуміння природної мови [1998, 100-108].

Широко відомою є концепція автоматичного розуміння природної мови американських дослідників Р. Шенка й Р. Абельсона, що грунтується на концептуальних графах залежностей [Schank, Abelson 1977; Schank, Lehnert 1979]. Підґрунтям теорії графів можна вважати винахід Ч. Пірсом екзистенційних графів як альтернативних лінійному символьному, логічному запису структур, що полегшували формулювання правил логічного висновку, а також граматику залежностей Л. Теньєра. На створення концепції також вплинули, на думку А. Баранова, лінгвістичні евристики герменевтики. Так, телеологічна евристика Ф. Аста та Ф. Шлейєрмахера втілена в концепції інтересу Р. Шенка, де розуміння поставлене в залежність від конкретних комунікативних цілей читача (адресата) [Баранов 2003, 317-318]. Контекстна евристика передбачає врахування впливу на процеси розуміння тексту ситуаційних чинників, що застосовано і в моделях граматики залежностей, і в інших комп'ютерних моделях розуміння [Duffy, Mallery 1989; Alker, Lehnert, Schneider 1985].

Теорія P. Шенка й P. Абельсона служить для демонстрації глибинно-смислової репрезентації текстів. Концептуальний рівень репрезентації інтегрує семантику та прагматику тексту зі словником, який представляє слова у списках концептуальних (глибинних) відмінків - мисленнєвих аналогів ситуаційних ролей компонентів; або типових базових дій із правилами умовиводів і каузації. Типовими діями, які є центром більшості ситуації, Р. Шенк називає 1) здійснення фізичного переміщення об'єкта (PTRANS), 2) передачу комусь можливостей впливу на ситуацію (ATRANS), 3) передачу інформації (MTRANS), 4) фокусування на актуальному стимулі (ATTEND), 5) докладання зусиль для забезпечення руху об'єкта у відповідному напрямку (PROPEL). Дослідники використовують два типи динамічних фреймових структур -сценарії та плани: перші відображають типові ситуації, що складаються з назви ситуації, причин її виникнення, набору різних сцен і ролей, тобто учасників; другі встановлюють зв'язки причини та наслідку між сценаріями й описують послідовність дій учасників ситуацій і сцен.

Одним із головних параметрів організації таких моделей є рівні розуміння мови. Р. Шенк виділяє шість рівнів розуміння мови, які є одним із головних параметрів моделювання: синтаксичний, семантичний, контекстний, діалогічний, енциклопедичний, культурний (nop.: Ю. Мартем'янов виокремлює два рівні розуміння - глибинний і поверхневий: перший грунтується на смислі тексту, другий - на логічних зв'язках і гіпотезах щодо розвитку сюжету [1964]; Ю. Апресян пропонує два рівні розуміння: 1) рівень мовної компетенції і 2) рівень картини світу; Н. Перцова виділяє три рівні розуміння: поверхневий семантичний, глибинний семантичний і інференційний -логічного виведення [1977]).

На базі концепції графів залежностей фахівець у галузі штучного інтелекту Дж. Сова створив власну модель концептуальних графів як лінійну обробку тексту: текст розбирається на окремі речення, вони формалізуються мовою ПРОЛОГ й упізнаються, виходячи з контексту та значення окремих слів. Усі графи речень об'єднуються й утворюють концептуальну структуру тексту з метою створення бази знань якоїсь галузі, що складає контекст, необхідний для адекватного розуміння повідомлень відповідної сфери [Бо\уа 1983]. Подібною до моделі Р. Шенка є преференційна семантика, розроблена у 70-ті р. р. XX ст. Й. Уілксом. Це семантична концепція, яка застосовується при автоматичній обробці природних мов і ґрунтується на зіставленні кожного знака з певною семантикою за умови фіксації його переважних змістових зв'язків з іншими знаками й мінімізації ролі синтаксису. Такий підхід дає змогу розв'язувати випадки семантичної неоднозначності й обирати значення слів без повного синтаксичного аналізу [\Vilks 1973]. Модель И. Уілкса застосовується в системах англо-французького перекладу РБЗ.

Концептуальні графи стали базою і для моделювання семантичних сіток. Важливим доробком таких моделей є компактність представлення інформації (одиниця, що повторюється у тексті не повторюється у сітках, а позначається маркером стрілки), позначення паттернів відношень між концептами, які іноді несуть більше інформації, ніж самі вузли. Перевагою семантичних сіток є подання двох типів семантичної репрезентації: ситуаційного (синтагматичного), який проектується на відповідний текст, й енциклопедичного (парадигматичного), що описує іманентні властивості концептів (місце в ієрархії понять, типові ознаки тощо). Сітковий підхід застосовує доробок відмінкової граматики Ч. Філлмора, адже він є зручним для відтворення найпростіших пропозиційних структур або предикатно-актантних рамок. Семантичні сітки користуються популярністю в кібернетичних моделях свідомості (Д. Норманн, У. Ліндсей), у процедурній семантиці (Т. Виноград, У. Чейф, Ю. Чарняк, Г. Скрегг), у машинному перекладі, семантичних інформаційних мовах (Ж. Гарден, Е. Скороходько, Й. Уілкс), у ситуаційному керуванні складними об'єктами (Д. Поспєлов) й інших моделях обробки природної мови.

Підґрунтям автоматичного розуміння природної мови є також фреймові репрезентації (Ч. Філлмор, Дж. Мей, Р. Шенк, Т. Виноград, В. Ленерт, М. Дайєр, П. Джонсон й ін.), моделі аналізу байок і казок російських учених Ю. Мартем'янова, В. Дорофеєва [1969], система історичних описів БТОКУРОШТЗ Р. Віленські й ін. Ю. Чарняк (Йєльський університет, США) застосував фрейми та глибинні відмінки для автоматизації розуміння коротких дитячих розповідей, ґрунтуючись на повсякденних знаннях. Більшість моделей розуміння ґрунтується на домінуванні семантичного блоку (семантичні сітки, семантичні графи, предикатно-актантні рамки, глибинні відмінки).

Ще у СРСР було розроблено багатофункціональну, багаторівневу модель «Смисл —» Текст», концепція якої була висунута І. Мельчуком у 1974 р. [1974], який раніше займався проблемами автоматичного синтаксичного аналізу й автоматичного перекладу [1964; Мельчук, Равич 1967]. Розробниками цієї моделі й на її підставі системи машинного перекладу стали представники Московської семантичної школи Ю. Апресян, І. Мельчук, А. Жолковський, І. Богуславський, Л. Йомдін й ін. [Апресян и др. 1988; 1989; 1992].

Модель є основою лінгвістичного забезпечення відомої системи машинного перекладу ЕТАП (сьогодні російськими лінгвістами та програмістами розроблено ЕТАП 2 і ЕТАП 3) і має такі блоки: фонетичний, фонологічний, глибинний і поверхневий морфологічний, глибинний і поверхневий синтаксичний і семантичний. Вона орієнтована на синтез висловлень і здатність виражати той самий смисл у множині синонімічних речень; на аналіз, тобто розпізнавання смислу речення, їхньої синонімії й омонімії; а також на контроль правильності речень. Принципами побудови цієї системи є членованість смислу на найменші компоненти, залежність смислу від комбінаторики та синтаксичної структури й урахування комунікативних чинників організації смислу. Тому базою моделі є тлумачно-комбінаторний словник, що застосовує метамову лексикографічного портретування, яка має власну граматику [Мельчук, Жолковский 1974]. Словник оперує різними типами інформації: 1) морфо­логічною, яка демонструє тип парадигми, можливі опозитивні кореляти грамем, аломорфи; 2) стилістичною, репрезентованою традиційними позначками сфери вживання, експресивності, функціонально-стилістичної забарвленості; 3) семантичною, яка містить істиннісне твердження, тлумачення пресупозицій, модальних рамок (оцінок, емотивності), різноманітні вживання в певних значеннях, комбінаторику слова в контекстуальних умовах, інформацію про семантичне протиставлення двох форм однієї грамеми; 4) прагматичною, яка охоплює перформативну здатність слова, його нетривіальні іллокутивні функції, асоціації, що воно викликає; 5) просодичною й комунікативною, репрезентованою здатністю до виділення фразовим наголосом і можливостями рематичного функціонування; 6) синтаксичною, яка представляє валентнісний спектр слова (обов'язковий і факультативний) і місце його в структурі валентностей пропозиції; 7) зоною моделей сполучення слів, яка містить правила сполучення й обмеження на них; 8) фразеологічною як здатністю слова залучатися до складу фразем.

Наведена модель відповідна методиці лексикографічного портретування, розробленої під кутом зору концепції інтегрального опису мови російським лінгвістом Ю. Апресяном та його школою. Лексикографічне портретування ґрунтується на п'яти компонентах тлумачення лексичних одиниць: учасниках ситуації, їхніх статусах і станах, їхній взаємодії та діях, позиції спостерігача й оцінці ситуації мовцем і слухачем, що проектуються на компоненти асерції, пресупозиції, модальної рамки й рамки спостереження. Слово розглядається в аспекті ситуації, знаком складника якої воно є. Базовою гіпотезою концепції є теза про формування лексичних значень на базі життєвого досвіду носіїв мови, їхньої «наївної» картини світу. Лексикографічний портрет слова представлений наведеними вище вісьмома типами інформації про лексичну одиницю. Інформація записується спеціальною формалізованою метамовою, яка має свій лексикон і синтаксис. Лексикографічне портретування застосовується не лише при укладанні традиційних словників, а в підготовці комп'ютерних словників, які є складовими багаторівневих лінгвістичних процесорів. Така деталізація різноманітних типів інформації уможливлює оптимізацію автоматичної обробки текстів природною мовою.

Напрямом прикладного аспекту комп'ютерної лінгвістики є й розробка гіпертекстовнх технологій представлення тексту. Гіпертекст (від гр. hyper -понад і текст) має три тлумачення: 1) особливий метод побудови інформаційних систем, що забезпечує прямий доступ до інформації на підставі логічного зв'язку між її блоками; 2) система представлення текстової та мультимедійної інформації у вигляді мережі пов'язаних між собою текстових й ін. файлів, яка застосовує нелінійний, асоціативно-фрагментарний і сітковий принципи репрезентації інформації (вузли (nodes) гіпертексту поєднуються за допомогою гіперпосилань (hiperlinks), вибір яких дає змогу користувачеві «мандрувати» інформацією, обирати й упорядковувати її за власним бажанням); 3) особливий універсальний інтерфейс, що характеризується високим ступенем інтерактивності.

А. Баранов зазначає, що феномен гіпертексту можна обговорювати з кількох позицій. З одного боку, це особливий спосіб представлення, організації тексту, з іншого — новий вид тексту, протиставлений за багатьма ознаками звичайному тексту, сформованому в гутенбергівській традиції книгодрукування. І, врешті-решт, це новий спосіб, інструмент і нова технологія розуміння тексту [2003, 31-32]. Одним із перших можливість існування нелінійних текстів розглянув Ж. Дерріда. На його думку, суперечність між формою мислення та формою письма, що досягла у XX ст. свого апогею, зумовила руйнування лінійної моделі в межах філософії, науки та літератури [Ковалева 2004, 25]. Але така форма письма спостерігалася ще у Біблії, Талмуді, творах Аристотеля, «Декамероні» Боккаччо, «Алісі у країні чудес» Л. Керрола й ін. текстах.

Головний підхід до моделювання гіпертексту кваліфікують як «вільну навігацію», тобто на базі такої організації мережі зв'язків можна проглядати текстову інформацію в будь-якій послідовності, зіставляти різні фрагменти, формувати нові структури, тримати в полі зору різні інформаційні блоки. Відкриття принципів побудови гіпертексту пов'язують із науковим радником президента США Ф. Рузвельта, керівником Управління наукових досліджень США В. Бушем, який під час Другої світової війни контролював оборонні проекти й мав обробляти велику кількість відповідних документів. У роботі «Як ми можемо думати» 1945 р. на підставі розгляду людської думки як мережі асоціацій відповідно до «сплетіння слідів у клітинах головного мозку» він спроектував нову концепцію «навігації» у величезних масивах інформації, яка була згодом утілена у проекті «МЕМЕХ». Однак відсутність комп'ютерів не дала змоги реалізувати цей проект у межах механічних пошукових систем. Перші технологічні системи гіпертексту з'явилися вже у 60-ті p. p. XX ст. Це проект системи «Ксанаду» Т. Нельсона, який і назвав тексти та систему переходів до них гіпертекстом [Nelson 1993]. Проект передбачав уведення сукупності текстів і програмування можливості їхнього миттєвого вилучення й запам'ятовування послідовності перегляду. Першою фундаментальною реалізацією гіпертексту вважається система американського вченого Д. Енгельбарта (1987 p.). І. Штерн зазначає: «Якщо в гіпертекстових проектах першого покоління (70-80-ті р. р.) акцентуються саме технологічні переваги гіпертексту, то в розробках 90-х р. р. у центрі уваги опиняються вже не стільки технологічні, скільки когнітивно-креативні аспекти, тобто гіпертекстові засоби, що здатні підтримувати пізнавальну, комунікативну та творчу діяльність» [1998, 66].

Дослідники виокремлюють такі типи гіпертекстових систем:

бібліотечні (динамічні з можливим додаванням нових блоків і наявним коментарем);

аналітичні - гіпертексти, спрямовані на проектування багаторівневих стадій і шляхів розв'язання складних проблем;

довідкові, орієнтовані на перегляд великих масивів інформації й пошук необхідних даних;

експериментальні, спрямовані на креативні функції гіпертексту.

Головними властивостями гіпертексту називають когезійну закритість як відносну тематичну закінченість; відсутність зв'язків з іншими блоками гіпертексту; неієрархічність як відсутність у ньому головних і допоміжних інформаційних блоків; дисперсність структури (інформація закладена у блоки, до яких «увійти» можна з будь-якого боку); множинність віртуальних структур; іманентність як здатність засвоювати нові види інформації; відкритість як можливість додавання нових інформаційних блоків; мультилінійність як ступеневе розгортання (заголовок - заголовок з анотацією - частина тексту - повний текст); неоднорідність як наявність інформації різних типів у вузлах графа (текстів, фотографій, малюнків, схем, таблиць, відеороликів тощо); мультимедійність [Субботин 1994, 11-53; Хартунг, Брейдо 1996, 67; Баранов 2003, 33; Визель 2007; Зпштейн 2007]. Гіпертексти не мають автора у традиційному розумінні, його адресантом є колектив, що реалізує функції додавання компонентів, вибору шляхів перегляду цієї інформації. Такий адресант робить гіпертекст багатополюсним з огляду на поєднання різноманітних поглядів на те чи інше явище. Деякі гіпертекстові системи містять карти чи закладки, що відмічають найбільш відвідувані місця гіпертексту.

За способом будови типами гіпертексту є ієрархічний, що обмежує можливості переходу між його компонентами й має родо-видову структуру; і сітковий, який має сіткову побудову й застосовує не лише родо-видову ієрархію. Статичний і динамічний гіпертексти різняться можливістю змін у процесі експлуатації: перший має стабільний склад, другий його постійно оновлює, змінює. Структура гіпертексту залежить від кількості наявної в ньому інформації й може бути твердою, фіксованою за умови, наприклад, до З тисяч вузлів у системі гіпертексту, і м'якою, якщо кількість вузлів сягає десятків тисяч. Тверда структура потребує чіткої організації системи смислових відношень між компонентами. М'яка структура нерідко застосовує дескриптори - ключові слова текстового документа, сукупність яких є його пошуковим позначенням, тобто використовується для швидкого й ефективного пошуку необхідної інформації в системах штучного інтелекту. Гіпертекстова структура породжується в кожному випадку користування. Гіпертекст може бути представленим у вигляді графа, вузли якого мають різні типи зв'язків і формують маршрут перегляду гіпертексту, заданий автором або читачем. Базовими функціями програми гіпертексту є забезпечення швидкого перегляду інформаційного масиву (браузингу); обробка гіперпосилань; навігація по гіпертексту; запам'ятовування маршруту руху; представлення шляхів руху в формі, що легко сприймається; можливість формування звичайного лінійного тексту як результату руху по гіпертексту; доповнення гіпертексту новою інформацією; введення нових відношень до структури гіпертексту [Баранов 2003, 36].

У наведених вище прикладних напрямах комп'ютерної лінгвістики застосовуються поняття бази знань, інформаційно-пошукової системи і інформаційно-пошукової мови.

База знань - система логічних структур, що служать для зберігання позамовних знань про світ і предметну сферу застосування. Бази знань використовуються в моделях розуміння природної мови. У комп'ютерній науці виокремлюють п'ять основних типів таких систем: 1) навчальна, 2) експертна, 3) планувальна; 4) креативна (формування нових знань), 5) розуміння природ­ної мови. Експертна система оперує нетривіальними знаннями в певній предметній галузі, які не є відомими широкому загалу і служать для прийняття адекватних нестандартних рішень у нестандартних ситуаціях. Таке знання вилучається із професійної компетенції експертів, переводиться в потрібну форму й переноситься до бази знань експертної системи [Штерн 1998, 41]. Складною проблемою є вербалізація цих знань, адже вони існують часом у неусвідомленому, інтуїтивному вигляді або є логічно погано структурованими. Для вилучення експертних знань використовуються інтерв'ю, протокольний аналіз, ділова гра.

При комп'ютерному моделюванні бази знань застосовуються сценарії, сцени, схеми, скрипти, плани для репрезентації процедурних знань у типових ситуаціях, глибинні семантичні структури, фрейми для представлення деклара­тивних знань, семантичні сітки. База лінгвістичних знань містить лексикон (словники) і знання алгоритмів автоматичного аналізу й синтезу, правил різних мовних рівнів: фонологічного, морфологічного, синтаксичного - і застосовується для створення лінгвістичних процесорів, комп'ютерних граматик, машинних фондів національних мов, різноманітних словників й автоматизованих картотек, автоматизованих робочих місць лінгвіста для дослідницької діяльності.

Інформаційно-пошукова система - комплекс пов'язаних між собою частин текстів, призначених для пошуку й вияву елементів інформації, які є відповіддю на інформаційний запит, пред'явлений системі. Інформаційний пошук являє собою сукупність процедур, результатом яких є встановлення за заданими ознаками всіх документів, що містять необхідну інформацію запиту. Розрізнюють інформаційно-пошукові системи документального й фактографічного типів. Документальні системи подають оригінали документів, їхні копії та адреси збереження. Серед документальних систем виокремлюють бібліогра­фічні, що видають бібліографічні описи документів. Фактографічні системи призначені для пошуку конкретних даних, кількісних показників (наприклад, планово-економічної інформації).

На відміну від інформаційно-пошукових інформаційно-логічні системи здійснюють логічну переробку виявленої запитом інформації на підставі алгоритмів логічного аналізу формалізованої галузі науки. Ефективність інформаційно-пошукової системи визначається за двома коефіцієнтами: точності, що встановлюється у відсотках за формулою А = 100 • Н / М, де Н -кількість релевантних документів, М - загальна кількість у видачі; та коефіцієнтом повноти, який є відношенням у відсотках кількості релевантних документів Н до загальної кількості релевантних документів у пошуковому масиві С (В = 100 • Н / С). Релевантним документом є такий, що має смислову відповідність запитові. Запити є разовими та профільними (постійними). У сучасних інформаційно-пошукових систем коефіцієнт повноти складає 70-90 %, а точності - 10-30 %. Інформація систем пошуку містить три масиви: 1) повних описів за номерами документів; 2) дескрипторів із номерами описів, упорядкованих за абеткою; 3) прізвищ авторів із номерами описів, що належать до них.

Інформаційно-пошукова система користується певною інформаційно-пошуковою мовою - штучною формалізованою знаковою системою, призначеною для лінгвістичного забезпечення інформаційно-пошукових систем (для вираження змісту документів і запитів щодо пошуку інформації), яка містить систему символів (абетку, цифрові позначення, пунктуаційні знаки, спеціальні позначки), граматичні правила парадигматики й синтагматики одиниць, правила перекладу на цю мову, правила використання, словники. Головними вимогами до інформаційно-пошукової мови є семантична повнота й точність, однозначність, відкритість і креативна здатність. Систематизація такої мови відбувається за принципом координації - спроможності будувати нові складні класи понять шляхом логічного перетину понять або класи понять для складання фраз у структурі пошукових образів документа (основного значеннєвого змісту документа, за яким здійснюється пошук у масиві інших). Залежно від часу виконання координації вирізняють передкоординовані й посткоординовані інформаційно-пошукові мови. Перші поділяють на ієрархічні (із заданою ієрархією рубрик), алфавітно-предметні мови (систематична каталогізація за алфавітом) і фасетні класифікації (систематизація за матрицею параметрів (фасетів) класифікації); другі - на дескрипторні (мови із ключовими словами й назвами простих понять - дескрипторів), семантичні (із засобами для опису семантичної та семантико-синтаксичної структури понять) і синтагматичні (із ситуаційно зв'язаними термами, семантичними множниками й показниками синтаксичного зв'язку між ними). Прикладами інформаційно-пошукових мов є універсальна десяткова класифікація (УДК), мова ЯХ-кодів (Е. Скороходько), Синтол (Ж. Гарден), Інфол (В. Рубашкін) таін. [Штерн 1998, 147-150].

Створення інформаційно-пошукових мов передбачає такі етапи: упорядкування списку ключових слів - найбільш істотних характеристик документа; усунення синонімії ключових слів, яка зведена в класи еквівалентності, названі дескрипторами (у класі обирається головне слово); визначення базисних відношень між дескрипторами (родових й асоціативних); розробка системи покажчиків ролі (символів функцій дескрипторів у тексті) і зв'язку - символів смислового об'єднання дескрипторів у речення (своєрідної граматики мови).

Процедуру перекладу змісту документа на інформаційно-пошукову мову називають індексуванням. Залежно від рівня автоматизації розрізняють ручні, механізовані й автоматизовані системи. Інформаційно-пошукова система функціонально складається з підсистем інформаційного забезпечення (масивів документів і запитів; засобів опису, класифікації; особливостей структури); лінгвістичного забезпечення (інформаційно-пошукової мови, правил індексування, логіко-семантичного апарату); технічного та програмного забезпечення. Існують три типи інформаційно-пошукових завдань: 1) ретроспективний пошук «запит - відповідь»; 2) термінове оповіщення окремих фахівців про публікації, які їх цікавлять як вибірковий розподіл інформації за постійними запитами (профілями); 3) пошук персоналій фахівців, що володіють відповідною інформацією.