1.3.2. Представлення знань
Представлення знань – ще одна функція експертної системи. Теорія представлення знань – це окрема область досліджень, тісно пов'язана з філософією формалізму та когнітивною психологією. Предмет дослідження в цій області – методи асоціативного зберігання інформації, схожі до тих, які існують в мозку людини. При цьому основна увага приділяється логічній, а не біологічній стороні процесу, опускаючи подробиці фізичних перетворень.
У області експертних систем представлення знань цікавить нас в основному як засіб знаходження методів формального опису великих масивів корисної інформації з метою їх подальшої обробки за допомогою символічних обчислень. Формальний опис означає упорядкування в рамках якої-небудь мови, що володіє досить чітко формалізованим синтаксисом побудови виразів і такого ж рівня семантикою, що пов'язує значення виразу з його формою.
Символічні обчислення означають виконання нечислових операцій, в яких можуть бути сконструйовані символи і символьні структури для представлення різних концептів та відносин між ними.
1.3.3. Управління процесом пошуку рішення
При проектуванні експертної системи серйозна увага повинна бути приділена і тому, як здійснюється доступ до знань і як вони використовуються при пошуку рішення. Знання про те, які знання потрібні в тій або іншій конкретній ситуації, і вміння ними розпорядитися – важлива частина процесу функціонування експертної системи. Такі знання отримали найменування метазнань – тобто знань про знання.
1.3.4. Роз'яснення прийнятого рішення
Представлення інформації про поведінку експертної системи важливе з багатьох причин.
• Користувачі, що працюють з системою, потребують підтвердження того, що в кожному конкретному випадку висновок, до якого прийшла програма, в основному коректний.
• Інженери, що мають справу з формуванням бази знань, повинні пересвідчитися, що сформульовані ними знання застосовані правильно, в тому числі і у випадку, коли існує прототип.
• Експертам в предметній області бажано прослідити хід міркувань і спосіб використання тих відомостей, які з їх слів були введені в базу знань.
• Програмістам, які супроводжують, налагоджують і модернізують систему, треба мати в своєму розпорядженні інструмент, що дозволяє заглянути в "її нутро" на рівні більш високому, ніж виклик окремих мовних процедур.
• Менеджер системи, що використовує експертну технологію, який зрештою несе відповідальність за наслідки рішення, прийнятого програмою, також потребує підтвердження, що ці рішення досить обгрунтовані.
Здатність системи пояснити методику прийняття рішення іноді називають прозорістю системи.
Лекція-3.
Суть експертного аналізу.
Оцінка якості експерта: апріорні, апостеріорні, тестові методи оцінки експерта.
3.1. Оцінка якості експерта
Існують різні визначення терміна "експерт". Найчастіше використовується визначення типу ''експерт - висококваліфікований фахівець". При оцінці ефективності участі експерта в керуванні необхідно оцінювати насамперед його реальну роль у практичній управлінській діяльності.
Відзначимо, що при оцінці якості експерта, поряд з оцінкою професійних знань і досвіду, повинна враховуватися також оцінка ефективності його роботи в складі експертних комісій.
Експертною комісією, що задовольняє пропонованим до неї вимогам, є комісія, що не тільки складається з висококваліфікованих експертів, але й добре підібрана й організована для рішення поставлених перед нею завдань.
Вони підрозділяються на апріорні, апостеріорні й тестові. Нагадаємо основні визначення й методи, використовувані при оцінці якості експерта.
Методи оцінки якості експерта, при яких не використовується безпосередньо інформація про результати його участі в попередніх експертизах, називаються апріорними.
Методи оцінки якості експерта, при яких використовується інформація про результати його участі в попередніх експертизах, називаються апостеріорними.
Методи оцінки якості експерта, що припускають проведення спеціального тестового експерименту, називаються тестовими.
Апріорні методи оцінки якості експерта. Серед них слід зазначити насамперед досить розповсюджені методи самооцінки. До їхнього числа ставляться методи самооцінки з використанням бальних, вербально-числових і вербальних шкал, а також диференціальний метод.
В першому зі згаданих методів експерт робить самооцінку в одній з бальних шкал: 3-, 5-, 10- або 100-бальної. При цьому одна з основних проблем - однакове розуміння експертами градацій шкал.
У другому методі використовуються вербально - числові шкали, що містять поряд із чисельними значеннями градацій їх змістовний опис. У цьому методі проблема однакового розуміння експертами градацій шкали коштує менш гостро.
У третьому методі експерт робить якісну оцінку своїх знань і досвіду. Як і в попередньому методі, шкала самооцінки має змістовний опис градацій шкали.
У диференціальному методі самооцінки використовується, як правило, оцінка по двох групах приватних критеріїв. По-перше, за критеріями, що характеризує знайомство експерта з основними джерелами інформації в даній області. По-друге, за критеріями, що характеризує знайомство експерта з об'єктами експертизи (наприклад, зі зразками продукції, результатами соціологічних опитувань про вимоги споживачів до якості продукції й т.д.).
До іншої групи апріорних методів оцінки якості експерта ставляться методи взаємооцінки. Найбільш відомі способи взаємооцінки методами під проблем, списку експертів, усереднення.
В основі методу під проблем лежить припущення, що проблема, що є об'єктом оцінки, може бути представлена у вигляді декількох під проблем. Оцінюється ступінь знайомства кожного експерта з кожної з під проблем. На підставі цього розглядається кілька способів визначення вагових коефіцієнтів, що характеризують ступінь знайомства експертів з під проблемами.
Взаємооцінка методом списку експертів на відміну від методу під проблем дозволяє одержувати укрупнені оцінки компетентності експертів. Процедура методу полягає у наступному. Кожний з експертів указує список фахівців, яких він уважає експертами в даній області. Коефіцієнт компетентності експерта в цьому випадку розраховується як відношення числа списків, у яких даний експерт знаходиться, до загального числа списків.
До числа апріорних методів оцінки якості експерта можна віднести також документаційний метод. Цей метод згадується досить часто. У ньому для оцінки якості експерта пропонується користуватися такими його об'єктивними характеристиками, як стаж роботи, учений ступінь, посада, число публікацій і т.д.
Апостеріорні методи оцінки експерта. У них передбачається використання оцінки результатів його участі в попередніх експертизах. За допомогою апостеріорних методів можуть одержати оцінку й такі фактори, як ступінь каньйон-крутності експерта, ступінь його конформізму, відтворюваність оцінок і т.д.
Приведемо основні з них. В основі оцінки компетентності експерта методом парних порівнянь — використання надмірності одержуваної інформації. Експертові послідовно пред'являються пари порівнюваних об'єктів, і він повинен указати, який із пред'явленої пари об'єктів, з його погляду, більше кращий. Після пред'явлення всіх пар об'єктів в аналітиків виявляється, як правило, дубльована інформація про переваги експерта.
Дійсно, у реальній практиці використання методу парних порівнянь поряд з безпосередньою інформацією про перевазі одного об'єкта перед іншим у розпорядженні аналітиків виявляється непряма інформація про їхню порівняльну перевагу.
Метод апостеріорної оцінки вірогідності суджень експерта припускає вірогідність суджень експерта визначати за результатами його участі в попередніх експертизах. Як критерій, що дозволяє оцінювати вірогідність суджень експерта, пропонується розраховувати коефіцієнт вірогідності - відносну частоту випадків, у яких він приписував найбільшу ймовірність подіям, що підтвердилося згодом.
При використанні цього методу прийнято розраховувати також середнє значення коефіцієнта вірогідності для експертної комісії й зіставляти з ним індивідуальні коефіцієнти вірогідності експертів.
Очевидно, що цим методом можна скористатися лише при кількаразовій участі експерта в роботі експертних комісій і наявності актуалізуючого банку експертів.
Метод оцінки якості експертів по відхиленню від результуючої оцінки об'єкта експертною комісією заснований на розрахунку коефіцієнта відхилення Ko.
д
е
Koi
— коефіцієнт
відхилення суджень i-го
експерта; doi
— відстань
індивідуальної оцінки i-го
експерта від результуючої
оцінки; dmax
— максимально можлива відстань
оцінки експерта від результуючої оцінки.
Для апостеріорної оцінки якості експерта можуть бути використані й інші методи, наприклад метод власних векторів, коли результати оцінок експертів представлені у вигляді матриці, рядка якої відповідають альтернативним варіантам, а стовпці — експертам, що оцінюють дані варіанти. На перетинанні кожного рядка й стовпця розташовані оцінки, дані відповідному альтернативному варіанту відповідним експертом.
Тестові методи оцінки експерта. Вони цікаві тим, що широко використовуються при визначенні професійної придатності фахівців у різних областях діяльності. При оцінці експерта тестові методи повинні бути орієнтовані на встановлення, з одного боку, його професійного рівня, а з іншого боку, на визначення в експерта навичок і досвіду, необхідних для ефективної участі в роботі експертних комісій.
Укажемо деякі загальні вимоги, що грають важливу роль при проведенні тестових експериментів:
1. Тест повинен бути розроблений під конкретні об'єкти експертної оцінки.
2. Результати тестових оцінок експерта повинні відповідати їхнім значенням, відомим аналітикам, проводячим тестовий експеримент, але не відомим експертові.
3. Повинна бути розроблена шкала, що дозволяє визначати ступінь точності оцінок, що дають експертом.
Однак більше повну оцінку експерта на підставі тестового експерименту можна одержати, визначивши різні ступені відхилення від щирих значень.
4. Імовірність випадкового вгадування експертом щирої оцінки в тестовому експерименті повинна бути досить мала.
Інтегральний метод тестового оцінювання. Методи визначення компетентності експерта й точності його оцінок на підставі результатів тестового експерименту припускають наступне подання інформації. Об'єктом тестової оцінки є деякий безперервний параметр X, що характеризує об'єкти експертизи. Функція Y=f0(x) характеризує залежність оцінок, що дають експертом, при зміні значень параметра X
Припустимі відхилення оцінок, що дають експертом, від еталонної залежності в = х лежать в області, обмеженої прямими Z*(х) і Z*(х). Уважається, що саме такий випадок найцікавіший для практики.
Методи тестового оцінювання ефективності використання фахівця як експерта. Ступінь професійного знайомства експерта з об'єктами експертизи позначається насамперед на чутливості його оцінок. Експерт, глибоко знайомий з об'єктами експертизи, як правило, розрізняє набагато більше тонкостей, нюансів при їхній оцінці, чим експерт, знайомий з об'єктами експертизи більш поверхово.
Визначення ступеня чутливості експерта при оцінці об'єктів експертизи може здійснюватися, наприклад, у наступному порядку. Аналітичною групою формується досить повний тестовий набір об'єктів експертизи (альтернативних варіантів), що включає об'єкти, що володіють різною інтенсивністю оцінюваного експертами властивості. Кожний з експертів ранжирує запропонований набір об'єктів по інтенсивності оцінюваної властивості, відносячи до одного рангу об'єкти, з його погляду, практично не помітні по інтенсивності. Ступінь чутливості експерта визначається або зіставленням зазначеного їм ранжирування об'єктів з еталонним, або порівнянням зазначеного їм ранжирування з ранжируваннями, зазначеними іншими кандидатами в члени експертної комісії.
Оцінка кон'юнктурності експерта. При проведенні експертиз доводиться зіштовхуватися й з такими специфічними проблемами, як підвищення ступеня об'єктивності експертних оцінок. У літературі, присвяченої практичному використанню методів експертного оцінювання, вказується на необхідність брати до уваги специфічні особливості експерта. Зокрема, повинні враховуватися конформізм - зміна оцінок експерта на користь загальноприйнятих або, на його думку, більше авторитетних, психологічні особливості участі експерта в оцінюванні, можливість ефективної роботи експерта в передбачуваних експертних процедурах.
ЛЕКЦІЯ-4.
Суть експертного аналізу.