
- •Интеллектуальные информационные системы учебное пособие
- •Тула 2010
- •3. Экспертные системы 47
- •8. Системы с интеллектуальным интерфейсом 143
- •9. Многоагентные системы 158
- •Предисловие
- •1. Искусственный интеллект и интеллектуальные информационные системы
- •1.1. Введение в искусственный интеллект
- •1.1.1. Искусственный интеллект: основные понятия и решаемые задачи
- •1.1.2. Подходы к построению систем искусственного интеллекта
- •1.1.3. Интеллектуальные информационные системы: понятие и отличительные особенности
- •1.2. Основные классы интеллектуальных информационных систем
- •1.2.1. Экспертные системы
- •1.2.2. Самообучающиеся системы
- •1.2.3. Адаптивные информационные системы
- •1.2.4. Системы с интеллектуальным интерфейсом
- •1.2.5. Многоагентные системы
- •1.3. Основы проектирования интеллектуальных информационных систем
- •1.3.1. Структура и этапы разработки интеллектуальных информационных систем
- •1.3.2. Логическое проектирование
- •1.3.3. Физическое проектирование
- •1.3.4. Использование прототипного проектирования
- •Контрольные тесты
- •2. Традиционные способы представления и обработки знаний в интеллектуальных информационных системах
- •2.1. Знания и их использование в интеллектуальных информационных системах
- •2.1.1. Понятие знаний и их отличие от данных
- •2.1.2. Классификация знаний
- •2.1.3. Логический вывод. Использование дедукции, индукции и аналогии
- •2.1.4. Представление знаний в интеллектуальных информационных системах
- •2.2. Типичные модели представления знаний
- •2.2.1. Логическая модель
- •2.2.2. Продукционная модель
- •2.2.3. Семантическая сеть
- •2.2.4. Фреймовая модель
- •2.2.5. Объектно-ориентированная модель
- •2.3. Представление и формализация нечетких знаний
- •2.3.1. Основные определения нечетких множеств
- •2.3.2. Операции с нечеткими множествами
- •2.3.3. Нечеткие отношения
- •2.3.4. Нечеткая и лингвистическая переменные
- •Контрольные тесты
- •3. Экспертные системы
- •3.1. Структура и режимы работы экспертных систем
- •3.1.1. Основные элементы экспертных систем
- •3.1.2. Режимы работы экспертных систем
- •3.1.3. Участники разработки экспертных систем
- •3.2. Классификация экспертных систем
- •3.2.1. Классификация по сложности решаемых задач
- •3.2.2. Классификация по типу решаемых задач
- •3.2.3. Основные классы экспертных систем: классифицирующие, доопределяющие, трансформирующие, многоагентные
- •3.3. Поиск решений в экспертных системах
- •3.3.1. Поиск в одном пространстве
- •3.3.2. Поиск в иерархии пространств
- •3.3.3. Поиск в случае недетерминированности знаний
- •3.3.4. Алгоритм реализации логического вывода в экспертных системах
- •3.4. Методы извлечения знаний в экспертных системах
- •3.4.1. Классификация методов извлечения знаний
- •3.4.2. Коммуникативные методы извлечения знаний
- •3.4.3. Текстологические методы извлечения знаний
- •Контрольные тесты
- •4. Оlap-технология
- •4.1. Основные понятия
- •4.1.1. Хранилище данных
- •4.1.2. Применение информационных хранилищ. Извлечение знаний из данных
- •4.1.3. Основная идея olap-технологии
- •12 Признаков olap данных
- •4.1.4. Структура хранилища данных в оlap-системах
- •4.2. Модели и алгоритмы построения olap-систем
- •4.2.1. Rolap – обработка на основе запросов к реляционным базам данных
- •4.2.2. Molap – многомерное представление данных
- •4.2.3. Holap – гибридные системы
- •Контрольные тесты
- •5. Интеллектуальный анализ данных
- •5.1. Методы интеллектуального анализа данных
- •5.1.1. Основные понятия
- •5.1.2. Типы закономерностей, выявляемых методами интеллектуального анализа данных
- •5.1.3. Стадии интеллектуального анализа данных
- •5.1.4. Индуктивное и абдуктивное обучение
- •5.2. Алгоритмы интеллектуального анализа данных
- •5.2.2. Байесовская классификация
- •5.2.3. Деревья решений
- •5.2.4. Методы классификации с использованием функций
- •5.2.5. Метод "ближайшего соседа" или системы рассуждений на основе аналогичных случаев
- •5.2.6. Методы кластерного анализа
- •5.2.7. Развитие алгоритмов интеллектуального анализа данных
- •Контрольные тесты
- •6. Нейронные сети
- •6.1. Основные понятия
- •6.1.1. Модель искусственного нейрона
- •6.1.2. Модели нейронных сетей
- •6.1.3. Статические нейронные сети
- •6.1.4. Рекуррентные нейронные сети
- •6.2. Проектирование нейронных сетей
- •6.2.1. Этапы проектирования нейронных сетей
- •6.2.2. Метод обратного распространения ошибки
- •6.2.3. Методы обучения нейронных сетей: обучение без учителя
- •6.2.4. Нейронные сети Хопфилда и Хэмминга
- •6.2.5. Использование генетических алгоритмов для обучения нейронной сети
- •Контрольные тесты
- •5. Адаптивные системы
- •5.1. Основные классы адаптивных систем
- •5.1.1. Понятие и классификация адаптивных систем
- •5.1.2. Самонастраивающиеся адаптивные системы
- •5.1.3. Самоорганизующиеся адаптивные системы
- •5.1.4. Самообучающиеся адаптивные системы
- •5.2. Проектирование адаптивных систем
- •5.2.1. Общие подходы и требования к проектированию
- •5.2.2. Оригинальное проектирование адаптивных систем
- •5.2.3. Компонентное проектирование адаптивных систем
- •Контрольные тесты
- •8. Системы с интеллектуальным интерфейсом
- •8.1. Взаимодействие пользователя с информационной системой на естественном языке
- •8.1.1. Компьютерно-лингвистический подход к диалогу. Проблемы формализации естественном языке
- •8.1.2. Задачи обработки текстов на естественном языке
- •8.1.3. Уровни понимания текста на естественном языке
- •8.2. Построение естественно-языковых интерфейсов
- •8.2.1. Лингвистическая трансляция
- •8.2.2. Обобщенная схема естественно-языковой системы
- •8.2.3. Компонент понимания высказываний
- •8.2.4. Компонент генерации высказываний
- •8.3. Прикладные системы с интеллектуальным интерфейсом
- •8.3.1. Интеллектуальные базы данных
- •8.3.2. Интеллектуальные гипертекстовые системы
- •8.3.3. Системы когнитивной графики
- •Контрольные тесты
- •9. Многоагентные системы
- •9.1. Характеристика агента как элемента многоагентной системы
- •9.1.1. Агент: понятие и классификация
- •9.1.2. Отличительные свойства агента
- •9.2. Процесс самоорганизации в многоагентных системах
- •9.2.1. Понятие многоагентной системы
- •9.2.2. Структура памяти и принципы мышление агента
- •9.2.3. Самоорганизация многоагентной системы
- •9.2.4. Архитектура и интерфейс многоагентной системы
- •Контрольные тесты
- •Библиографический список
- •Приложение
- •Интеллектуальные информационные системы
- •3000600, Г.Тула, пр.Ленина, 92.
- •3000600, Г.Тула, ул.Болдина, 151
4.1.3. Основная идея olap-технологии
Термин OLAP был предложен в 1993 г. Эдвардом Коддом (автор реляционной модели данных). По Коду “OLAP-технология — это технология комплексного динамического синтеза, анализа и консолидации больших объемов многомерных данных”.
Другими словами, OLAP (Online Analytical Processing – оперативная аналитическая обработка) – это информационный процесс, который дает возможность пользователю запрашивать систему, проводить анализ и т.д. в оперативном режиме (онлайн). В OLAP предусмотрены такие действия, как генерация запросов, запросы нерегламентированных отчетов, проведение статистического анализа и построение мультимедийных приложений.
Для обеспечения OLAP необходимо работать с хранилищем данных (или многомерным хранилищем), а также с набором инструментальных средств, обычно с многомерными способностями. Этими средствами могут быть инструментарий запросов, электронные таблицы, средства добычи данных (Data Mining), средства визуализации данных и др.
В основе концепции OLAP лежит принцип многомерного представления данных. Недостатком популярной в настоящее время реляционной модели, в первую очередь является невозможность объединять, просматривать и анализировать данные с точки зрения множественности измерений, что и определило общие требования к системам OLAP, расширяющим функциональность реляционных СУБД и включающим многомерный анализ как одну из своих характеристик.
Многомерное концептуальное представление представляет собой множественную перспективу, состоящую из нескольких независимых измерений, вдоль которых могут быть проанализированы определенные совокупности данных. Одновременный анализ по нескольким измерениям определяется как многомерный анализ.
В 1993 году Э. Коддом определено 12 правил представления данных пользователю (табл. 4.1).
Таблица 4.1
12 Признаков olap данных
Признаки |
Характеристика признаков OLAP данных |
Многомерная концепция данных |
OLAP оперирует данными, которые являются многомерными массивами. Число измерений OLAP-кубов не ограничено. |
Прозрачность
|
OLAP системы должны опираться на открытые системы, поддерживающие гетерогенные источники данных. |
Доступность
|
OLAP системы должны представлять пользователю единую логическую схему данных. |
Постоянная скорость выполнения запросов |
Производительность не должна падать при росте числа измерений.
|
Клиент/сервер архитектура |
Системы должны базироваться на открытых интерфейсах и иметь модульную структуру. |
Различное число измерений
|
Системы не должны ограничиваться трехмерной моделью представления данных. Измерения должны быть эквивалентны по применению любых функций. |
Динамическое представление разреженных матриц |
Под разреженной матрицей понимается такая матрица, не каждая ячейка которой содержит данные. OLAP-системы должны содержать средства хранении и обработки разреженных матриц больших объемов. |
Многопользовательская поддержка |
OLAP-системы должны поддерживать многопользовательский режим работы.
|
Неограниченные многомерные операции |
Аналогично требованию о различном числе измерений: все измерения считаются равными, и многомерные операции не должны накладывать ограничения на отношения между ячейками. |
Интуитивно понятные инструменты манипулирования данными |
Для формулировки многомерных запросов пользователи не должны работать с усложненными меню.
|
Гибкая настройка конечных отчетов.
|
Пользователи должны иметь возможность видеть только то, что им необходимо, причем все изменения данных должны немедленно отображаться в отчетах. |
Отсутствие ограничений. |
Не должны иметься какие-либо ограничения на количество измерений и уровней агрегации данных. |
В дальнейшем Найджел Пендс переформулировал 12 правил Кодда в более емкий тест FASMI (Fast Shared Multidimensional Information). По определению Пендса, OLAP-система должна быть:
Fast — быстрой, обеспечивать почти мгновенный отклик на большинство запросов;
Shared — многопользовательской; должен существовать механизм контроля доступа к данным, а также возможность одновременной работы многих пользователей;
Multidimensional — многомерной; данные должны представляться в виде многомерных кубов;
Information — данные должны быть полны с точки зрения аналитика, т.е. содержать всю необходимую информацию.
OLAP-технология представляет для анализа данные в виде многомерных наборов данных, называемых многомерными кубами (гиперкуб, метакуб, кубом фактов), оси которого содержат параметры, а ячейки — зависящие от них агрегатные данные
При том гиперкуб является концептуальной логической моделью организации данных, а не физической реализацией их хранения, поскольку храниться такие данные могут и в реляционных таблицах ("реляционные БД были, есть и будут наиболее подходящей технологией для хранения корпорационных данных" — E. Codd).
По Кодду, многомерное концептуальное представление (multi-dimensional conceptual view) представляет собой множественную перспективу, состоящую из нескольких независимых измерений, вдоль которых могут быть проанализированы определенные совокупности данных. Одновременный анализ по нескольким измерениям определяется как многомерный анализ. Осями многомерной системы координат служат основные атрибуты анализируемого бизнес-процесса (то, по чему ведется анализ). Например, для продаж это могут быть тип товара, регион, тип покупателя. В качестве одного из измерений используется время. На пересечениях осей - измерений (dimensions) — находятся данные, количественно характеризующие процесс — меры (measures): суммы и иные агрегатные функции (min, max, avg, дисперсия, ср. отклонение и пр.). Каждое измерение включает направления консолидации данных, состоящие из серии последовательных уровней обобщения (уровней иерархии), где каждый вышестоящий уровень соответствует большей степени агрегации данных по соответствующему измерению (различные уровни их детализации). В этом случае становится возможным произвольный выбор желаемого уровня детализации информации по каждому из измерений.