- •Технология интеллектуального автоматического анализа данных в современном управлении
- •Классификация интеллектуальных информационных систем по интеллектуальным признакам
- •Алгоритмическая классификация методов иад
- •Развитие интеллектуальных информационных систем.
- •Нейронные сети
- •Эволюционное программирование.
Классификация интеллектуальных информационных систем по интеллектуальным признакам
Классификация методов ИАД.
В данном разделе мы рассмотрим классификацию методов ИАД по четырем признакам:
происхождение гипотез, проверяемых в процессе ИАД;
использование данных;
уровень аналитической работы;
алгоритмическая классификация.
1. В общем случае методы ИАД условно делят на два больших класса: методы, основанные на проверке гипотез (verification-driven data mining) и методы, направленные на выявление зависимостей, которым подчиняются данные (discovery-driven data mining). К недостаткам процедур первого типа можно отнести ограниченность анализа жесткими рамками заранее сформулированной гипотезы. В этом случае именно на пользователе лежит ответственность за построение гипотезы, а также за количество и широту проверяемых гипотез. Весьма вероятно, что некоторые возможные корреляции выпадут из рассмотрения аналитика и исследование будет неполным. С другой стороны в тех процессах, где требуется принимать решения в ограниченное время, часто программы не могут соперничать с опытом аналитика.
Во втором случае системы ИАД самостоятельно обрабатывают информацию с целью обнаружения внутренних закономерностей. Комбинируя операции этих двух типов, становится возможным реализовать самые сложные стратегии анализа и принятия решений.
2. Перейдем ко второму признаку. В соответствии с ним все методы подразделяются на две большие группы по принципу работы с исходными данными. В первом случае исходные данные хранятся в явном детализированном виде и непосредственно используются для моделирования, а также для анализа исключений. Главной проблемой этой группы методов являются технические (временные и технологические) трудности при работе с большими объемами данных. Во втором случае информация сначала извлекается из первичных данных и преобразуется в некоторые формальные конструкции (их вид зависит от конкретного метода). При этом полученные конструкции могут быть либо интерпретируемыми (понимаемые и анализируемые пользователем), либо не трактуемыми (дающими только конечный результат). Ряд методов, распределенных по этой классификации, показан на рис.12.
3. В отношении уровня аналитической работы существующие системы ИАД можно разделить на следующие классы:
исследовательские (предназначенные для работы с новыми типами проблем);
операторские (предназначенные для работы в реальном секторе, но требующие от аналитика высокого уровня в постановке задач и интерпретации результатов);
прикладные (рассчитанные на непрограммирующего пользователя и решающие типовые задачи).
4. Наконец, наиболее полной является алгоритмическая классификация, то есть классификация, основанная на алгоритмах, используемых в различных методах ИАД
Алгоритмическая классификация методов иад
Статистическая обработка данных.
Предварительный анализ природы данных.
А. Гипотеза стационарности.
Б. Гипотеза нормальности.
В. Гипотеза независимости.
Г. Гипотеза однородности.
Д. Вид функции.
Выявление связей и закономерностей.
А. Линейный регрессионный анализ.
Б. Нелинейный регрессионный анализ.
В. Корреляционный анализ.
Многомерный статистический анализ.
А. Линейный дискриминационный анализ.
Б. Нелинейный дискриминационный анализ.
В. Компонентный анализ.
Г. Факторный анализ.
4) Динамические модели.
Саморазвивающиеся системы.
Нейронные сети.
Эволюционное программирование.
Генетические алгоритмы.
Традиционные методы решения оптимизационных задач.
Вариационные методы.
Методы исследования операций.
А. Линейное программирование.
Б. Нелинейное программирование.
В. Дискретное программирование.
Г. Целочисленное программирование.
Динамическое программирование.
Методы теории систем массового обслуживания.
Условно-экспертные методы.
Метод ближайшего соседа (CASE-BASED).
Деревья решений.
Алгоритмы ограниченного перебора.
Индукция правил.
Анализ с избирательным действием.
Нечеткая логика.
Методы визуализации данных.
В качестве первого направления методов ИАД рассмотрим методы статистической обработки данных, которые с приходом компьютерной эпохи приобрели свойства интеллектуальных информационных систем. Методы этого направления можно разделить на четыре взаимосвязанных раздела:
предварительный анализ природы статистических данных (проверка гипотез стационарности, нормальности, независимости, однородности, оценка вида функции распределения и ее параметров);
выявление связей и закономерностей (линейный и нелинейный регрессионный анализ, корреляционный анализ);
многомерный статистический анализ (линейный и нелинейный дискриминантный анализ, кластер-анализ, компонентный анализ, факторный анализ);
динамические модели и прогноз на основе временных рядов.
Второе крупное направление развития составляют кибернетические методы оптимизации, основанные на принципах саморазвивающихся систем - методы нейронных сетей, эволюционного и генетического программирования, а также разновидность эволюционного программирования – метод группового учета аргументов, позволяющий эффективно оценивать динамические характеристики исследуемого процесса путем последовательных уточнений результатов статистической подгонки наблюдений.
К третьему крупному разделу ИАД следует отнести совокупность традиционных методов решения оптимизационных задач - вариационные методы, методы исследования операций, включающие в себя различные виды математического программирования (линейное, нелинейное, дискретное, целочисленное целочисленное, динамическое программирование, принцип максимума Понтрягина, методы теории систем массового обслуживания).
В четвертый раздел средств ИАД входят средства, которые назовем условно экспертными, т.е. связанными с непосредственным использованием опыта эксперта.
Другой подход к выбору решения связан с построением последовательного логического вывода - дерева решений, в каждом узле которого эксперт осуществляет простейший логический выбор («да» - «нет»). В зависимости от принятого выбора, поиск решения продвигается по правой или левой ветви дерева и в конце концов приходит к терминальной ветви, отвечающей конкретному окончательному решению. Здесь процесс статистического обучения выведен за пределы программы и сконцентрирован в виде некоторого априорного опыта, заключенного в наборе ветвей-решений.
