41. Интеллектуальный анализ текстовой информации

Перейдем к определению интеллектуального анализа данных и рассмотрению его задач. Интеллектуальный анализ данных – область знаний, относящаяся к обработке данных, изучающая поиск и описание скрытых, нетривиальных и практически полезных закономерностей.

К задачам интеллектуального анализа данных относится множество направлений, такие как поиск документов в локальных и глобальных сетях, сортировка и классификация документов, автоматическое аннотирование и реферирование, системы автоматического контроля, вопросно-ответные системы, диалоговые системы, обучающие и обучающиеся системы, модификация и пополнение баз знаний, экспертные системы и машинный перевод. Однако в данной статье мы рассмотрим лишь некоторые из них. Методы интеллектуального анализа данных опираются на математический аппарат классической теории множеств, теории нечетких множеств, математической статистики, нейронных сетей, а также разнообразные эмпирические методики. Алгоритмическое решение формализованной задачи интеллектуального анализа данных связано с задачами поиска экстремума целевой функции и вида целевой зависимости.

В узком смысле это попытка адекватного русского перевода термина Data Mining, который ввёл в обиход Григорий Пятецкий-Шапиро в 1992 году. Согласно его определению, Data Mining — это процесс обнаружения в сырых данных ранее неизвестных, нетривиальных, практически полезных, доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Дословный перевод «раскопки (или добыча) данных» следует, по всей видимости, считать неудачным.

В широком смысле это современная концепция анализа данных, предполагающая, что

• данные могут быть неточными, неполными (содержать пропуски), противоречивыми, разнородными, косвенными, и при этом иметь гигантские объёмы; поэтому понимание данных в конкретных приложениях требует значительных интеллектуальных усилий;

• сами алгоритмы анализа данных могут обладать «элементами интеллекта», в частности, способностьюобучаться по прецедентам, то есть делать общие выводы на основе частных наблюдений; разработка таких алгоритмов также требует значительных интеллектуальных усилий;

• процессы переработки сырых данных в информацию, а информации в знания уже не могут быть выполнены по старинке вручную, и требуют нетривиальной автоматизации.

Необходимость интеллектуального анализа данных возникла в конце XX века в результате повсеместного распространения информационных технологий, позволяющих детально протоколировать процессы бизнеса и производства.

СППР представляют собой вид компьютерных информационных систем, помогающих управляющему в принятии решений, при решении плохо структурированных задач посредством прямого диалога с машиной с использованием данных, знаний и математических моделей [5].

СППР появились усилиями американских ученых в конце 1970-х – начале 1980-х гг., чему в значительной степени способствовало широкое распространение персональных компьютеров, стандартных пакетов прикладных программ, а также значительные успехи в создании систем искусственного интеллекта (ИИ).

Отличительные особенности СППР. СППР характеризуется следующими отличительными особенностями:

ориентацией на решение плохо структурированных (формализованных) задач, характерных главным образом для высоких уровней управления;

возможностью сочетания традиционных методов доступа и обработки компьютерных данных с возможностями математических моделей и методами решения задач на их основе;

направленностью на непрофессионального конечного пользователя ЭВМ посредством использования диалогового режима работы;

высокой адаптивностью, обеспечивающей возможность приспосабливаться к особенностям имеющегося технического и программного обеспечения, а также требованиям пользователя.