Глава 11. Системы аналитической обработки данных и искусственного интеллекта

Современные информационные системы невозможно представить без средств, обеспечивающих аналитическую обработку данных, основанных на различных математических методах и методах искусственного интеллекта. В распоряжение пользователя предоставляются различные инструментальные средства обработки данных.

11.1. Средства анализа данных математических пакетов

В силу профессиональной необходимости специалистам в различных областях экономики практически невозможно обойтись без разнообразных математических расчетов и наглядного представления получаемых результатов. В последнее десятилетие при проведении исследований и в обучении все большее распространение получает компьютерная технология, основанная на использовании универсальных пакетов – интегрированных математических компьютерных систем, которые предоставляют в распоряжение пользователя арсенал готовых вычислительных средств для автоматической реализации аналитических и численных алгоритмов решения статистических, финансово–экономических и многих других задач на ЭВМ, а также документирования, визуализации и обмена результатами вычислений. Среди них – электронные таблицы, математико-ориентированные пакеты Eureka фирмы Borland, Mathematica фирмы Wolfram Research Inc., MatLAB фирмы MathWork Inc., Maple фирмы Waterloo Maple Software, Derive a Mathematical Assistant фирмы Soft Warehouse, MathCAD фирмы MathSoft, STATISTICA фирмы StatSoft Inc. Особую ценность представляют версии этих пакетов, модифицированные под работу с операционной системой Windows. Они имеют удобный и дружественный интерфейс в сочетании с весьма внушительными вычислительными и графическими возможностями.

Интегрированная программная система Eureka предназначена для решения систем линейных и нелинейных уравнений и неравенств на компьютерах невысокой производительности. Она требует представления условия задачи в форме, максимально приближенной к математической записи. Кроме того, пакет Eureka позволяет вычислять значения производных и определенных интегралов; осуществлять поиск экстремума функции; выводить на экран и печатать графики или таблицы значений функции; пересчитывать единицы измерений; создавать отчет о проделанной работе.

Система компьютерной алгебры Mathematica (первая версия – 1988 год, третья – 1996 год) – неотъемлемая компонента компьютерных технологий проведения научных исследований и обучения в высшей школе. Она позволяет выполнять широкий спектр аналитических преобразований многочленов, получать решения алгебраических и трансцендентных уравнений, осуществлять операции дифференцирования, интегрирования, разложения в ряд, решения дифференциальных уравнений, работу с векторами, матрицами, преобразования списков.

Наиболее адекватная и эффективная форма взаимодействия с системой Mathematica – написание программ на ее внутреннем языке. При этом можно программировать в функциональном стиле (искомый результат получается из суперпозиции применений заголовков функций к исходным аргументам), в стиле, основанном на создании правил преобразования, в традиционном процедурном стиле языков программирования высокого уровня.

В этой системе допустим структурированный обмен данными с другими составляющими информационного обеспечения исследований, в том числе и через Internet.

Mathematica позволяет строить двух- и трехмерные графики функций и массивов числовых данных, контурные и плотностные графики функций от двух аргументов, гистограммы, круговые диаграммы, проводить визуализацию динамических процессов с использованием приемов анимации изображений.

Фирма-разработчик поддерживает электронный архив, содержащий в свободном доступе большое количество написанных сотрудниками фирмы программных продуктов (www.wolfram.com/mathSource/).

Система MatLAB предназначена для выполнения математических расчетов, моделирования физических процессов и управления техническими объектами. Она работает с многомерными массивами, с матрицами, в том числе разреженными, позволяет решать задачи аппроксимации, интерполяции, численного интегрирования, вычисления нулей функций, нахождения экстремума, реализует преобразование Фурье, свертку и фильтрацию, интегрирует системы дифференциальных уравнений, может выполнять графические команды и функции.

Пакет символьных вычислений Maple V включает богатую библиотеку аналитических функций для осуществления дифференцирования, интегрирования, решения уравнений (нелинейных алгебраических, трансцендентных, дифференциальных), задач линейной алгебры, преобразований выражений, использования современной графики, ввода данных и записи результатов в файлы. Maple V – открытая система: пользователь может изменять или наращивать существующую библиотеку, кодируя требуемые алгоритмы на собственном языке программирования системы Maple.

Многофункциональная система Derive принадлежит к классу малых компьютерных систем, широко используемых в образовательных учреждениях многих стран мира. Ее современная версия 4.02 требует IBM-совместимый персональный компьютер с 8 мегабайтами оперативной памяти при использовании всех версий операционной системы Windows (95/98, NT). Основные возможности этой системы:

– символьные операции с многочленами, дробно–рациональными функциями, функциями многих переменных;

– аналитическое и численное интегрирование и дифференцирование, вычисление пределов и сумм, разложение функций в ряды;

– операции с векторами и матрицами, элементами которых могут быть числа или арифметические выражения;

– построение двумерных и трехмерных графиков в декартовой и полярной системах координат и др.

Ввод математических символов осуществляется как с помощью специальной панели, так и набором соответствующих слов, порождающих изображение математических символов на экране.

Заслуженной популярностью пользуется система MathCAD (Mathematical Computer Aided Design), гибкость и универсальность которой делают ее эффективным инструментом и в руках профессионала, и в руках студента, постигающего технику математических преобразований. Важным достоинством системы MathCAD является входной язык для диалога с системой, максимально приближенный к математическому.

Первые версии системы MathCAD, появившиеся в середине 80‑х годов, были ориентированы на работу под управлением MS‑DOS, но уже с начала 90‑х годов пакет MathCAD 3.0 был переработан под Windows. Современные версии системы MathCAD, ориентированные на 32‑разрядные персональные компьютеры серии Pentium/Pentium Pro, значительно усовершенствованы по сравнению со своими предшественницами. С конца 1998 года в России начала распространяться версия MathCAD 8.0 Professional. В ней сохранен привычный интерфейс (графическая оболочка, внешне напоминающая все Windows-приложения, обеспечивающая управление системой с помощью мыши и клавиатуры), но реализован ряд новых средств, делающих систему более эффективной и создающих основу для ее будущего совершенствования. Встроенная версия Microsoft Internet Explorer включает окно содержания, которое предоставляет доступ к ресурсам MathCAD в Internet. А язык визуального программирования MathConnex дает возможность связывать данные MathCAD и других приложений. Богатые возможности для наглядного представления результатов расчетов дает пакет программ Axum.

22 июня 1998 года MathSoft Inc. объявила о выпуске бесплатного приложения MathCAD Explorer для выполнения математических вычислений в World Wide Web, которое находится по адресу http://www.mathsoft.com. Оно включает полный набор вычислительных средств, сопровождаемых методическими рекомендациями по их использованию.

MathCAD с реализацией под Windows имеет

– мощный математический аппарат в виде библиотеки встроенных процедур и функций, реализующих самые надежные стандартные алгоритмы;

– средства для выполнения числовых и символьных операций;

– интерактивную справочную систему получения помощи;

– удобную операционную среду, которая позволяет формулировать проблемы, выполнять на компьютере расчеты различной сложности и получать решения в привычной с точки зрения математика форме, не прибегая к рутинному программированию в традиционном смысле этого слова; при этом выполняется соглашение WYSIWYG (What You See Is What You Get – что видишь, то и получишь), то есть вид выражения на экране полностью совпадает с тем, что передано процессору для обработки;

– конструкции своего собственного математически ориентированного языка программирования сверхвысокого уровня, позволяющие писать программы для решения задач, если стандартных средств оказывается недостаточно;

– встроенные в систему текстовый, формульный и графический редакторы;

– возможности использования трехмерной графики, анимации и звукового сопровождения;

– возможности перемещения рисунков и изменения их размеров;

– возможность работы с латинским, русским, греческим алфавитами;

– богатый набор шрифтов;

– встроенные электронные книги с примерами применений системы по ряду разделов математики, физики, а также по интерфейсу системы, в которых можно выделить нужную формулу или рисунок и перенести в текст своего документа (технология drag–and–drop);

– возможность многовариантного вызова одних документов из других, гипертекстовые и гипермедиа–переходы;

– преобразование данных из файлов, подготовленных в форматах Microsoft Excel, MatLAB, ASCII;

– возможности сетевых технологий (постоянный доступ к поисковым программам во время работы в среде пакета MathCAD с помощью Internet Explorer; поддержка интерфейса MAPI; определение гипертекстовых ссылок в Web; присоединение к Collaboratory – общедоступному Internet-форуму, объединяющему всемирное сообщество пользователей MathCAD);

– новые справочные возможности (контекстная справка, справка с оглавлением и инструментами поиска; руководство по решению уравнений; руководство по прикладной статистике; руководство по программированию; технические справочные таблицы; обновляемая Web – библиотека документов и электронных книг).

Для установки и функционирования полного пакета программ MathCAD 8 Professional требуется IBM‑совместимый персональный компьютер, оснащенный процессором Intel Pentium 90 или выше; операционной системой Windows одной из версий 95, 98, NT 4.0 или более поздних; имеющий не менее 16 Мбайт RAM; 200 Мбайт свободного пространства на жестком диске; дисковод CD; графическую карту и монитор Super VGA; манипулятор мышь; доступ в Internet для полноценной работы с дополнительными ресурсами.

Вопросы статистического анализа относятся к числу наиболее актуальных в математической интерпретации экономических данных, поскольку статистический материал часто является единственным объективным источником информации об исследуемых процессах. Не меньшее значение придается статистическому планированию исследований, в том числе экстремальных экспериментов и исследований по выяснению механизма явлений, так как все возрастающая сложность и ответственность за последствия эксперимента требуют от исследователя с предельным вниманием относиться к составлению плана проведения тех или иных работ.

Прогнозирование, нахождение скрытой периодичности в данных, оценка рисков при принятии решений, анализ зависимостей и другие задачи решаются средствами пакетов программ для персональных компьютеров, реализующих методы прикладной статистики. Разное наполнение статистических пакетов ориентирует каждый пакет на конкретного пользователя.

В лидирующей группе пакетов прикладной статистики как по продуманности сервиса, так и по полноте математического содержания находится интегрированная система комплексного статистического анализа и обработки данных STATISTICA (фирма-производитель StatSoft).

Систему STATISTICA отличает четкая структура. Она состоит из следующих основных частей:

– Многофункциональная система для работы как с числовыми, так и с текстовыми данными. Для ввода и преобразования исходных данных предназначена электронная таблица Spreadsheet. Она состоит из строк и столбцов, имеющих разные смысловые значения. Столбцы называются Variables (переменные, в качестве которых выступают исследуемые величины). Строки называются Cases (случаи – это значения, которые принимают переменные). Максимальное число переменных в таблице – 4 092, а число случаев может изменяться до 2 000 000. В электронной таблице Spreadsheet можно задавать формат отображения данных, длинные имена переменных, формулы для определения или преобразования значений переменных. Возможен переход от текстового представления к числовому и наоборот. Вывод числовых и текстовых данных осуществляется в виде набора (очереди) электронных таблиц Scrollsheet – таблиц вывода результатов.

– Графическая система для визуализации данных и результатов статистического анализа, позволяющая строить двух- и трехмерные диаграммы и графики в различных системах координат, предоставляющая в распоряжение пользователя широкий выбор различных атрибутов – типов линий, форматов разметки осей, цветов, легенд, названий и т.п.

– Набор модулей статистической обработки данных, каждый из которых является полноценным Windows-приложением и может работать независимо от остальных. Среди них описательные статистики, методы кластерного анализа, методы анализа временных рядов и прогнозирования.

– Специальный инструментарий подготовки отчетов с помощью текстового редактора, встроенного в систему.

– Внутренние языки программирования: SCL (STATISTICA Command Language), позволяющий выполнять статистическую обработку данных в пакетном режиме, и STATISTICA BASIC, обеспечивающий взаимодействие с системой в интерактивном режиме и дающий возможность наращивать систему за счет собственной библиотеки распределений и специальных функций.

– Электронная справочная система, организованная по принципу гипертекста. С ее помощью можно получить исчерпывающую информацию по любому компоненту системы.

Первая версия пакета, ориентированная на работу под управлением MS‑DOS, увидела свет в 1991 г. Версия для Windows появилась в 1994 г. и сразу заняла место в группе лучших программных продуктов, наряду с такими широко признанными и употребительными статистическими пакетами, как BMDP, SPSS, Statgraphics, Systat. Более поздние версии системы STATISTICA 5.0, 5.1, 6.0 удовлетворяют всем стандартам среды Windows (использование технологий DDE – динамического обмена данными из других приложений, OLE – связывания и внедрения объектов, поддержка основных операций с буфером обмена и др.).