Методы анализа данных

3) Моделирование – реализация сценариев «Что - если»

• Задание различных вариантов (сценариев) исходных данных. С последующим анализом получаемых результатов (рисунок – Моделирование).

4) Средства OLAP (Online Analyzing Processing – системы оперативной аналитической обработки). Визуализация.

СУТЬ: Упростить работу с многоцелевыми данными (многомерный анализ) и не погрязнуть в их океане, а также умело превратить набор количественных показателей в качественные показатели (рисунок – ВИЗУАЛИЗАЦИЯ).

• В ИС хранятся сотни и тысячи показателей, интересных для анализа. OLAP позволяет построить отобразить взаимосвязи между ними с различной степенью детализации (многомерный куб). Аналогично в MS Excel – сводные таблицы.

• В результате возможен комплексный взгляд на собранную информацию, ее обобщение, получение итогов и сравнений путем: экстраполяции, агрегирования (формирования сводных отчетов) и гиперкубического представления.

5) Методы Data Mining («интеллектуальный» анализ данных).

СУТЬ: Технология направлена на обнаружение в «сырых» данных предварительно неизвестных, практически полезных и доступных интерпретации знаний (рисунок – ДОБЫЧА ДАННЫХ).

• Не тривиальность разыскиваемых шаблонов, которые могут отражать неочевидные и неожиданные регулярности в данных, составляющие так называемые скрытые данные. Основная задача Data Mining - прогнозирование тех или иных процессов.

• Data Mining – мульти дисциплинарная область: прикладная статистика, распознавание образов, методы искусственного интеллекта, теория БД и т.д.

• Пример: шахматы – тактическое и стратегическое мышление.

НОВЫЕ ФОРМЫ ОРГАНИЗАЦИИ И ХРАНЕНИЯ ДАННЫХ.

Однако, использование методов аналитической обработки на «сырых» данных, содержащихся в различных автономных БД предприятий НЕ ЭФФЕКТИВНО. Поскольку подобные базы характеризуются низким качеством данных – наличие ошибок, противоречий, неполнота данных и т.д.

В результате вместо локальных БД (MRP, MRP II, ERP) выделяется:

• единая оперативная БД, используемая для традиционных задач, включающая также данные из сети Интернет и внешние базы данных, а на ее основе с помощью специальных процедур (ETL):

• хранилище и витрины данных (критерии – интеграция и качество данных), являющиеся источником для аналитической обработки (моделирование, OLAP, Data Mining)

РИСУНОК: Контекст – данные, подобранные, описанные и структурированные в соответствие с заданной целью (Оперативные данные   ХД, витрины данных).

Современный этап развития (2002…2012 годы) ИС

Управление знаниями.

СУТЬ: главный смысл глобальных изменений, которые происходят сегодня, заключается в том, что сейчас, прежде всего, требуется 1) выбирать ДАННЫЕ из традиционных приложений и 2) превращать (агрегировать) их в ЗНАНИЯ, т.е. ИНФОРМАЦИЮ, которая может быть использована для 3) эффективного управления бизнесом.

Ральф Кимбалл

«На протяжении многолетней истории ИТ специалисты были заняты одной стороной проблемы – они учились накапливать данные. Теперь же, когда эта задача, так или иначе, решена, выяснилось, что надо понять, как представлять данные пользователям»

Это привело к развитию современных информационных систем в следующих направлениях:

РИСУНОК: Бизнес аналитика (формирование знаний по категориям пользователей – предметным областям и действий - принятие решений)

Бизнес-аналитика. Business Intelligence (сбор, обработка, получение знаний). Интегрированный комплекс, включающий системы подготовки и принятия решения, стандарты формирования отчетов, методы обработки данных - OLAP, Data Mining, хранилища данных и т.д.

ИТОГ: эволюция МЕТОДОВ ОБРАБОТКИ ДАННЫХ:

• 1960-1980 гг. Простые запросы и отчеты: быстрое отыскание фактов, имевших место в прошлом.

• 1980-е годы – стандарты организации производства. Автоматизация формирования отчетности

• Середина 1990-х гг. OLAP: Упростить работу с многоцелевыми данными (визуализация - многомерный анализ) и не погрязнуть в их океане, а умело превратить набор количественных показателей в качественные показатели

• Конец 1990-х гг. Data Mining: обнаружение в «сырых» данных предварительно неизвестных, практически полезных и доступных интерпретации знаний

• Появление ХД и витрин данных – как основы для методов аналитической обработки, прежде всего, Data Mining

• Современный этап: Business Intelligence: выбирать ДАННЫЕ из традиционных приложений и 2) превращать (агрегировать) их в ИНФОРМАЦИЮ, которая может быть использована для 3) эффективного управления бизнесом

Еще три направления, связанные с использованием информационных систем на современном этапе:

(1) Способ реализации. Сети и требования мобильности

• Корпоративный портал – как средство поддержания доступа к ИС для территориально распределенных и мобильных пользователей и структур.

(2) Платформа для интеграции данных.

Корпоративная платформа данных стала вместилищем цифровых объектов самой различной природы и «структурности»:

• огромных числовых массивов, нормативно-справочных данных, электронных документов и записей, неструктурированных текстов, аудио- и видеофайлов, картографических данных и т. д.

• Эти данные располагаются не только на самих серверах, но и в виртуальном вычислительном «облаке».

(3) Аутсорсинг информационных технологий. Появление этой модели деятельности компаний в конце 1990-х годов было вызвано пониманием, что эффективное использование современных информационных технологий – это,

• во-первых, жизненно важная потребность для любого бизнеса,

• во-вторых, чрезвычайно сложная задача

• наконец, важнейший капитал, для компаний, которые умеют это делать.

Примеры:

• У IBM доля аутсорсинга более 35% из общего оборота более $100 млрд.

• Компания Microsoft с 2000 г. взяла курс на услуги, а не на продажу программного обеспечения. Сейчас доля услуг в общем обороте компании составляет около 15%.

• Компания Siemens в конце 1990-х годов создала дочернюю компанию SBS (Siemens Business Service). К 2005 году превысил оборот основной компании.