Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Методы бизнес-аналитики. Учебное пособие.pdf
Министерство образования и науки Российской Федерации
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ
«Санкт-Петербургский государственный университет
промышленных технологий и дизайна»
В. И. Пименов
Методы бизнес-аналитики
Утверждено Редакционно-издательским советом
университета в качестве учебного пособия
Санкт-Петербург
2022
УДК 004.04:004.9:658(075.8)
ББК 65.053:32.973.26-018.2я73
П32
Рецензенты:
доктор технических, профессор
Балтийского государственного технического университета
им. Д. Ф. Устинова
В. А. Санников;
доктор технических, профессор
Санкт-Петербургского государственного университета промышленных
технологий и дизайна
А. Б. Кикин
Пименов, В. И.
П32 Методы бизнес-аналитики: учеб. пособие / В. И. Пименов. –
СПб.: ФГБОУВО «СПбГУПТД», 2022. – 85 с.
ISBN 978–5–7937–2074–8
Предназначено для формирования у студентов профессиональной
компетенции ПК-5 “Способность моделировать прикладные бизнес-процессы”.
Приведены сведения об информационном обеспечении процессов управления в
организации, информационных системах предприятий, поддерживающих
процесс принятия решений, моделях представления и методах извлечения
знаний.
Формируются навыки интеллектуального анализа данных с помощью
аналитической платформы Deductor. Описаны процедуры, необходимые для
подготовки, очистки и преобразования данных, разработки системы
аналитической отчетности, построения поля знания предметной области,
поиска ассоциативных правил, автоматической классификации данных с
использованием алгоритмов g-means и k-means, построения и анализа
самоорганизующихся карт признаков, прогнозирования на основе моделей
решающего дерева и нейронных сетей.
Предназначено для студентов направления подготовки 09.03.03
“Прикладная информатика”, профиль которых определяется прикладной
областью экономики.
УДК 004.04:004.9:658(075.8)
ББК 65.053:32.973.26-018.2я73
© ФГБОУВО «СПбГУПТД», 2022
ISBN 978–5–7937–2074–8 © Пименов В. И., 2022
3
ВВЕДЕНИЕ
Целью изучения дисциплины является формирование у студентов
теоретических знаний и практических навыков по применению методов бизнесаналитики (Business Intelligence). К ним относятся инструменты для анализа,
моделирования и поиска информации, необходимой для принятия решений.
Бизнес-аналитика опирается в первую очередь на информационные технологии,
базы данных, прикладную статистику, ее ядро составляют алгоритмы
интеллектуальной обработки многомерных данных и методы визуализации.
В процессе изучения курса студенты знакомятся с информационным
обеспечением процессов управления в организации, информационными
системами, поддерживающими процесс принятия решений, моделями
представления и методами извлечения знаний, овладевают технологиями
интеллектуального анализа данных с помощью аналитической платформы
Deductor.
В процессе изучения дисциплины студент выполняет ряд практических
заданий, связанных с подготовкой данных, построением поля знания
предметной области, поиском ассоциативных правил, автоматической
классификации данных с использованием алгоритмов g-means и k-means,
построением и анализом самоорганизующихся карт признаков,
прогнозированием на основе моделей решающего дерева, нейронных сетей.
4
1. ОСНОВЫ СИСТЕМ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ
1.1. История искусственного интеллекта
Наука об искусственном интеллекте (ИИ) зародилась в 1943 г., когда
МакКаллок и Питтс предложили математическую модель, состоящую из
искусственных нейронов, заложив тем самым основы теории искусственных
нейронных сетей.
В 1950 году А. Тьюринг опубликовал работу, в которой пытался описать
эксперимент, позволяющий ответить на вопрос: «Можно ли построить машину,
которая могла бы обладали интеллектом и в ряде случаев заменяла мыслящего
человека»? Со временем, пройдя ряд модификаций, этот эксперимент получил
имя «тест Тьюринга». Суть его заключается в следующем. Экспериментатор
организует и проводит диалог с ЭВМ, претендующей на обладание
интеллектом, и обыкновенным человеком. Экспериментатор задает им вопросы
и анализирует их ответы, при этом не знает, кто из «собеседников» кем
является (предполагается, что они находятся, например, в изолированных
помещениях и общаются только через клавиатуру и дисплей). По окончании
«диалога» с двумя своими «собеседниками», экспериментатор должен ответить,
кто из его собеседников ЭВМ, а кто – человек. Предполагается, что если
экспериментатор назвал ЭВМ человеком, то у нее признается наличие
интеллекта.
Сам термин «искусственный интеллект» появился в США в 1956 году. Он
может интерпретироваться как совокупность функциональных возможностей
программно-аппаратного комплекса брать на себя отдельные функции
человеческого интеллекта. В 1964 году появилась первая экспертная система
Dendral.
В настоящее время ИИ, рассматриваемый как наука, объединяет
совокупность научных дисциплин, изучающих методы решения задач
интеллектуального (творческого) характера.
Прикладные исследования в первую очередь связаны с разработкой
информационных систем (ИС), способных реализовывать некоторые функции
естественного интеллекта. Такие ИС стали называть системами искусственного
интеллекта или интеллектуальными ИС (ИИС).
Принципиально важным свойством ИИС является их способность из
совокупности заданных утверждений строить цепочки новых утверждений,
конечные из которых называются заключениями. Такого рода процессы
получили название вывод знаний, а средства, обеспечивающие такого рода
способности, получили название машин вывода.
1.2. Экспертные системы
Появление экспертных систем (ЭС, expert system) явилось одним из
первых практических применений результатов в области искусственного
интеллекта.
Экспертная система решает задачи, требующие для своего решения
экспертных знаний в некоторой предметной области. Поэтому их также
5
называют системами, основанными на знаниях. В ЭС используются знания,
извлеченные у эксперта.
Основой для создания экспертных систем и других интеллектуальных
систем служит инженерия знаний.
Инженерия знаний – раздел искусственного интеллекта, в рамках
которого решаются вопросы, связанные с извлечением знаний, представлением
знаний и манипулированием знаниями.
Информация о поставленной задаче может быть неполной или
ненадежной. В таких случаях необходимы рассуждения с использованием
вероятностного подхода. Экспертная система должна уметь объяснять свое
поведение и свои решения пользователю так же, как это делает экспертчеловек.
Экспертные системы рассматриваются совместно с базами знаний как
модели поведения экспертов в определенной области знаний с использованием
процедур логического вывода и принятия решений, а базы знаний – как
совокупность фактов и правил логического вывода в выбранной предметной
области деятельности.
База знаний (БЗ) состоит из фактов (статических сведений о предметной
области) и правил анализа и процедур обработки информации (набора
инструкций, применяя которые к известным фактам можно получать новые
факты и в конечном итоге выбрать наилучшую альтернативу из всех
возможных).
Наиболее широкое применения ЭС нашли в следующих областях:
− бизнес – для формирования портфеля инвестиций, оценке финансовых
рисков и конкурентов;
− компьютерные технологии − для выбора оптимальной конфигурации
аппаратных средств, проведения маркетинговых исследований;
− производство – для управления сложными диспетчерскими пультами,
поиске неисправностей в оборудовании;
− медицина − для диагностики заболеваний;
− системы управления − для управления сложными техническими
объектами;
− а также образование, химия, военное дело и др.
Обобщенная структура экспертной системы
Обобщенная структура экспертной системы представлена на рис. 1.1.
6
База данных
База знаний
Машина вывода
Подсистема
объяснений
Интерфейс
инженера знаний
Интерфейс
пользователя
+
Инженер
знаний
Эксперт
Рис. 1.1. Обобщенная структура экспертной системы
Основные компоненты ЭС [1], [2]:
− база знаний – ядро ЭС, совокупность формализованных знаний
предметной области, записанная в форме, понятной эксперту, а также
хранящаяся в машинном представлении;
− база данных (рабочая память) – служит для хранения данных,
описывающих текущее состояние решаемой задачи;
− машина вывода – обеспечивает получение ответов на вопросы
пользователя на основе знаний, содержащихся в БЗ. Пользователь в диалоге
предоставляет исходные данные (факты);
− подсистема объяснений – демонстрирует, как получено решение;
− интерфейс инженера знаний – подсистема приобретения знаний.
Осуществляет ввод формализованных знаний, например, правил продукционной модели представления знаний;
− пользовательский интерфейс.
Экспертная система работает в двух режимах.
В режиме приобретения знаний общение с ЭС осуществляет эксперт при
посредничестве инженера по знаниям. Эксперт описывает проблемную область
в виде совокупности данных и правил. Данные определяют объекты, их
характеристики и значения. Правила определяют способы манипулирования с
объектами.
В режиме консультации общение с ЭС осуществляет пользователь,
который может не быть специалистом в проблемной области. Исходные данные
(факты) от пользователя поступают через интерфейс в машину вывода. Машина
вывода на основе входных данных и правил из БЗ формирует решение задачи.
Если принятое решение не понятно пользователю, то он может запросить
объяснения.
7
Наибольшее распространение получила продукционная модель представления знаний, когда база знаний состоит из набора правил. Перебором правил в
базе знаний управляет машина вывода.
Процедуры, реализующие поиск, обычно «зашиты» в механизм вывода.
Информация из базы данных последовательно сопоставляется с условными
частями правил. На основе заданного критерия из выполненных правил
выбирается единственное правило и в базу данных заносится новый факт. Цикл
повторяется до тех пор, пока не останется единственно сработавшее правило,
заключение которого выдается пользователю в качестве результата решения
задачи.
Фундаментальной особенностью ЭС является разделение баз данных, баз
знаний и механизма логического вывода.
Для реализации ЭС созданы экспертные системы-оболочки (EXSYS,
GURU, KEE, EMYCIN, Карра), инструментальные среды, в которых
задействованы технологии программирования (OPS 5, KEATS), языки
логического программирования (Лисп, Пролог), языки на основе фреймов
(KRL, FRL), продукционно-фреймовые языки (PILOT/2) и языки объектноориентированного программирования (SMALL-TALK).
1.3. Системы бизнес-аналитики
Системы бизнес-аналитики (Business Intelligence, BI) основаны на
интеллектуальном анализе данных (ИАД). Они относятся к информационным
системам, поддерживающим процесс принятия решений. BI-системы
позволяют анализировать большие объемы информации, выделяя ключевые
факторы, влияющие на эффективность принимаемых решений, моделируют
исход различных вариантов действий.
При обработке финансовой информации данные для анализа
экспортируются из программ бухгалтерского учета, обрабатываются и
выносится заключение о финансовом состоянии, а также прогнозная динамика
на будущее как в табличной форме, так и в виде графиков, диаграмм.
Умение эффективно обрабатывать неструктурированные данные – один
из факторов успеха в науке, бизнесе, медицине и других сферах, где
генерируются большие объемы информации. Целью изучения и анализа
больших данных является получение организованного набора выходных
данных с четкой структурой и обнаружение закономерностей.
Системы поддержки принятия решений, использующие большие объемы
многомерных данных, находят применение при планировании стратегического
развития предприятия, оценке текущей ситуации, стратегических альтернатив и
интегральной эффективности управления корпорацией. Анализ и визуализация
данных используются для выявления техносферных опасностей, сетевого
оперативного мониторинга, представления кредитных историй клиентов банка,
контроля состояния сложного технического объекта.
Интеллектуальный анализ данных включает изучение и внедрение
методов, с помощью которых эксперт оценивает текущую ситуацию,
обнаруживает влияние скрытых факторов, описывает выявленные
8
закономерности, использует их для получения новых знаний, принятия
решений и прогнозирования развития ситуации. Использование технологий
интеллектуального анализа данных позволяет ослабить усилия по развитию
методов хранения информации, заменив их методами автоматизированного
построения баз знаний.
Основной проблемой интеллектуального анализа является кластеризация
данных, их разделение на значимые части, определение законов, правил и
алгоритмов, по которым происходит отнесение объекта к определенному
классу.
Вместе с тем, во многих ситуациях эксперт в состоянии выполнить
прогноз поведения сложной системы, если на нее воздействует не более 3–5
слабо зависимых факторов внешней среды. Если входные переменные
взаимосвязаны, то их влияние не способен учесть даже опытный специалист.
Задачи количественного анализа предшествующего опыта, отраженного в
рядах накопленных данных, формирование множества вариантов решений и
прогностических сценариев развития событий решаются с применением
систем, основанных на ИАД.
Основные требования к таким системам:
− обработка данных сверхбольшого объема;
− разнородность данных;
− значительная глубина анализа;
− интерпретируемость результатов анализа;
− доступность и простота инструментария.
Инструментальной основой для извлечения закономерностей из
информации об окружающем мире являются методы машинного обучения и
многомерного анализа данных, применимые для широкого спектра объектов
исследования, включая сферу экономики и бизнеса.
1.4. Данные и знания
Сферу информационного менеджмента составляет совокупность всех
задач управления, связанных с формированием и использованием информации
во всех ее формах и состояниях.
Следует различать понятия: данные, информация и знания [3].
Данные – это совокупность сведений, зафиксированных на определенном
носителе в форме, пригодной для постоянного хранения, передачи и обработки.
Данные представляют собой текст, графики, картинки, звуки, видеофрагменты.
Термин данные происходит от слова data – факт, а информация
(informatio) означает разъяснение, изложение. Данные – это «сырьё» для
получения информации; преобразование и обработка данных позволяет
получить информацию.
Информация появляется в результате обработки данных при решении
конкретных задач. Например, в базах данных хранятся различные данные, а по
определенному запросу система управления базой данных выдает требуемую
информацию. Понятие информации следует рассматривать только при наличии
9
источника и получателя информации, а также канала связи между ними. То
есть информация всегда предназначена конкретному объекту (человеку,
устройству).
Данные, по своей сути, являются объективными. Информация возникает
в момент использования объективных данных и субъективных методов их
обработки. В результате использования одних и тех же данных может
появляться разная информация в зависимости от выбранных пользователем
методов.
Для бизнеса информация является исходной составляющей принятия
решений.
Знания являются отражением одной из сторон объективной
действительности, выраженной в виде понятий, представлений, зависимостей,
алгоритмов и т. п. Элементарным знанием является факт, достоверность
которого доказана. Знание можно трактовать как логически связанные
элементарные знания. Традиционно знания подразделяются на декларативные
– взаимоувязанные в систему факты, а также установленные между фактами,
например, в результате обработки эмпирических данных, закономерности и
процедурные правила выполнения практических операций или аналитических
преобразований, алгоритмы и другие описания действий над фактами и
явлениями для достижения поставленных целей. В отличие от данных знания
представляют собой активную форму информации, которая может быть
использована людьми для совершенствования их деятельности и получения
(генерации) новых знаний. Напрямую знания не являются информацией,
поскольку для их накопления и распространения требуется использовать
некоторый способ преобразования знаний в информацию, например, в
символьный вид.
При приобретении знаний важную роль играет так называемое поле
знаний, содержащее основные понятия и отношения, используемые при
описании концептуальной модели проблемной области, в которой еще не
учтены особенности компьютерной реализации базы знаний. Поле знаний –
неформальное описание предметной области в виде графа, диаграммы, таблицы
или текста.
Информационные ресурсы – это совокупность данных и знаний
организованных для получения достоверной информации. Ресурсы могут
храниться отдельно или в информационных системах (библиотеках, архивах,
фондах, базах данных и знаний и т. д.).
1.5. Модели представления знаний
Для формального описания знаний, манипулирования этими описаниями
и формирования системы знаний в рассматриваемой предметной области
разработаны десятки методов. Чаще всего выделяют следующие группы [2]:
− логические методы (язык предикатов);
− семантические сети;
− фреймы;
− правила-продукции;
10
− семиотические модели;
− нейронные сети.
Компьютерная реализация соответствующей системы знаний находит
воплощение в базе знаний. Ее отличают ряд признаков:
1) внутренняя интерпретируемость и понимание семантики проблемной
области;
2) активность данных – на их основе появляются новые факты,
приводящие к инициализации процедур по управлению программой;
3) связность – установление между фактами и правилами различных
отношений.
1.5.1. Логическая модель представления знаний
Логическая модель основана на логике предикатов, обычно первого
порядка. Выполняется формальный вывод (доказательство теорем) новых
фактов или знаний. Правила имеют простую и ясную нотацию. Для
представления знаний используется распространенный язык логического
программирования Пролог. Недостатки модели − сложность восприятия
большого количества формул и трудность структурирования знаний о
многомерных объектах.
1.5.2. Семантическая модель представления знаний
Семантические сети представляют знания с помощью графа, в котором
вершина − атомарный объект (событие), подграф − структурно сложный объект
(событие), дуга − отношение (например, целое-часть) или действие (например,
сопоставление с образцом). Знания хорошо структурированы. Их вывод
основан на различных методах поиска фрагмента сети по образцу, а получение
новых знаний – на применении свойств отношений. Поэтому при большом
числе объектов и их атрибутов сеть трудно обозрима, а операции на ней
выполняются очень долго.
1.5.3. Фреймовая модель представления знаний
Фреймы образуют обычно иерархическую систему понятий посредством
описания отношений (действий) и связанных этими отношениями (действиями)
объектов. К подобному представлению знаний также можно отнести описания
объектов и их действий в виде сценариев. Формализм фреймов основан на
объектно-ориентированном подходе к структуризации знаний: фреймы-понятия
– объекты типа “класс”, а фреймы-примеры описывают в своих слотах
конкретные экземпляры объектов и конкретные отношения между ними.
Структура знаний также прозрачна, но при большом количестве объектов
рассматриваемой предметной области знания трудно обозримы и операции с
фреймами выполняются очень долго.
1.5.4. Продукционная модель представления знаний
Продукции представляют собой правила (логические выражения) вида: