14. Pojęcie I narzędzia data mining.

Eksploracja danych (data mining): proces automatycznego odkrywania nietrywialnych, dotychczas nieznanych, potencjalnie użytecznych reguł, zależności, wzorców, schematów, podobieństw lub trendów w dużych repozytoriach danych.

Celem eksploracji danych jest analiza danych i procesów dla lepszego ich zrozumienia

Odkrywane w procesie eksploracji danych wzorce mają najczęściej postać reguł logicznych, klasyfikatorów (np. drzew decyzyjnych), zbiorów skupień, wykresów, równań liniowych, itp.

Eksploracja danych to etap odkrywania wiedzy w bazach danych KDD (Knowledge Discovery in Databases).

Eksploracja danych umożliwia analizę danych dla problemów, które, ze względu na swój rozmiar, są trudne do przeprowadzenia przez użytkownika, oraz tych problemów, dla których nie dysponujemy pełną wiedzą o przedmiocie analizy, co uniemożliwia sterowanie procesem analizy danych.

Zastosowania Eksploracji Danych

• eksploracji danych o ruchu internetowym,

• marketing, e-marketing

• rozpoznawaniu sygnałów obrazu, mowy, pisma,

• wspomaganiu diagnostyki medycznej,

• badaniach genetycznych,

• analizie operacji bankowych,

• projektowaniu hurtowni danych,

• tworzeniu reklam skierowanych (ang. Targeted ads),

• prognozowaniu sprzedaży (ang. Sales forecast),

• wdrażaniu strategii Cross-selling'owej,

• wykrywaniu nadużyć (ang. Fraud detection),

• ocenie ryzyka kredytowego, ubezpieczeniowego

• segmentacji klientów.

Metody eksploracji danych (Narzędzia)

• klasyfikacja/regresja (classifications)

• grupowanie/analiza skupień (clustering)

• odkrywanie sekwencji (sequential patterns)

• odkrywanie charakterystyk

• analiza przebiegów czasowych (time-series similarities)

• odkrywanie asocjacji (associations)

• wykrywanie zmian i odchyleń (deviation detection)

• eksploracja WWW

• eksploracja tekstów

Przykładowe algorytmy z zakresu Data Mining

• analiza regresji liniowej i nieliniowej,

• regresja logistyczna, analiza przeżycia

• modele szeregów czasowych ARIMA

• analiza ANOVA

• analiza skupień

• analiza czynnikowa

• analiza rzetelności i pozycji

• analiza kanoniczna

• analiza korespondencji

• modele drzew decyzyjnych (klasyfikacyjne/regresyjne, CART)

• Sztuczne Sieci Neuronowe

• metody klasyfikacji: najbliższych sąsiadów, naiwny klasyfikator Bayesa

• algorytmy indukcji reguł

• analiza asosjacji

• analiza składowych głównych PCA

• skalowanie wielowymiarowe MOS

• metoda wektorów nośnych SVM

• algorytm NIPALS

• komponenty wariacyjne

15. Zastosowanie systemów ekspertowych w zarządzaniu

System ekspertowy SE (expert system) to system informatyczny, który na podstawie wprowadzonej wiedzy potrafi wyciągać wnioski. W przeciwieństwie do sieci neuronowej, reprezentacja wiedzy w SE ma charakter jawny. Jawny oznacza, że jest zapisana za pomocą możliwych do analizy i interpretacji symboli. SE czerpie z osiągnięć logiki i informatyki. Ich głównym zadaniem jest automatyzacja procesu wnioskowania i systematyzacja wybranej dziedziny wiedzy tak, aby w sytuacji, gdzie ekspert nie może być obecny lub gdy byłoby to zbyt drogie, laik mógł uzyskać fachową poradę.

Systemy ekspertowe należą do metod symbolicznych sztucznej inteligencji. Podstawowym przesłaniem systemów ekspertowych jest przekonanie, że wiedzę wysoko wykwalifikowanego eksperta można zapisać na komputerze w takiej postaci, że odpowiedni program komputerowy będzie mógł przeprowadzać na niej wnioskowanie i generować wyniki zgodne z wynikami, jakie podałby ekspert. Korzyści, jakie dzięki temu można uzyskać, to obniżenie kosztów i czasu ekspertyzy, szeroki dostęp do fachowej wiedzy, zrutynizowanie ekspertyzy, zmniejszenie ryzyka błędu, możliwość przeanalizowania większej przestrzeni danych niż byłby w stanie zrobić ekspert. SE stanowią jeden z rozdziałów luźno powiązanej dziedziny wiedzy, zwanej sztuczna inteligencja SI. Dziedziny starającej się odtworzyć proces myślenia, jaki zachodzi u organizmów żywych, w świecie maszyn.

Systemy ekspertowe (ES - Expert Systems) zaliczane są do czwartej generacji systemów informatycznych wspomagających zarządzanie przedsiębiorstwem. Ich rozwój datuje się na drugą połowę lat 80-tych i lata 90-te XX wieku.

Wspólną cechą systemów wspomagania decyzji i systemów ekspertowych jest odciążenie kierownictwa od podejmowania rutynowych, powtarzalnych, łatwo dających się strukturalizować decyzji.

Podstawową cechą charakterystyczną tych systemów jest zastosowanie baz wiedzy i baz modeli, wykorzystywanych w rozwiązywaniu takich zadań decyzyjnych jak: rachunek optymalizacyjny, rozpoznanie problemów, analiza trendów, wnioskowanie, diagnoza, weryfikacja efektywności decyzji.

Wysoki poziom komplikacji tych systemów i brak ich szerokiego zastosowania, nie wynikał z ograniczeń technologicznych, ale był związany z brakiem możliwości uwzględnienia odpowiedniej liczby czynników wpływających na sytuację decyzyjną w burzliwym i dynamicznym otoczeniu przedsiębiorstwa.

Współcześnie systemy eksperckie i systemy wspomagania decyzji stosuje się w tak hermetycznych dziedzinach jak wojskowość lub medycyna, lub do analizy wycinkowych zagadnień zarządczych, jak np.: analiza zdolności kredytowej, ocena atrakcyjności kontrahenta, podejmowanie decyzji inwestycyjnych na rynkach finansowych.

Systemy eksperckie stosowane są w wielu dziedzinach życia: od medycyny, inżynierii materiałowej po zastosowania wojskowe i wywiadowcze. W zarządzaniu systemy ekspertowe znalazły zastosowanie przede wszystkim w obszarze bankowości i ubezpieczeń, ale powoli wkraczają również w inne branże i obszary zastosowań. Wybrane możliwe zastosowania systemów eksperckich to:

• analiza wniosków kredytowych w bankach,

• analiza ryzyka ubezpieczeniowego i kredytowego,

• zabezpieczenie kredytów i nadzór nad procesami windykacji,

• analiza profilu klienta,

• identyfikacja klientów o wysokim potencjale rentowności,

• wyszukiwanie docelowych obszarów działalności, itp.

• optymalizacja planów produkcji,

• kontrolowanie procesów i procedur produkcyjnych,

• klasyfikacja informacji,

• harmonogramowanie, planowanie przeglądów, itp.

Ważną dziedziną zastosowań systemów ekspertowych jest wspomaganie użytkownika w różnych funkcjach związanych z zarządzaniem. Dla przykładu można wymienić systemy opracowane na uniwersytecie w Manchester. RESOURCE-OPT jest systemem wspomagającym organ zarządzający przez podejmowanie decyzji dotyczących rozdziału zasobów. System MARK-OPT przeznaczony jest dla potrzeb marketingu, a w szczególności dla wspomagania decyzji wytwórców, dotyczących m.in. cen, ilości i zapasów towarów w sytuacji wielu współzawodniczących wytwórców towarów sprzedawanych masowo i wielu konkurujących sprzedawców-detalistów. System PHARM-PLAN jest specjalistycznym systemem marketingowym dla przemysłu farmaceutycznego. Systemy te maja pewną wspólną ogólną cechę metodologiczną. Oprócz faktów o charakterze formuł logicznych i reguł wnioskowania w ścisłym tego słowa znaczeniu, w reprezentacji wiedzy zawarte są również dane o postaci konwencjonalnej i odpowiadające im tradycyjne procedury generacji rozwiązań. Na przykład w systemie MARK-OPT są to procedury rozwiązywania zadań polioptymalizacyjnych i metody teorii gier, wchodzące w zestaw mechanizmu wnioskowania.

W zarządzaniu stosowany jest również UNIK-SES (Salesman Export System), wspomagający generowanie produktów dla różnych grup klientów, uwzględniając ich preferencje. System wykorzystuje CRSP (Constraint and Rule Satisfaction Problems).