- •Преимущества
- •Особенности
- •Применение
- •Банковское дело
- •Страхование
- •Первичный контакт (звонок по телефону или письмо) и приглашение на собеседование
- •Второе собеседование (уточнения и выяснение)
- •Испытательный срок
- •Психологическое тестирование
- •Собеседования
- •Полиграф
- •Графология
- •Что такое мошенничество
- •Почему воруют
- •Как бороться
- •Необходимые мероприятия
- •Подсистема противодействия
- •Служебные расследования
- •В процессе поступления товара
- •В процессе производства
- •В процессе реализации
- •Источники данных
- •Силы деловой разведки
- •Значение деловой разведки
- •Задачи управления безопасностью, идентификация и классификация источников угроз, оптимизация управления безопасностью
- •Кибернетические подходы к управлению безопасностью компании, создание оптимальной структуры сб открытого типа
- •Формирование структуры безопасности фирмы в зависимости от алгоритма функционирования и способов защиты от явных угроз
Банковское дело
Достижения технологии Data Mining используются в банковском деле для решения следующих распространенных задач.
Анализ кредитного риска. Анализ кредитного риска заключается прежде всего в оценке кредитоспособности заемщика. Эта задача решается на основе анализа накопленной информации, то есть кредитной истории «прошлых» клиентов. С помощью инструментов Data Mining банк может получить «профили» добросовестных и неблагонадежных заемщиков.
Привлечение новых клиентов. Осуществив средствами Data Mining сегментацию клиентов, банк может найти наиболее выгодных из них и далее акцентировать свою маркетинговую политику на привлечение клиентов, соответствующих найденному «профилю». Помимо этого можно установить, какие группы клиентов предпочитают те или иные банковские услуги, и проводить рекламные и маркетинговые мероприятия более целенаправленно и эффективно.
Прогнозирование остатка на счетах клиентов. Применяя поэтапную статистическую обработку временного ряда с использованием различных алгоритмов Data Mining, возможно получить прогноз остатка на счетах на определенный период в будущем. Результаты прогнозирования могут использоваться для оценки ликвидности банка и управления его активами.
Выявление случаев мошенничества с кредитными карточками. В борьбе с мошенничеством технология Data Mining использует стереотипы подозрительных операций, созданные в результате анализа огромного количества транзакций — как законных, так и неправомерных. Исследуется не только отдельно взятая операция, но и совокупность последовательных во времени транзакций. Кроме того, имеющиеся в составе data mining-продуктов алгоритмы и модели (например, нейронные сети) способны тестироваться и самообучаться. При попытке совершения подозрительной операции средства интеллектуального анализа данных оперативно выдают предупреждение об этом, что позволяет банку предотвратить незаконные действия, а не устранять их последствия. Использование технологии Data Mining позволяет сократить число нарушений на 20—30%.
Страхование
Страховые компании в течение ряда лет накапливают большие объемы данных. Здесь обширное поле деятельности для методов Data Mining.
Выявление мошенничества. Страховые компании могут снизить уровень мошенничества, отыскивая определенные стереотипы в заявлениях о выплате страхового возмещения, характеризующих взаимоотношения между юристами, врачами и заявителями.
Анализ риска. Путем выявления сочетаний факторов, связанных с оплаченными заявлениями, страховщики могут уменьшить свои потери по обязательствам. Известен случай, когда в США крупная страховая компания обнаружила, что суммы, выплаченные по заявлениям людей, состоящих в браке, вдвое превышают суммы по заявлениям одиноких людей. Компания отреагировала на это новое знание пересмотром своей общей политики предоставления скидок семейным клиентам. Телекоммуникации
В области телекоммуникаций методы Data Mining помогают компаниям более энергично продвигать свои программы маркетинга и ценообразования, чтобы удерживать существующих клиентов и привлекать новых. Среди типичных мероприятий следующие.
Анализ записей о подробных характеристиках вызовов. Назначение такого анализа — выявление категорий клиентов с похожими стереотипами пользования их услугами и разработка привлекательных наборов цен и услуг. Такой анализ позволяет выделить скрытые и порой совсем не очевидные взаимосвязи в характеристиках клиентов.
Выявление лояльности клиентов. Data Mining можно использовать для определения характеристик клиентов, которые, один раз воспользовавшись услугами данной компании, с большой долей вероятности останутся ей верными. В итоге средства, выделяемые на маркетинг, можно тратить там, где отдача больше всего.
Text mining
Технология добычи текстовых данных (text mining) предоставляет пользователям инструментарий, позволяющий анализировать большие собрания информации в поисках тенденций, шаблонов и взаимосвязей, способных помочь в принятии стратегических решений (Кузнецов С, 1998).
Программы и алгоритмы обработки текстовой информации можно грубо разделить на две категории: системы лингвистического анализа и анализа текстовых данных. Основными элементами Text Mining являются суммаризация (summarization), тематический поиск (feature extraction), кластеризация (clustering), классификация (classification), ответ на запросы (question answering), тематическое индексирование (thematic indexing) и поиск по ключевым словам (keyword searching). Также в некоторых случаях набор дополняют средства поддержки и создания офтаксономии (oftaxonomies) и тезаурусов (thesauri) (Zornes А., 1998). Некоторые производители объединяют большинство средств в один программный комплекс, как, например, IBM Intelligent Miner for Text или Oracle InterMedia Text.
Все разработки и внедряемые алгоритмы Text Mining, a также задачи лингвистического анализа текста применялись в направлении добычи данных в крупных СУБД, базах знаний и информационных системах корпоративного масштаба.
ПРОВЕДЕНИЕ СТРАТЕГИЧЕСКОГО АНАЛИЗА В БАНКЕ С ИСПОЛЬЗОВАНИЕМ ТЕХНОЛОГИИ DATA MINING1
Настоящий пример стратегического анализа в банке преследует три цели:
рассказать в общих чертах о методике анализа внешней среды как составной части методического обеспечения стратегического управления во Внешэкономбанке;
донести тезис о том, что многое из того (имеется в виду аналитический инструментарий), что разработано в рамках дисциплины «Стратегический анализ», при его конкретной реализации сводится к единой схеме последовательного применения стандартных аналитических процедур, широко применяемых в теориях распознавания образов и принятия решений;
продемонстрировать, как технология обработки данных Data Mining позволяет обеспечить новый, более глубокий уровень проработки классических вопросов стратегического анализа.
Методика анализа внешней среды
Решение стратегических задач, направленных на реформирование Внешэкономбанка, поиск наиболее оптимальных путей его развития сегодня невозможны без учета влияния внешней среды, характерной своей нестабильностью и непредсказуемостью. Как справедливо отмечает ряд авторов, современные банковские стратегии исходят из представления о банке как об «открытой системе», успех которой определяется тем, насколько удачно она приспосабливается к изменениям, происходящим во внешней среде. В этих условиях главным критерием эффективности стратегического управления банком становится своевременное распознавание угроз и преимуществ для его существования, способность устойчиво противостоять нестабильности внешней среды и рационально использовать возникающие возможности.
Краеугольным камнем стратегического управления банком, наряду со стратегическим планированием и контролем, является стратегический анализ. Стратегический анализ представляет собой достаточно сложную систему составляющих его анализов, наиболее трудным из которых является анализ внешней среды, включающий в себя анализ макросреды и анализ микросреды (отраслевой и конкурентный анализы). Каждый из перечисленных видов анализа распадается, в свою очередь, на еще более специфические анализы, что в итоге приводит к определенной системе логически взаимоувязанных методов анализа. В качестве примера можно привести разработанную Управлением развития и стратегического планирования Внешэкономбанка методику анализа внешней среды, состоящую из методов анализа двух уровней.
На первом уровне располагаются классические (базовые), традиционные для этой области методы стратегического анализа:
PEST(Political, Economic, Social, Technological) — анализ, состоящий из анализов политической, экономической, социальной и технологической сфер;
отраслевой анализ, состоящий из анализа жизненного цикла отрасли, анализа движущих сил отрасли, анализа фактора успехов в отрасли и др.;
конкурентный анализ, состоящий из оценки типа конкуренции и степени ее интенсивности, анализа основных конкурентных сил, анализа стратегических групп конкуренции и др.
В описании методов первого уровня освещаются следующие аспекты: «что делать», то есть общая схема метода, какие информационные источники использовать, Какие ресурсы (человеческие, алгоритмические, программные и др.) привлекать. Однако для конкретной реализации базовых методов описаний на таком уровне детализации недостаточно. Для того чтобы раскрыть технику применения базового метода, необходим второй уровень методов (вспомогательный), который уже объясняет не «что делать», а «как делать». На этом уровне описываются алгоритмы и модели решения задач, которые возникают при реализации базовых методов. Во второй части доклада приводится описание некоторых из этих задач, которые по своей сути также являются типовыми, но уже в рамках других дисциплин — теорий обработки данных и принятия решений.
Второй уровень анализа внешней среды включает методики, описывающие вспомогательные методы анализа:
методика поиска новых факторов внешней среды на основе технологии автоматического анализа текстов;
методика анализа и оценки однородных факторов внешней среды на основе самоорганизующихся карт признаков;
методика анализа внешней среды в сложных ситуациях на основе когнитивных карт;
методика применения метода сценариев;
методика экспертного прогнозирования;
методика анализа нестабильности внешней среды;
методика построения стратегических групп конкуренции;
методика анализа степени интенсивности рыночной конкуренции;
методика отслеживания (мониторинга) конкурентов;
методика применения метода анализа иерархий.
Среди перечисленных выше методик большинство известны в рамках теории принятия решений. Однако потребовались определенные усилия по их привязке к базовым методам анализа внешней среды банка. Технологию Data Mining использует методика 2.
Единый подход к методам анализа внешней среды
Предлагаемые в многочисленных изданиях по стратегическому менеджменту методы анализа внешней среды практически можно свети к последовательности трех вложенных в себя по сферам применения типов анализа: анализ макросреды, отраслевой анализ и конкурентный анализ. Объектами рассмотрения этих анализов являются сферы политики, экономики, социальная, технологическая, а иногда и экологическая для макросреды; те или иные отрасли хозяйствования для отраслевого анализа, а также конкурентные силы, действующие на рынках товаров и услуг, для конкурентного анализа. Все три типа анализа преследуют три главные цели в отношении данной организации (банка): оценить произошедшие изменения в рассматриваемой сфере;
выявить потенциальные угрозы для текущей и будущей деятельности;
обнаружить потенциальные возможности для реализации стратегических целей.
Достижение этих трех целей осуществляется посредством последовательного решения следующих трех аналитических задач:
рассмотреть по возможности максимальное число факторов, релевантных поставленным целям, и отобрать среди них наиболее важные с точки зрения их влияния на конечные цели;
определить или оценить, в каком состоянии находятся эти факторы сейчас и каковы перспективы их развития в будущем (на горизонт стратегического планирования);
идентифицировать настоящие и будущие состояния факторов как угрозы или возможности для банка.
Методы анализа, которыми можно решать перечисленные аналитические задачи.
Сбор релевантных факторов, влияющих на цели, можно проводить тремя путями:
воспользоваться эталонным (типовым) списком факторов, разработанных заранее по данной проблеме. Эталонные списки факторов апробированы, широко известны и общедоступны, Но в силу своей универсальности могут оказаться впоследствии малопродуктивны;
привлечь опытных специалистов в данной предметной области, провести их опрос и составить экспертное заключение. Этот метод в основном и используется на практике, но он сопряжен с известными в таких случаях издержками (затраты на привлечение экспертов, субъективизм экспертных оценок и
др.);
— применить технологию полуавтоматического поиска релевантных факторов путем использования технологии Text Data Mining, то есть извлечения полезных знаний из больших массивов текстовой информации по данной проблеме. Эта технология в настоящее время получает все большую популяр ность благодаря своей простоте и удобству для аналитика, высочайшей скорости обработки огромных массивов исходной информации и объективности получаемых решений (более по дробно о применении этой технологии — в третьей части доклада).
Последний метод более предпочтителен, так как требует (при наличии программных средств реализации) гораздо меньшего времени и, главное, может обнаружить новые, неожиданные, скрытые в массивах исходной информации факторы влияния.
Отбор наиболее важных факторов можно проводить несколькими методами, хорошо разработанными в теории принятия решений.
Как правило, это линейное или групповое ранжирование факторов в условиях задания одного или нескольких критериев отбора (степень влияния фактора на цель, стоимость получения информации о факторе, трудности оценки его состояния и др.) и преференций аналитика, основанного на его личных знаниях и опыте. При наличии формализованных критериев отбора (целевого функционала) и ограничений данная задача сводится к проблеме комбинаторной оптимизации и хорошо решается методами генетических алгоритмов.
Другой, более сложный путь решения — это построение по исходной исторической информации о факторах регрессионной модели, на входе которой — значения всех релевантных факторов, а на выходе — уровень достижения заданной цели. После обучения (тренировки и тестирования) модели проводится анализ ее чувствительности, по которому и устанавливается степень влияния (важности) каждого входного фактора на выходную целевую величину.
Вторая задача — отбор наиболее важных факторов — не менее значима, чем первая, так как позволяет существенно сократить пространство дальнейшего поиска и снизить трудозатраты на выполнение последующих процедур.
Определение состояния факторов внешней среды представляет собой присвоение конкретных значений переменным внешней среды, описывающим данный фактор, а также проверку условий относительно их соотношения между собой.
В простейшем случае определение состояния фактора является тривиальной задачей, сводящейся к означиванию переменных фактора, вычислению по ним агрегированной скалярной величины типа свертки (аддитивной или мультипликативной) и сравнения с пороговыми величинами для присвоения уже качественного значения, определяющего состояния фактора. По существу используется скоринговая модель, когда экспертным или иным путем оцениваются значения переменных фактора и рассчитывается взвешенная оценка по всем факторным переменным.
В более сложном случае, когда определяется состояние сложного комплексного фактора, представленного большим числом разноплановых переменных, использования простейших скоринговых моделей уже недостаточно. В этих случаях можно применить технологию самоорганизующихся карт признаков Кохонена, которая позволяет вначале на основе исторических данных строить карты многомерных состояний фактора, а затем с их помощью быстро определять текущее состояние фактора. Технология относится частично к аналитическому, а частично к визуальному Data Mining.
Идентификация состояния факторов представляет собой классическую классификационную задачу, содержанием которой является отнесение данной совокупности состояний факторов к одной из нескольких категорий: угрозе, возможности или некоторой промежуточной величине, которая является нейтральным событием для банка. Кажущаяся на первый взгляд простота проблемы определения для банка, что есть фактор — угроза, возможность или ничего, является достаточно сложной и деликатной. Дело в том, что одни и те же состояния группы факторов, но в разных контекстах (временных, политических и др.) могут означать либо угрозу, либо возможность для банка. С другой стороны, многочисленные силы, влияющие на банк (акционеры, учредители, менеджмент и др.) преследуют свои собственные, порой противоположные интересы и, естественно, по-разному интерпретируют угрозу или возможность для банка. Наиболее правильный путь — избежать неоднозначности в трактовке влияния на банк событий внешней среды: оценить происходящее с точки зрения достижения принятых в банке стратегических целей.
Для решения сформулированной выше задачи имеется два принципиально разных подхода.
Первый подход основан на знаниях экспертов в данной области и реализуется либо методом экспертных оценок типа взвешенного голосования, либо с помощью экспертной системы, в базу знаний которой включены диагностические правила отнесения данной совокупности состояний факторов к одной из категорий (угроза, возможность, нейтральное событие).
Второй подход основан на использовании исторических данных о состоянии факторов внешней среды и соответствующих этому последствий для банка. Для реализации этого подхода методом обучения на исторических данных строится модель классификации, которая в дальнейшем используется для определения: угрозу или возможность представляет для банка текущее состояние факторов внешней среды.
Технология Data Mining как мощное средство реализации методов анализа внешней среды
Содержательное рассмотрение методов анализа внешней среды позволяет отметить ряд особенностей, создающих трудности для их реализации.
Большие массивы текстовой и числовой информации, которая используется для анализа и прогноза. Определенная степень неполноты, искаженности и противоречивости этой информации.
Большое количество (влияющее на цели анализа) факторов, сложные причинно-следственные связи между ними. Важнейшие факторы внешней среды имеют комплексный характер и являются агрегатами многих экономических переменных различной природы (симптомы, индикаторы, показатели). Рабочее описание таких факторов требует специальных типов представлений, например, в виде сетевых или многомерных баз данных.
Областью применения многих методов анализа внешней среды являются достаточно многочисленные (от десятков до десятков тысяч) совокупности однородных объектов, описанных в едином признаковом пространстве (например, конкуренты банка или его клиенты).
Перечисленные особенности зачастую маскируют принципиально важные для стратегических решений внутренние связи и закономерности, скрытые в больших и сложноорганизованных базах данных. Решением этой общей для многих аналитических аспектов бизнеса и финансов проблемы занимается специально разработанная информационная дисциплина Data Mining, переводимая как «извлечение знаний из данных» или иногда просто «углубленный анализ данных». В отличие от традиционных аналитических подходов, которые нацелены на подтверждение (статистическим методом инфор мационного поиска или иным) уже сформированных, выдвинутых гипотез, технология Data Mining позволяет обнаруживать скрытые в больших массивах информации новые, ранее не известные связи и закономерности, которые могут быть использованы в бизнесе. В зависимости от типа исходной информации и используемых методов извлечения из нее знаний различают текстовой, аналитический и визуальный Data Mining.
Программные пакеты текстового Data Mining (например, TextAnalyst) позволяют по большой совокупности текстов заданной предметной области строить смысловую модель их общего содержания, автоматически устанавливая устойчивые ассоциативные связи между ключевыми понятиями, что помогает сформировать на этой основе базу знаний, с помощью которой осуществляются смысловые поисковые запросы, формируются рефераты любой степени детализации и многое другое из того, что, безусловно, необходимо при углубленном анализе внешней среды и так или иначе приходится делать «вручную».
Программные пакеты аналитического Data Mining (например, PolyAnalyst, NeuroShell и др.) позволяют строить по массивам исходной информации методом адаптивного обучения на исторических данных модели распознавания, классификации и кластеризации, которые затем можно использовать при анализе и прогнозировании внешней среды, в частности, по следующим проблемам:
Обнаружение наиболее важных факторов внешней среды и определения их текущего состояния.
Группировка банков-конкурентов в стратегические группы с целью оценки интенсивности конкуренции и ближайших конкурентов.
Оценка степени прибыльности и лояльности клиентов банка с целью удержания прибыльного клиента и избавления от убыточного.
Поиск новых перспективных для банка клиентов, оптимизация расходов (рекламных и др.) на их приобретение.
Обнаружение устойчивых совокупностей приобретаемых клиентами банка наборов банковских продуктов и услуг с целью увеличения прибыли за счет организации кросс- и суперпродаж. Программные пакеты визуального Data Mining (например, MineSet, VisCovery SOMine и др.) позволяют не только автоматически строить вышеупомянутые аналитические модели, но и использовать «глазной анализатор» аналитика-эксперта, которому предоставляется возможность увидеть огромные массивы исходных и преобразованных данных в различных формах многомерного представления с использованием кодирования цветом, формой, а также динамикой, благодаря развитым средствам визуализации и анимации.
Одним из наглядных примеров визуального Data Mining являются самоорганизующиеся карты признаков Кохонена, которые позволяют переводить (с помощью специального алгоритма кластеризации) стандартное табличное представление многомерных объектов (например, банков) в наглядную форму атласа двухмерных карт (карту кластеров и карт-признаков). Сохраняя на картах топологию и распределение банков, которые они имели в исходном многомерном пространстве признаков, можно обнаружить принципиально новую информацию:
о структуре банковской среды, количестве и размере образовавшихся в результате кластеризации групп банков со схожими характеристиками (групп конкуренции);
о принципиально важных локальных свойствах отдельных групп банков или банков внутри группы;
об изменении стратегических позиций банков за определенный период;'
о непосредственных конкурентах для каждого выбранного для исследования банка.
Кроме этого, с помощью самоорганизующихся карт признаков можно проводить макроэкономические исследования:
выявить устойчивые состояния макроэкономического развития страны;
определить, в каком состоянии находится макроэкономика сейчас и каковы тенденции ее развития;
искать сложные нелинейные зависимости между макроэкономическими показателями;
осуществлять анимационный мониторинг состояний;
прогнозировать макроэкономические показатели даже в условиях неполноты исходной базы данных.
ТЕХНОЛОГИИ КОНТРРАЗВЕДКИ
ПРОВЕРКИ КАНДИДАТА
Одна из технологий, позволяющих из потока кандидатов выбрать необходимых для предприятия сотрудников, — проверка кандидата.
Целью проверки кандидата является выявление опасности данного кандидата для компании (явной и потенциальной). Фактически необходимо спрогнозировать поведение кандидата в тех или иных условиях. Сделать это с какой-то долей вероятности можно посредством изучения истории кандидата. Выявление опасности осуществляется через:
выявление связей, способных навредить фирме;
выявление фактов биографии, способных навредить фирме;
получение информации об особенностях личности кандидата, его поведении в тех или иных обстоятельствах.
В процессе такого изучения необходимо фиксировать все этапы, все документы (в том числе переписку и переговоры). Все собеседования желательно фиксировать на диктофон (идеальный вариант — видео) для дальнейшего анализа поведения кандидата. Все анкеты, копии документов в обязательном порядке накапливать в личном деле. Личное дело также должно иметь формализованную часть, которую можно заполнять по мере поступления данных.
При этом прохождение кандидатом всех проверок еще не означает его абсолютную пригодность, поэтому нельзя сразу отдать в его руки все козыри. Целесообразнее договориться об испытательном сроке, в течение которого кандидат начнет работу с менее проблемных узлов. И по тому, как он будет работать, можно судить и о его отношении к делу в целом.
ЭТАПЫ ПРОВЕРКИ