5.3.3.4. Система визуального анализа данных VisualLinks
Организация Visual Analytics Inc. [59] является лидером в области разработки программных продуктов визуального анализа данных и извлечения знаний (Visual Data Mining), организации информационного взаимодействия и коллективной работы аналитиков. Решения организации Visual Analytics Inc.
VisuaLinks – платформенно-независимый инструмент визуального анализа данных, используемый для выявления шаблонов, тенденций, взаимосвязей и скрытых закономерностей в любых по типам и объемам источниках данных. VisuaLinks поддерживает полный цикл анализа информации – от обеспечения доступа к информационным источникам и их интеграции до создания отчетных документов, и представления результатов анализа. VisuaLinks предлагает единое и полное решение для широкого класса аналитических задач. VisuaLinks включает широкий набор инструментов и позволяет:
– объединять множество баз данных, имеющих различный формат и территориальное расположение;
– отображать неограниченные объемы данных;
– выявлять прямые и косвенные связи между объектами;
– обеспечить прямой доступ к любым базам данных без перезагрузки информации;
– раскрывать пересечения и взаимосвязи между различными типами данных;
– графически представлять результаты анализа в виде схем и диаграмм;
– использовать мощные аналитические функции для выявления шаблонов и тенденций;
– проводить расследование в упреждающем режиме;
– поддерживать работу аналитических групп в режиме on-line;
– сохранять данные в различных форматах, включая базы данных, HTML, XML, изображения и текстовые файлы.
VisuaLinks поддерживает архитектуру клиент-сервер, что позволяет пользователям проводить анализ и обмениваться различными типами информации в ходе выполнения широкого круга задач. Объектами для данной системы может служить любая предметная область. Для обеспечения эффективного формирования наблюдаемых объектов VisualLinks предоставляет средства, позволяющие провести:
– разработку унифицированных подходов к формированию описания предметной области;
– формирование требуемого набора объектов и связей, адекватно описывающих предметную область;
– разработку правил идентификации поступающей информации по объектам учета и ее сопоставления с хранящимися в системе данными.
Решение первых двух задач позволяет при работе с системой оперировать понятиями предметной области. В качестве элементов предметной области могут выступать типы объектов и связей. В качестве источников информации могут выступать информационные ресурсы, такие как:
– «витрины» (представления) данных из любых типов хранилища данных;
– БД, содержащие информацию службы электронного почтового обмена, а также сведения о компьютерных вирусах, нарушителях, отпусках сотрудников;
– при необходимости, дополнительные БД любых форматов, поддерживающих JDBC или ODBC интерфейс (Oracle, MS SQL Server, MS Access, DB2, MySQL и т.п.).
Система VisualLinks при функционировании обеспечивает поддержку следующих основных этапов выявления нарушений:
– формирование информационных массивов для целей анализа;
– оперативная обработка и анализ информации;
– представление результатов расследования.
Формирование информационных массивов для целей анализа – это этап сбора информации, достижение ее понимания и определение релевантности связей каждого элемента со всеми остальными. На данном этапе ведется целенаправленный сбор информации при помощи различных средств из всех доступных источников. Использование современных технологий позволит концентрировать усилия на сборе конкретной информации, относящейся к текущей деятельности. Данный элемент процесса расследования имеет важнейшее значение для работы всей системы, поскольку он позволяет минимизировать непроизводительные затраты времени и ресурсов. В рамках формирования информационных массивов для целей комплексного анализа обеспечивается информационно-аналитическая поддержка следующих процессов:
– извлечение, преобразование и загрузка данных;
– хранение данных.
Оперативная обработка и анализ информации – это объективный анализ результатов этапа формирования информационных массивов для достижения понимания целого. Данный этап является ключевым и включает:
– поиск значимых информационных объектов и связей;
– выявление признаков нарушений;
– проведение интерактивного детального анализа данных;
– выявление скрытых связей и закономерностей;
– проверка версий, выдвинутых в процессе выявления, раскрытия и расследования инцидентов, формирование направлений дальнейших действий.
Представление результатов расследования, формально, - это передача достигнутого понимания пользователям с целью практического использования полученных сведений. Система комплексного анализа обеспечивает представление результатов расследования (в том числе визуальное) в виде отчетов, схем, таблиц, графиков и диаграмм.
Подход к интегральному анализу данных системы VisualLinks включает (рис.5.2):
– Методы и инструменты выявления закономерностей (Data Mining) предназначены для автоматизированного первичного отбора информации, содержащей признаки нарушений при использовании критических ресурсов.
– Инструменты многомерного анализа статистических данных (OLAP) позволяют получать регламентированные отчеты, строить нерегламентированные запросы и отчеты, извлекать и представлять аналитическую информацию в нужных разрезах и форматах, осуществлять переходы от агрегированных данных к детальным.
– Визуальный анализ предназначен для проведения интерактивного детального анализа всей совокупности информации, относящейся к расследуемым инцидентам.
Технологии анализа неструктурированной информации позволяют визуализировать информацию в документе, представляя ее в легком для понимания виде. Для этого сотрудник выделяет значимые части текста в документе и на основе их создает объекты и связи на схеме. Созданные таким образом сущности могут быть сохранены в базе данных и использоваться для дальнейшего анализа.
Рис.5.2. Подход к интегральному анализу данных системы VisualLinks
По мнению организации, традиционные методы Data Mining эффективно работают на этапе первичного отбора информации, содержащей признаки правонарушений (преступлений и административных правонарушений). Технологии OLAP обеспечивают аналитикам возможность исследовать большие объемы взаимосвязанных данных при помощи быстрого интерактивного их отображения на разных уровнях детализации с различных точек зрения в соответствии с представлениями конечного пользователя. Наряду с Data Mining, технологии OLAP позволяют определить направление детального исследования информации с помощью инструментов визуального анализа данных.
VisualLinks предоставляет пользователям развитый инструментарий, с помощью которого они могут самостоятельно, не прибегая к услугам программистов, формировать нужные отчетные документы и аналитические материалы. Основной формой отчета является схема взаимосвязанных объектов. Схемы могут быть различных видов:
– схемы ролевых связей – событие (факт) представляется в виде объекта, с которым на различных ролях связаны другие объекты. Данный способ используется для распознавания следующих схем: точки пересечения, локальные объекты, изолированные кластеры, сильно/слабосвязанные группы, цепочки, общности;
– схемы потоков (почтовых сообщений, финансовых, телефонных звонков и т.п.) - событие (факт) представляется в виде связи, соединяющей два объекта (например, отправителя и получателя, или счета кредита и дебета, или плательщика и получателя). Данный способ используется для распознавания следующих схем: изолированные кластеры, сильно/слабосвязанные группы, цепочки, потоки;
– комплексные схемы – объединяет на одной схеме различные виды представления событий (фактов). Данный способ позволяет избежать «лавинообразное» увеличение количества объектов на схеме (характерное для представления в виде схем ролевых связей) и получить исчерпывающую картину (что не всегда возможно для представления в виде потоков связей).