Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Отчёт о производственной практике (update).doc
Скачиваний:
24
Добавлен:
12.11.2019
Размер:
410 Кб
Скачать
☆

Заявленные возможности системы

  • Мониторинг и автоматический сбор информации из Интернет и других открытых источников (СМИ, аналитические отчеты,социальные сети, форумы,  онлайн базы и др.);

  • Объединения разнородных баз и банков данных в единую систему и поиск в ней информации по объектам интереса (персонам и организациям);

  • Автоматическая обработка текстовых документов, выделение из них объектов интереса (персон, компаний, брендов и пр.) и связанных с ними фактов;

  • Полнотекстовый и объектный поиск, с помощью которого достигается высокая точность результатов; 

  • Быстрое выявление неявных (опосредованных) связей между объектами и связанными с ними фактами и событиями; 

  • Визуализация аналитических исследований в виде дайджестов, досье (бизнес-справок), семантических схем, графиков, геокарт и других видах отчетов.

Задачи, выполняемые иас «Семантический архив»:

  • Автоматический мониторинг и поиск информации в Интернет.   

  • Документальное хранилище, в котором хранятся все важные статьи СМИ и внутренние документы компании. Система обеспечивает к ним мгновенный доступ с помощью функций поиска.   

  • Ведение  досье по персонам, компаниям, регионам, крупным проектам, тендерам, ситуациям и пр. Факты из досье подтверждаются источниками (документами, статьями) в документальном хранилище.  

  • Визуальное описание ситуации любой сложности. Формирование многоуровневой и многоступенчатой картины развития ситуации. Все отношения между персонами и компаниями (партнеры, конкуренты, заказчики, поставщики и т.п.) наглядно представлены на семантической сети.  

  • Разнообразные отчеты, карты, графики и дайджесты для руководства и менеджмента компании.

Модуль «Мониторинг»

  • Настройка автоматического сбора новостей с новостных сайтов, сайтов компаний, блогов, форумов, социальных сетей,  а также с помощью поисковиков

  • Сбор новостей по ключевым выражениям

  • Сбор новостей с использованием RSS-каналов

  • Автоматическое выделение реквизитов документа (источник, URL, авторы и т.д.)

  • Возможность обмена настроенными заданиями на новостные или поисковые сайты между пользователями модуля

  • Автоматический запуск поисковых заданий по указанному расписанию

  • Автоматический запуск сразу нескольких заданий на разные источники в интернете.

  • Использование фильтров для отбора новостей по ключевым словам. Подсветка искомых фраз прямо в модуле.

  • Сохранение результатов в виде файлов на жесткий диск или базу SQL или в базу ИАС "Семантический архив"

Стоимость внедрения ИАС, в зависимости от вариантов поставки, может составлять от 320 тыс. рублей до 1 500 тыс. рублей и более.

По запросу компания предоставляет полный прайс-лист, с информацией по стоимости, включая перечень дополнительных услуг, и варианты типовых комплектов системы.

По завершении гарантийного обслуживания (6 месяцев) компания предлагает заключить контракт на годовое техническое сопровождение, которое стоит 20% от стоимости приобретенного комплекта системы (учитывается только стоимость ПО без учета дополнительных услуг).

Семейство OAS/Ontos Miner/Light Ontos

http://www.avicomp.ru/, http://www.ontos.com/

Системный интегратор компания «Авикомп Сервисез» предлагает семейство следующих BI-продуктов: Ontos Miner — семантическое аннотирование текстов; Ontos Annotation Server (OAS) — технологическая платформа распределенной обработки неструктурированной информации и размещения результатов семантического анализа в хранилище; Light Ontos — облегченная версия OAS, сочетающая средства Ontos Miner и интерфейс конечного пользователя.

Исходная информация вводится непосредственно (отдельные документы) из папки (мониторинг) и из Сети. Документы преобразуются к единому формату (плоский текст) и загружаются в хранилище или файловую систему, тексты анализируются, в результате местоимения частично заменяются на существительные, к которым они относятся, и выделяются объекты и связи. Объекты и связи обрабатываются агентами предварительной идентификации и слияния, полученная информация размещается в хранилище RDF (Resource Description Framework — разработанный консорциумом W3C стандарт для описания ресурсов) на основе реляционной СУБД и доступна пользователям OAS посредством сервера навигации и аналитического сервера. Далее определяются семантические фокусы документов — выбираются часто упоминаемые объекты, содержащие наибольшее количество связей в рамках этих документов. В процессе работы пользователей с фактографической информацией в фоновом режиме выполняются идентификация и слияние объектов, а также применение правил логического вывода.

Семейство OAS/Ontos Miner/Light Ontos относится к классу фактографических информационно-аналитических систем, и основное место в нем занимают средства преобразования текстовой информации в структурированную форму. Однако имеются некоторые ограничения по адаптации лингвистических механизмов для обработки русскоязычных текстов.

Компания "Онтос" разработала несколько программных продуктов, предназначенных для анализа текстовых документов, составления аннотаций, обработки данных:

OntosMiner размечает текст документов, выделяя в них слова, включенные в словари семантических объектов и отношений.

LightOntos for Workgroups осуществляет управление документами, в том числе размеченными в программе OntosMiner.

Ontos SOA выделяет фактографическую информацию при обработке большого объема документов.

TAIS Ontos обеспечивает автоматизацию работы правоохранительных органов и служб безопасности.

Компания Онтос находится в Швейцарии. Она была основана в 2001 году и имеет филиалы в Нидау (Швейцария), Москве (Россия) и Лейпциге (Германия).

OntosMiner анализирует текст на немецком, английском, русском и французском языке. Система выделяет в тексте объекты и связи между ними и сохраняет их как разметку (аннотации) к соответствующим частями текста.

Для определения интересующих областей используются онтологии. Программа OntosMiner реализована на Java 5.

 

LightOntos 2.0 for Workgroups предоставляет средства организации и поиска информации и документов (pdf, doc, rtf, txt, html) с использованием OntosMiner. LightOntos позволяет визуализировать размеченные документы (их аннотации) в виде диаграммы. LightOntos 2.0 for Workgroups – однопользовательская система. Она базируется на технологии Microsoft .NET и использует Microsoft SQL Server в качестве базы данных.

Ontos SOA обеспечивает мониторинг множества документов, выделение в них фактографической информации (объектов и связей), а также сервисы работы с ней.

TAIS Ontos – система для работы с фактографической информацией для правоохранительных органов и служб безопасности. TAIS Ontos создан как прикладной пакет в среде ORACLE и предназначен для создания и ведения объектно-ориентированных баз данных фактографической информации, создания отчетов, визуализации фактов и отношений. Данные из оперативных сводок о происшествиях, связанных с наркотиками, вводятся вручную. Информация из баз данных загружается в автоматизированном режиме. Права на использованную в TAIS Ontos технологию принадлежат компании Ontos AG (Швейцария). Поставки TAIS Ontos осуществляет компания AviComp AG (Швейцария).

Анализ программных продуктов Ontos 

Функциональные возможности Программные продукты Ontos предназначены для автоматизации процессов обработки структурированной и неструктурированной текстовой информации и предоставления отчетов пользователю. 

Использование систем Ontos предполагает их довольно сложную настройку на форматы представления текстовой информации (форматы баз данных), настройку лингвистической системы на прикладную область применения (определение перечней учитываемых в онтологиях фактов и связей). 

Обработка информации сводится в основном к разметке документов на основе определения в них слов, относящихся к спискам слов, учитываемых в используемых онтологиях. Это обеспечивает выявление фактографической информации и формирование различных отчетов, в том числе в виде графа связей объектов. Непосредственно аналитической работой должен заниматься пользователь, так как система не содержит никаких средств, реализующих функции логического вывода, обобщения, дедукции. 

Системы неудобны в настройке, так как не реализованы механизмы самообучения систем новым фактам и связям, автоматической адаптации к предметной области.

Системы Ontos требуют предварительного обучения пользователя правилам ввода информации, настройки системы, формирования запросов.

Отсутствуют возможность ведения диалога с системами Ontos на естественном языке. Например, системы Ontos не могут отвечать на вопросы пользователя (например, "Когда погиб Басаев?"), строить аналитические отчеты по запросам на естественном языке (например, "Связь Бен Ладена с Афганистаном").

Системы Ontos позволяют определенные слова анализируемого текста соотносить с вводимыми в них списками слов – объектов и связей. Однако это рутинная задача сопоставления не обеспечивает никакой интеллектуальной обработки тестов, а тем более "извлечения знаний". 

Анализ технологии

Алгоритмы функционирования данных систем основаны на графематическом, морфологическом и семантическом анализе текстовой информации. Системы используют морфологические словари и онтологии для английского, немецкого, французского, русского языков. Уровни лингвистического анализа: графематический, морфологический, семантический (на уровне использования списков объектов и связей).

Система не обеспечивает поиск по различным словоформам для слов, не имеющихся в словарях. Это обусловлено отсутствием реализации бессловарной морфологии, обеспечивающей автоматическую генерацию лексем для неизвестных системе слов.

Полный лингвистический анализ не реализован. Отсутствие синтаксического анализа обусловливает невысокую точность автоматического лингвистического анализа и низкий уровень автоматизации аналитической обработки документов. В частности, не реализовано выявление семантически эквивалентных фактов и связей, представленных различными синтаксическими конструкциями (активный и пассивный залог), разрешение омонимии, анафоры и т.д. Заявленный в системах Ontos семантический поиск сводится к поиску по ключевым словам и по проставленным для них семантическим индексам.

Системы не обеспечивают автоматическую обработку произвольных массивов текстовой информации. Требуется вручную проводить настройку систем на предметную область перед их использованием: - для обработки неформализованной информации и выявления фактографической информации необходимо для отсутствующих в онтологиях фактов и связей вводить учитываемые семантические объекты, типы учитываемых связей объектов, а также правила их выявления; - для обработки структурированной информации следует описывать названия, типы обрабатываемых полей баз данных и правила работы с ними.

Программные продукты Ontos не имеют собственных средств создания и ведения поискового индекса. Это не позволяет на их основе реализовать быстродействующие системы аналитической обработки больших объемов текстовой информации.  Системы OntosMiner имеют довольно небольшой перечень форматов индексируемых документов.

Таким образом, аналитическую обработку текстовой информации, в традиционном понимании этого термина, системы Ontos не реализуют.  "Аналитическая" обработка информации в системах  Ontos является по сути  статистическим анализом тестовой информации на основе заранее вводимых списков учитываемых слов. При обработке используется морфологический анализ для учета словоизменения.  Выводы о системах Ontos:

    • Могут использоваться для автоматизации рутинных этапов обработки текстовой информации.  Однако аналитическую обработку текстовой информации, в традиционном понимании этого термина, системы Ontos не реализуют.

    • Не обеспечивают высокие показатели по достоверности выявления связей, наглядности их представления ввиду отсутствия реализации полного лингвистического анализа текстовой информации.

    • Не могут быть использованы для обработки больших объемов разнородной информации ввиду того, что они не имеют собственных средств ведения поискового индекса, требуют большого объема ручного труда для настройки на новые прикладные области, а также ввиду отсутствия функций автоматической адаптации и самообучения систем (автоматического определения словоформ неизвестных системе слов, выявления новых типов фактографических объектов и связей).

    • Неудобны в работе ввиду отсутствия возможности ведения диалога пользователей с ними на естественном языке.

    • Не обеспечивают оперативной настройки на новые прикладные области применения ввиду большого объема работы, для выполнения которой необходимо привлечение подготовленных IT специалистов.

    • Требуют предварительного обучения пользователей ввиду наличия весьма сложных и неочевидных процедур работы с данными.

    • Разработка и поставка систем Ontos осуществляется Швейцарскими компаниями, что затрудняет сертификацию программных продуктов Ontos в РФ.