18. Общая характеристика методологии структурно-системного анализа и проектирования-sadt.

Методология SADT

B SADT (Structured Analysis and Design Technique) - технология структурного анализа и проектирования, представляет собой универсальный инструмент моделирования и анализа сложных систем и процессов.

SADT разработана Дугласом Т. Россом в конце 60-х годов в ходе развития структурного программирования. С 1981 года методология SADT стала стандартом ВВС США под именем IDEF0 в рамках программы интегрированной компьютеризации производства Министерства обороны США - ICAM (Integrated Computer-Aided Manufacturing).

Методология SADT/IDEF широко применяется в следующих областях:

1. Создание крупномасштабных проектов, связанных с автоматизацией и компьютеризацией производства, телекоммуникациями, аэрокосмонавтикой, разработкой программных и сложных систем.

2. Управление государственными и коммерческими структурами для анализа ситуаций и принятия решений по вопросам инвестиций, стратегического планирования, региональной политики, распределения ресурсов.

3. Совершенствование бизнес-процессов бизнес-систем.

Два первых направления - достаточно традиционное применение методологии, а третье - это новое направление, основные концепции и методы которого будут рассмотрены авторами в последующих публикациях.

Методология SADT/IDEF предназначена для представления функций системы и анализа требований, применяется на ранних этапах "жизненного цикла" системы. SADT создана специально, чтобы облегчить описание и понимание систем управления.

SADT - одна из самых известных и широко применяемых методологий проектирования. Главной причиной является то, что SADT - это полная методология создания описания систем, основанная на концепциях системного моделирования.

Основные концепции методологии SADT/IDEF0

Графика блочного моделирования

Графический язык устраняет неоднозначность естественного языка и структурирует его с помощью графических средств. Графические обозначения обладают высокой степенью точности.

Результатом моделирования системы является модель. Модель состоит из диаграмм, фрагментов текста и глоссария. Диаграммы - это главные компоненты модели. На диаграммах все функции системы представлены блоками, а интерфейсы - дугами. Место соединения дуги с блоком определяет тип интерфейса.

Блок изображает функцию системы, активную ее часть и сопровождается текстом на естественном языке. Блоки размещаются на диаграмме не случайным образом, а по степени важности, с левого верхнего угла к правому нижнему. Этот относительный порядок называется доминированием. Блоки должны быть пронумерованы, что однозначно идентифицирует системные функции и автоматически организует эти функции в иерархию модели.

Дуги представляют множество объектов. Они соединяют блоки вместе и отображают взаимодействия и взаимосвязи между блоками. Между объектами и функциями возможны четыре отношения: вход, управление, выход и механизм.

Стороны блока графически сортируют объекты, задачи и информацию (см. рис. 1).

Входные дуги изображают объекты, задачи и информацию, используемые и преобразуемые функциями. Управляющие дуги представляют информацию, управляющую действиями функций. Выходные дуги изображают объекты и информацию, в которые преобразуются входы. Дуги механизмов отражают, как функции реализуются, т.е. изображают физические аспекты функции.

Между блоками существуют пять типов взаимодействий: управление, вход, обратная связь по управлению, обратная связь по входу, выход-механизм.

IDEF-диаграммы - это не блок-схемы, не диаграммы потоков данных. Это предписывающие диаграммы, представляющие входные-выходные преобразования и указывающие правила этих преобразований.

Основные системные правила

1. Функциональный блок преобразует входы в выходы.

2. Управление определяет, когда и как это преобразование может или должно произойти.

3. Механизмы (исполнители) непосредственно осуществляют это преобразование.

4. Блоки и дуги имеют надписи на естественном языке.

5. Дуги могут ветвиться и соединяться.

6. Каждая диаграмма содержит 3-6 функциональных блоков и имеет при построении модели несколько версий и идентификационные номера.

7. Блоки расположены в порядке доминирования.

8. Модель состоит из иерархически связанных диаграмм - диаграмм действий.

9. Функциональные блоки могут быть декомпозированы.

Синтаксис моделей

Для адекватного описания системы требуется несколько диаграмм. Синтаксис IDEF-моделей позволяет определить границу модели, связать диаграммы в одно целое и обеспечить точное согласование между диаграммами.

На самом верхнем уровне система представляется одним блоком, описывающим общую функцию системы, и несколькими дугами, описывающими главные входы, выходы, управление и механизмы. Эта диаграмма называется контекстной диаграммой модели и определяет границы системы (см.рис. 2). Принцип ограниченности объекта встречается на каждом уровне. С определенной моделью тесно связана позиция, с которой наблюдается система и создается модель. Эта позиция называется "точкой зрения".

IDEF-модель дает полное, точное и адекватное описание системы, имеющее конкретное назначение, называемое целью модели. Достижение цели является критерием окончания моделирования.

Далее осуществляется разделение объекта на его структурные части, называемое декомпозицией ограниченного объекта. Декомпозируемый блок называется родительским блоком, а содержащая его диаграмма - родительской диаграммой или диаграммой с потомком (см. рис. 3).

Правильное соединение всех диаграмм для образования согласованной модели обеспечивается механизмом кодирования дуг ICOM - кодами, которые осуществляют интерфейс между "родителями" и "потомками". Буквы I(Input), C (Control), O(Output) и M(Mechanism) обозначают соответственно дуги входа, управления, выхода и механизма родительского блока (см. рис. 2 и рис. 3).

ICOM - коды должны быть написаны у свободных концов всех граничных дуг, исключая самую верхнюю диаграмму, а также дуги, помещенные в туннель. Туннельные дуги означают, что данные, выраженные этими дугами, не рассматриваются на соответствующем уровне детализации. Туннельные дуги используются для упрощения описания системы и облегчения чтения диаграмм.

19. Технологии текстового поиска информации. Источники сложности. Модели текстового поиска. Характеристика способов ввода информации в информационную систему, классификация документов. Основные системы хранения и поиска документов, общая характеристика средств управления документооборотом.

1. Текст является одной из основных форм обмена информацией в обществе. Поэтому текстовые сообщения преобладают в информационных системах.

Наиболее распространенными системами технологии обработки текста являются системы текстового поиска. Их задача заключается в том, чтобы находить в заданных коллекциях на естественном языке такие документы, которые, удовлетворяю информационным потребностям пользователей. Технологии текстового поиска имеют дело с информацией

Основной единицей информации в системах текстового поиск, является документ — объем информации, обладающий законченным содержанием и какого-либо рода уникальным идентификатором.

Представление текстового документа в оцифрованном виде создается с помощью:

• ввода содержания документа с клавиатуры с использованием ка­кого-либо текстового редактора:

• сканирования его с бумажного носителя и использования про­граммы распознавания оптических символов;

• генерации текста программным путем распознавателями голоса и другими способами.

2. Современные технологии текстового поиска охватывают большой спектр проблем:

• теория информационного поиска;

• методы удовлетворения потребностей пользователей в:

• сборе информации;

• организации информации;

• хранении информации;

• поиске информации;

• распространении информации;

• обеспечение интерфейсов между пользователем и средствами управления ресурсами неструктурированной или слабоструктурированной информации, поддерживаемой в компьютерной среде. Значительное место в технологиях текстового поиска занимает обработка естественного языка. Под ней понимается компьютерное решение задач, связанных с пониманием, анализом, выполнением различных операций над текстами на естественном языке, а также с их генерацией. Этот класс задач относится к области искусственного интеллекта.

Задача хранения и обработки текстовых данных, в отличие от задач хранения и обработки фактографических данных, имеет свои особенности:

• системы текстового поиска, как правило, хранят несколько коллекций документов (информационно-поисковых массивов);

• тексты документов, как правило, имеют большой объем;

• текстовые данные можно характеризовать как неструктурированные или слабоструктурированные;

• смысловое сопоставление содержания документов и выраженных на естественном языке пользовательских запросов является довольно трудной задачей.

В силу этих особенностей система текстового поиска не способна при выполнении пользовательских запросов анализировать полные тексты документов. Поэтому был предложен и реализован подход, состоящий в том, чтобы в процессе обработки пользовательского запроса работать не с самими документами, а с некоторыми структурированными представлениями их содержания, которые называют представлениями документов (представители документа). В качестве таких представителей выступают дескрипторы, индексы, поисковые образы документов и запросов и т.д. Использование представления документа вместо непосредственно самого документа позволяет избежать трудоемкого процесса просмотра и анализа полного его содержания на стадии поиска и вместе с тем использовать преимущества структурированного представления для повышения эффективности поиска.

Представления документов. Для построения представлений документов используются разные технологии. Представление создается, как правило, один раз при вводе документа в систему. От способа создания представления документа зависит эффективность поиска документа.

На ранних стадиях формировалась совокупность слов (словосочетаний) лексики предметной области системы, характеризующая содержание данного документа, называемая дескриптором. Дескрипторы могут создаваться вручную авторами документов, экспертами в предметной области, подготавливающими документ к вводу в систему, или автоматически системными механизмами на основе анализа текста документа.

Дескриптор — слово (словосочетание), отражающее какое-либо понятие предметной области и используемое для характеристики смыслового содержания хранимых в системе документов и информационных запросов пользователей.

Дескрипторы составили основу дескрипторных информационно-поисковых систем.

Более информативными и технологичными представителями документов являются индексы.

Индекс — вспомогательная структура данных, служащая для повышения производительности при выполнении операций поиска данных.

Индекс позволяет эффективным образом (без полного просмотра текстов документов и без полного их перебора) обнаруживать в коллекциях документ или документы и при необходимости осуществлять быстрый доступ к ним. Индексы хранятся в специальных индексных файлах. Индексирование — процедура снабжения документа, вводимого в документальную систему, ключевыми словами, рубриками и другими атрибутами, позволяющими впоследствии осуществлять его быстрый поиск. Индексирование осуществляется ручным, чаще автоматизированным, способом при вводе документов в систему. В большинстве систем реализуется стратегия свободного индексирования, когда каждое, за исключением стоп-слов, слово загружаемого в БД документа может использоваться в каче­стве индекса — ключа поиска этого документа. Стоп-слова — это неинформативные слова (предлоги, союзы и т.п.), которые встре­чаются в любом документе. Разработано и используется несколько технологий индексирования, в том числе технологии атрибутного и полнотекстового индексирования :

Атрибутное индексирование — это индексирование по ключевым словам. В простейшем случае атрибутами могут служить название и (или) имя автора документа. Получил распространение стандарт на атрибутное индексирование документов — Дублинское ядро. Дублинское ядро — это набор атрибутов, характеризующих доку­мент: название ресурса, владелец, тема, служба, обеспечивающая доступ к ресурсу, дата создания или предоставления доступа к ре­сурсу и т.д.

Полнотекстовое индексирование состоит в преобразовании текста Документа в набор слов. Полнотекстовое индексирование проводится автоматически, и в этом его преимущество. Однако существенным недостатком является большое количество «мусора» в индексе, т.е. слов, никак не характеризующих документ, а просто связывающих ключевые слова, ведь, по сути, полнотекстовый индекс — это текст документа без стоп-слов.

При индексировании документов используются дескрипторы, тезаурусы и грамматика естественного языка. В списке дескрипторов выделяются те, которые рекомендованы для индексирования. Тезаурусы — это своего рода толковые дескрипторные словари, составляемые в настоящее время в автоматическом ре­жиме организациями — разработчиками информационно-поисковых систем в какой-либо предметной области.

Общие принципы текстового поиска. Для систем текстового поис­ка независимо от применяемых технологий представления докумен­тов существуют общие принципы поиска:

• при вводе документа в систему строится его представление, которое далее выступает заместителем документа при обработке пользовательских запросов и называется «поисковый образ документа»;

• при поступлении в систему пользовательского запроса для него также строится представление — поисковый образ запроса;

Поисковый образ документа — текст, выражающий основное смысловое содержание документа и используемый при поиске в документальных системах.

Релевантные документы — документы, соответствующие пользовательскому запросу в документальной системе.

Технология поиска определяется моделью поиска.

Модель поиска — совокупность способов формирования представлений документов, формирования представлений поисковых запросов и вида критерия релевантности документов.

Простейшие модели поиска — модели, в которых документ представляется в виде набора ассоциированных с ним внешних атрибутов. К ним относятся:

• модель дескрипторного поиска. Индексирование документа реализуется назначением для него совокупности дескрипторов;

• модель, основанная на Дублинском ядре. Документ представляется в виде совокупности 18 атрибутов;

• модель, основанная на классификаторах. Документ представляется в виде совокупности идентификаторов классов, к которым относится данный документ. Классы формируют иерархическую структуру классификатора.

Булевские модели поиска — модели, позволяющие пользователю формулировать запрос с использованием операторов И, ИЛИ, НЕТ, соединяющих несколько понятий (термов) в виде булевского выражения. Булева логика используется, когда поисковый запрос содержит более одного понятия. Понятия выражаются термами.

Термы текста — слова или словосочетания, принадлежащие словарю системы, который представляет общеязыковую лексику или лексику предметной области.

Векторные модели поиска основаны на представлении документов и запросов в виде векторов. Каждому терму в документе и запросе ставится в соответствие некоторый вес. Близость документа к запросу оценивается как корреляция между векторами их описаний. Эта корреляция может быть вычислена, например, как скалярное произведение соответствующих векторов описаний. Существуют различные подходы к выбору указанных весов. Один из самых простых — использование частоты встречаемости данного терма в документе.