19. Индексирование. Система индексирования. (Тема 6, стр. 47).

Индексирование - процесс перевода текстов с естественно­го языка на ИПЯ. Индексирование базируется на совокупности инструкций, детально описывающих процесс индексирования и представляющих собой комплекс правил, включающих и прави­ла применения ИПЯ.

Система индексирования (СИ) - совокупность методов и средств перевода текстов с естественного языка (ЕЯ) на ИПЯ в соответствии с задан­ным набором словарей лексических единиц и с правилами при­менения ИПЯ. Помимо правил применения ИПЯ система индек­сирования может включать большое разнообразие инструкций, положений, методов и т. д., регламентирующих те или иные эта­пы процесса индексирования. Существующие системы индекси­рования сильно отличаются друг от друга, и описать их общий со­став и структуру невозможно. Однако наличие общих признаков позволяет дать системное представление о классах систем индексирования.

20. Типы систем индексирования. Системы свободного, полусвободного, жесткого индексирования, статистического автокодирования. (Тема 6, стр. 47-48).

6.1. Типы систем индексирования

Рассмотрим типологию систем индексирования по пяти наиболее важным основаниям.

1. По степени автоматизации процесса индексирования можно различать системы:

а) ручного индексирования;

б) автоматического индексирования;

в) автоматизированного индексирования.

Наиболее широко распространены автоматизированные СИ.

2. По степени контролируемости различают СИ:

а) без словаря (может быть факультативное использование словарей);

в) со свободным словарем.

Данное разбиение СИ определяется типом используемого ИПЯ.

3. По характеру алгоритма отбора слов текста могут быть СИ:

а) с последовательным просмотром текста;

б) с эвристическими процедурами выбора слов текста;

в) со статистическими процедурами выбора слов.

В случае а) отбираются все полнозначные слова; в слу­чае в) только информативные слова в соответствии с распределе­нием частот их употребления, в случае б) слова отбирают­ся интуитивно или по заданной процедуре.

4. По характеру лексикографического контроля существу­ют системы:

а) без лексикографического контроля;

б) с полным контролем;

в) с промежуточным контролем.

Лексикографический контроль предусматривает устране­ние синонимии, полисемии и омонимии на основе нормативных словарей лексических единиц с парадигматическими отношения­ми между ними; приведение всех слов к нормальному виду на ос­нове морфологических нормативных словарей.

В системах с полным контролем реализуются обе функции лексикографического контроля. В СИ с промежуточным контро­лем эти функции реализуются частично.

5. По характеру морфологического анализа слов различают СИ с использованием:

а) морфологических словарей;

б) основных лексических словарей;

в) морфологического анализа с усечением слов.

Возможны системы индексирования без морфологическо­го анализа.

6.2. Примеры систем индексирования (си)

1. Системы свободного индексирования. Процесс индекси­рования состоит в следующем. Индексатор выписывает слова или словосочетания, которые, по его мнению, отражают содержа­ние текста. Он может брать слова, отсутствующие в тексте, но важные с его точки зрения для выражения смысла текста. Такие слова он может извлекать из своей памяти, любых словарей, энциклопедий, вообще любых текстов. Отобранный список слов является поисковым образом текста.

Такой вариант индексирования называется: СИ с ручным ин­дексированием (1а), без словаря (2а), с эвристическими процедура­ми отбора слов (36), без лексиграфического контроля (4а) и морфо­логического анализа (5г). Формула такой СИ: 1а, 2а, 3б, 4а, 5г.

2. Системы полусвободного индексирования. В данном случае процесс индексирования аналогичен вышеописанному, но слова сформированного списка соотносятся со словарем, несо­впадающие слова отбрасываются и в ПОД не включаются.

Формула такой СИ: 1а, 2б, 3б, 4а, 5г.

3. Системы жесткого индексирования. В данном случае слова выписываются только из текста. В ПОД включаются лишь те слова, которые есть в словаре. Перед включением тер­мина в словарь проводится его морфологическая нормализа­ция на базе основных лексических словарей. Формула СИ: 1а, 26, 36, 46, 56.

4. Системы статистического автокодирования. Слова вы­бираются из текста по заданным статистическим процедурам, по­сле чего проводится их статистическое кодирование путем усече­ния слов по алгоритмам позиционной статистики. Формула СИ: 16, 2а, Зв, 4а, 5в. Примером такой системы является СИ «РИПСИМЕ-1».

Существует большое разнообразие СИ с другими фор­мулами.