Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Основы прикладной лингвистики. Учебно-методическое пособие.pdf
лежат вне сферы рационального и выразимого словесно мышления (в
подсознание). Это нужно для поиска решения задач, особенно сильно
отличающихся от тех, что решены ранее.
Основные методы ИИ:
1) программные модели и средства;
2) эксперимент на ЭВМ;
3) теоретические модели.
Идет поиск новых технических структур, которые способны лучше, чем ЭВМ, решать задачи, связанные с интеллектуальными про-
цессами:
1) исследования по нейроподобным искусственным сетям;
2) попытки построить молекулярные машины;
3) работы в области голографических систем.
Основные проблемы, изучаемые в ИИ.
1. Представление знаний. Изучение методов и приемов для фор-
мализации и ввода в память интеллектуальной системы знаний из
различных проблемных областей.
2. Моделирование рассуждений. Изучение и формализация раз-
личных схем человеческих умозаключений, используемых в процессе
решения разнообразных задач, создание эффективных программ для
реализации этих схем в ЭВМ.
3. Диалоговые процедуры общения на естественном языке. Обес-
печивают контакт между интеллектуальной системой и человекомспециалистом в процессе решения задач.
4. Планирование целесообразной деятельности. Разработка мето-
дов построения программ сложной деятельности на основании тех
знаний о проблемной области, которые хранятся в интеллектуальной
системе.
5. Обучение интеллектуальных систем в процессе их деятельно-
сти. Создание комплекса средств для накопления и обобщения уме-
ний и навыков, накапливаемых в таких системах.
2. Интеллектуальная деятельность человека
В 1940–1950 годах появились ЭВМ. Они стали не просто быстро
работающими устройствами для вычислений. С их помощью оказалось можно решать логические задачи, играть в шахматы, создавать
41
игровые программы. ЭВМ стали сочинять музыкальные мелодии,
стихотворения и сказки. Появились программы для перевода с одного
языка на другой, для доказательства теорем. Эти невычислительные
программы автоматизировали интеллектуальную деятельность человека.
Программирование для задач расчетного характера опиралось на
соответствующую теорию – вычислительную математику. На ее основе было разработано много методов решения задач. Они стали основой для соответствующих программ.
Для невычислительных задач теории не было. Любая программа
была уникальной, как произведение искусства. Опыт создания таких
программ никак не обобщался, умение их создавать не формализовалось. У науки, в отличие от искусства, должны быть методы решения
задач. С помощью этих методов все однотипные задачи должны решаться единообразным способом. И, получив опыт решения задач
определенного типа, легко решать новые задачи, которые относятся к
тому же типу.
Об интеллекте компьютера можно говорить, когда он сам на основании своих знаний о том, как протекает игра в шахматы и как играют
в нее люди, может составить шахматную программу.
Интеллект – не сами процедуры, с помощью которых выполняется
та или иная интеллектуальная деятельность. Интеллект – понимание
того, как их создать, как научиться новому виду интеллектуальной
деятельности.
Человека от компьютера отличают специальные метапроцедуры
обучения новым видам интеллектуальной деятельности. В создании
ИИ основная задача – реализация машинными средствами тех метапроцедур, которые используются в интеллектуальной деятельности
человека.
Рассмотрим эти метапроцедуры.
1. Целенаправленный поиск в лабиринте возможностей. Эта мета-
процедура связана с лабиринтной моделью творческой деятельности.
Данная модель основана на лабиринтной гипотезе.
Суть этой гипотезы: переход от исходных данных задачи к ее решению лежит через лабиринт возможных альтернативных путей. Не
все пути ведут к желаемой цели, многие из них заводят в тупик. Из
42
этого тупика надо уметь возвращаться к тому месту, где потеряно
правильное направление.
В 1960-х гг. было создано много программ на основе лабиринтной
модели. Это были программы игровые и доказывающие теоремы без
привлечения искусственных приемов. Это эвристическое программирование.
Полагали, что эта метапроцедура является универсальной и пригодна для решения любых интеллектуальных задач. Но затем оказалось, что есть задачи, в которых лабиринта возможностей либо не
существовало, либо он был слишком велик для метапроцедуры поиска. Как, например, при игре в шахматы. Лабиринт возможностей
здесь – все мыслимые партии игры. Их настолько много, что невозможно перебрать пути в нем.
2. Ассоциативный поиск и ассоциативное рассуждение. Это ос-
новная метапроцедура ассоциативной модели мышления.
Новая задача рассматривается как уже известная, хотя и несколько
отличающаяся от уже известной. Способ ее решения должен быть
близок к тому, который когда-то помог решить подобную задачу. Надо
только обратиться к памяти и попытаться найти нечто похожее, что
ранее уже встречалось. Это ассоциативный поиск.
Данная метапроцедура помогла создать эффективные программы в
распознавании образов и в обучении ЭВМ.
3. Модельная гипотеза. Согласно этой гипотезе, мозг человека со-
держит модель проблемной ситуации, в которой ему надо принять
решение.
Для решения используются метапроцедуры, которые оперируют с
совокупностью знаний из той проблемной области, к которой принадлежит данная проблемная ситуация.
В модельной гипотезе четыре основные метапроцедуры: 1) представление знаний; 2) рассуждения; 3) поиск релевантной информации
в совокупности имеющихся знаний; 4) пополнение и корректировка
знаний.
Например, проблемная ситуация – это переход через улицу с интенсивным движением. Тогда знания, которые помогут ее разрешить,
это знания относительно способов организации движения транспорта,
сигналов светофоров, наличия дорожек для перехода и т. п.
43
Эти шесть метапроцедур составляют ядро интеллектуальных возможностей современных программ и программных систем, ориентированных на решение творческих задач.
3. Интеллект и искусственный интеллект
Когда разумные существа реагируют на условия окружающей среды и приспосабливаются к ней, они открывают черты сходства событий и ситуаций путем самонаблюдения и самооценки. Происходит
накопление полезной информации о среде, возникает способность
индивидуума использовать эту накопленную информацию некоторым
полезным образом. Накопленную полезную информацию стали называть знанием, а указанную способность индивидуума – интеллектом.
Интеллект (intellectus лат. – понимание, рассудок) – 1) способ-
ность понимать или обучаться на опыте; способность приобретать и
сохранять знания; 2) способность быстро и правильно реагировать на
новую ситуацию; умение рассуждать при решении проблем, выборе
образа действий.
Научным изучением интеллекта занимаются психология, биология, логика, философия, лингвистика и т. д.
Интеллектуальная деятельность – деятельность человека или
машины, в процессе которых реализуются перечисленные выше способности и умения.
Система ИИ (интеллектуальная система) – компьютерная система, способная получить такие результаты, которые традиционно
порождаются в процессе интеллектуальной творческой деятельности
человека.
Интеллектуальная творческая деятельность – интеллектуаль-
ная деятельность человека, которая связана с выполнением таких задач, решения которых неизвестны, или которые нельзя решить с помощью точных алгоритмических методов.
4. Основные этапы развития искусственного интеллекта
Основные этапы развития ИИ:
1) классический;
2) романтический;
44
3) период модернизма;
4) период постмодернизма.
Классический период (1950—1963 гг.). Разрабатывались решения
игровых задач и головоломок с помощью первых ЭВМ. Это были игра в шашки, шахматы, в карты и кубики. Еще было доказательство
математических теорем.
Основные результаты исследований в этот период:
1. Любую интеллектуальную задачу можно свести к проблеме по-
иска в пространстве состояний. Процедуру поиска можно формализовать в виде перехода от некоторого начального состояния к конечному
состоян ию через конечное число операций перехода из одного промежуточного состояния к другому.
2. Поиск операций в пространстве состояний должен направляться
знаниями о конкретной предметной области («игра в карты», «игра в
кубик Рубика» и т. п.).
Романтический период (1963—1975 гг.). Связан с двумя процессами: 1) попытками формализации процессов восприятия человеком
ЕЯ и 2) созданием компьютерных программ, понимающих речь
(текст) человека.
Понимание моделировалось путем создания различных диалоговых систем, то есть программ, которые позволяли бы человеку вести
диалог с компьютером.
Например, диалоговая система SHRDLU. Разработана Терри Виноградом. Имела дело с предметной областью «мир, построенный из
деталей (блоков) детского конструктора». Могла отвечать на вопросы
о конфигурации и цвете деталей, о действиях с этими деталями. Ее
называли «разумной», так как она понимала вопрос, заданный на ЕЯ.
Создаются компьютерные программы, которые моделируют процесс понимания в более реальных жизненных ситуациях: посещение
ресторана, прием у врача. Вводятся понятия «сценарий», «фрейм»,
«правило», «факт», «сеть».
Были проанализированы понимающие программы. Были сделаны
выводы о том, что такое основа машинного понимания.
Период модернизма (1975—1989 гг.). Создаются экспертные си-
стемы как разновидность систем ИИ, разрабатываются методы разбиения знаний, которыми владеет человек, на отдельные модули. Ис-
45
пользовались новые методы представления знаний – эвристическая
классификация, иерархическая проверка гипотез.
Стали развиваться исследования по ИИ, связанные с обработкой
текстов и изображений. Появляются компьютерные системы, которые
позволяют классифицировать тексты и изображения, индексировать
тексты, извлекать из них информацию.
Период постмодернизма – современный период. Две тенденции:
1) появление быстродействующих компьютеров с практически неограниченной памятью; 2) активное внедрение Интернета в жизнь
человека.
Компьютеры нового типа позволят решить целый ряд социально
значимых задач: создание компьютерных систем распознавания зрительных образов, биофизическое исследование деятельности мозга
человека и т. д.
Лингвисты могут сыграть значительную роль в решении следующих проблем ИИ: 1) поиск способов эффективного представления
знаний в памяти компьютера; 2) автоматический анализ поверхностной структуры текста; 3) автоматическое определение содержания
текста; 4) машинный перевод текстов; 5) автоматический синтез текстов; 5) автоматическое распознавание устной речи; 6) автоматический синтез устной речи и др.
ТЕМА 8
МАШИННЫЙ ПЕРЕВОД КАК ЦЕНТРАЛЬНАЯ ПРОБЛЕМА
ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
1. Значение идеи машинного перевода. Машинный перевод
и теория языка.
Идея машинного перевода (МП), т. е. мысль поручить машине
работу по переводу с одного естественного языка (ЕЯ) на другой,
появилась более 50 лет назад. Все эти годы создаются системы МП.
Параллельно разрабатываются теории, которые можно положить в
основу создания таких систем.
Проблема автоматизации перевода по-прежнему актуальна.
1. Перевод с одного языка на другой – единственный эффектив-
46
ный способ преодоления языковых барьеров;
2. Растут и расширяются возможности современной компьютер-
ной информационной технологии. Поэтому всегда есть соблазн поручить машине новую интеллектуальную задачу;
3. Спрос на переводы в мире увеличивается в абсолютных и относительных пропорциях по мере того как все больше естественных
языков приобщаются к мировой цивилизации и вступают в коммуникационную информационную сферу.
Проблема МП также интересна для теории языка.
С появлением идеи МП появились разные новые лингвистики:
математическая, алгоритмическая, инженерная, статистическая, вычислительная. Они отражали новое направление в языке, новые
взгляды на объект, предмет, методы и результаты теоретических
изысканий в области ЕЯ. Стали создаваться математические модели
языка. Стал оспариваться тезис о том, что язык внеположен 1 мере и
числу.
Рассмотрим четыре особенности МП. Они – фундамент, на котором базируется интерес к МП как моделированию процесса перевода для компьютера.
1. Включенность всех уровней языка в задачу МП. Задача МП
требует распознавания графических образов (на этапе ввода в компьютер), морфологического анализа, анализа и перевода лексики,
синтаксического анализа и синтеза и тех семантических преобразований, которые должны обеспечить смысловое равенство введенного и выведенного предложения и/или текста в целом.
2. Перевод – единая задача. В ней участвуют все уровни языковой
структуры. Анализ и синтез единиц всех уровней служат одной цели
– передаче смысла, содержания высказывания с одного ЕЯ на другой.
3. Связь МП с лексическим уровнем языка. Лексический уровень
тесно связан с семантикой. Главная задача перевода – передача
смысла на интуитивном уровне. Так как лексика важна для МП, создаются автоматические словари в помощь переводчику и терминологические банки данных.
1
Внеположный – находящийся за пределами чего-нибудь.
47
4. Операция перевода с одного языка на другой – сложнейшая задача интеллекта. Она требует не только замены слов одного языка
словами другого, но и передачи мысли в полном ее объеме, со всеми
ее оттенками и коннотациями.
2. Автоматический перевод текстов. Общие понятия
Теории МП текстов начали создаваться в 50-е годы XX века. Они
опираются на метод моделирования процесса перевода текстов человеком.
В процессе перевода текстов человеком выделяют три этапа:
1) постижение текста на исходном языке (ИЯ);
2) интерпретация текста на ИЯ;
3) перевыражение текста ИЯ и создание текста на переводном
языке (ПЯ).
1 этап. Понимание того, о чем говорится в исходном тексте. Вы-
деляют три формы понимания:
1) филологическое, или дословное понимание текста;
2) стилистическое понимание;
3) понимание идейного замысла автора.
2 этап. В ИЯ и ПЯ не бывает полного семантического тождества:
1) слову ИЯ соответствует несколько слов ПЯ; 2) один тип предло-
жения ИЯ может быть передан несколькими синтаксическими
структурами ПЯ и т. п.
Поэтому лингвистически точный перевод текстов невозможен.
Возможна лишь правильная интерпретация текста на ИЯ средствами
ПЯ. Переводчик должен уметь передать объективный смысл всего
произведения.
3 этап. В процессе перевыражения текста ИЯ в текст ПЯ переводчик должен заменить слова и предложения ИЯ словами и предложениями ПЯ стилистически верно. Текст перевода должен сохранить и предметное содержание исходного текста, и его замысел. Результат – такой текст ПЯ, который представляет собой явление своей
литературы, переводного языка, и в то же время сохраняет оттенок
чужого. Чтобы перевести текст с одного языка на другой, необходимо знать:
1) лексику и грамматику языка, с которого осуществляется перевод;
48
2) лексику и грамматику языка, на который переводится текст;
3) предметное содержание переводимого текста;
4) правила, по которым слова и предложения исходного текста
переводятся на другой язык.
Эта информация используется, когда выполняются следующие
действия:
морфологический анализ каждого слова предложения ИЯ;
синтаксический анализ каждого предложения текста ИЯ;
синтаксический синтез каждого предложения ПЯ;
морфологический синтез каждого слова предложения ПЯ.
Человек выполняет эти действия, опираясь на знания языка или
словари. Компьютер должен уметь делать то же самое.
Машинный или автоматический перевод – выполняемое компьютером действие по преобразованию текста на одном ЕЯ в текст
на другом ЕЯ при сохранении эквивалентности содержания, а также
результат такого действия.
Человек участвует в подготовке МП или в его доведении до удобочитаемого вида. Часто до ввода в компьютер переводимый текст
готовится человеком-предредактором. Он упрощает структуру пред-
ложений, выделяет терминологические обороты, указывает класс
слов для омографичных форм и т. д. Текст, выдаваемый компьютером, подвергается стилистической правке. Ее проводит человек-
постредактор.
Система МП обычно состоит из четырех подсистем:
1) подсистема морфологического анализа;
2) подсистема синтаксического анализа;
3) подсистема синтаксического синтеза;
4) подсистема морфологического синтеза (в нее также входят еще
две составляющие – двуязычный (англо-русский) автоматический
словарь и система синтаксических соответствий).
3. Создание системы перевода английского текста на русский язык
Создание системы МП осуществляется путем выполнения следующих основных этапов: 1) этап идентификации; 2) этап концептуализации; 3) этап формализации знаний; 4) этап реализации си-
49
стемы в виде компьютерной программы; 5) этап тестирования системы.
Этап идентификации. Неформальное (словесное) описание
решаемой задачи. Выделяются подзадачи, их связь в рамках общей
задачи и основные понятия – ключевые объекты и отношения между
ними. Выявляются также знания, которые необходимы для решения
задачи.
Этап концептуализации. Выделение конкретных, присущих
определенному подъязыку определений, таблиц, перечней данных,
которые нужны для решения задачи перевода текста с английского
языка на русский.
Этап формализации. Создание базы знаний. Происходит объединение выделенных на предыдущем этапе сведений. Для формального представления знаний используются логические правила
вывода, фреймы, семантические сети. Этап заканчивается некоторой
формальной моделью процесса решения задачи с полной характеристикой используемых данных.
Этап реализации. Преобразование формализованных знаний в
работающую компьютерную программу. Она пишется на обычном
универсальном алгоритмическом языке. Например, BASIC.
Автоматический словарь (АС) системы МП во многом определяет ее успех и эффективность. При построении АС решаются следующие задачи.
1. Определение способов представления лексических единиц
словаря ИЯ (входной словарь) и словаря ПЯ (выходной словарь).
2. Выработка принципов отбора лексики для входного словаря.
3. Выработка принципов подбора переводных эквивалентов для
выходного словаря.
4. Разработка способов кодирования лексико-морфологической,
синтаксической, стилистической и семантической информации.
1. Для представления лексических единиц входного и выходного
словарей может быть использована лексическая единица в виде основы слова (квазиосновы).
Тогда группа форм, относящихся к одному лексическому значению, представляется в виде общей основы этих слов. Она часто не
50