Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Машинный и автоматизированный перевод. Учебное пособие.pdf
Часть 1
4.3.3. Контекстуальный подход
Контекстуальный метод МП работает с корпусом так же, как и статисти-
ческие или основанные на примерах системы. Отличие в том, что контекстуальные системы МП не нуждаются в единых двуязычных корпусах. Требуется
только объемный одноязычный корпус целевого языка, двуязычный словарь
всех словоформ, одноязычный корпус исходного языка, который может повысить качество перевода. В процессе перевода исходный текст делится на
так называемые n-граммы, состоящие обычно из четырех–восьми слов. Затем
n-граммы генерируются на целевом языке. При этом происходит поиск перевода каждого слова исходной n-граммы и генерируется в n-грамму целевого
языка. Таким образом для каждой исходной n-граммы создаются сотни целевых n-грамм, при этом используются разнообразные комбинации слов в переводах (целевых n-граммах). Затем сравниваются все целевые n-граммы и
повторы сохраняются, а остальные целевые n-граммы сортируются. В идеале
найденные целевые n-граммы могли бы выглядеть так:
1. Вот так работают
2. так работают контекстуальные
3. работают контекстуальные системы
4. контекстуальные системы машинного
5. системы машинного перевода.
В примере выше представлено максимальное количество повторов и сге-
нерированный перевод будет составлен из различных n-грамм и получится целевое предложение. Так работают контекстуальные системы машинного
перевода. Если повторяющиеся n-граммы не найдены, система работает дополнительно с генератором синонимов для повышения вероятности обнаружения повторяющихся n-грамм [18, с. 19].
31
4.3.4. Подход, основанный на знаниях
Широко обсуждаемой в настоящее время является такая проблема МП
как неоднозначность, которую невозможно преодолеть без опоры на общие
знания о мире. Системы МП, основанные на знаниях, стараются выбрать
в целевом тексте верное значение из возможных с помощью семантических маркеров. Под семантическими маркерами понимается информация
семантического характера, сохраненная в системе МП. Таким образом, возникает так называемый семантический метаязык, который функционирует
как Interlingua, международный вспомогательный язык, разработанный в
1936–1951 годах Международной ассоциацией вспомогательного языка
(IALA) под руководством Александра Гоуда [28, 28]. МП, основанные на знаниях, считаются особым случаем метода Interlingua, основанного на правилах. [28, с. 14].
Часть 1
Вследствие высокой степени сложности устройства системы МП, основан-
ные на знаниях, до сих пор разрабатываются только для узких сфер применения [28, с. 28].
4.3.5. Гибридные системы
Гибридными называются такие системы перевода, которые объединяют
в себе преимущества различных систем [32, с. 14]. Хорошим примером тому
служит SYSTRAN. SYSTRAN служит всегда в качестве «дежурного демонстрационного образца» систем МП, основанных на правилах. Между тем, компания работает на новых гибридных системах. Основу составляют основанные
на правилах системы SYSTRAN, дополненные статистическими компонентами.
В гибридных системах проблемы, возникающие в каждом из подходов в отдельности, минимизируются. Благодаря статистическим компонентам стоимость и затраты времени на адаптацию системы к потребностям клиента
значительно уменьшаются. Компонент системы, основанный на правилах,
позволяет уменьшить потенциально необходимый для статистических систем
объем данных (Systran).
32
5. Современные системы машинного перевода
На сегодняшний день существует множество разработанных учеными раз-
ных стран систем машинного перевода. Рассмотрим некоторые из них: PROMT
Professional 7.0 (разработчик – ПРОМТ, Россия), Systran 5.0 (разработчик –
Systran, США), Google переводчик (США), Yandex переводчик (Россия), ЭТАП III.
Как они устроены, в чем их различия – об этом пойдет речь в следующих разделах.
5.1. PROMT Professional 7.0
Компания PROMT была основана в Санкт-Петербурге в 1991 году бывшими
сотрудниками лаборатории инженерной лингвистики ЛГПИ им. А. И. Герцена.
Руководитель компании со дня основания – Светлана Соколова. В 1992 году
компания поменяла свое название на Stylus, а в 1998 году в связи с претензиями одноименной компании вернулась к первоначальному названию.
В 1997 году совместно с французской компанией Softissimo компания
PROMT выпустила ряд продуктов под названием Reverso для западного рынка
и запустила автоматический переводчик для детей Magic Gooddy, программу
для домашнего компьютера, владевшую более 500 тысяч слов. 6 марта 1998
года PROMT запустил первый российский сервис бесплатного машинного перевода Translate.ru.
В 2008 году контрольный пакет акций компании выкупила Renova Capital.
Изначально система работала на базе грамматических правил. В дальнейшем
33
Часть 1
подход был усовершенствован посредством использования семантических сетей и был назван аналитический машинный перевод PROMT. Система использовала также статистический машинный перевод в целях самообучения.
В 2019 году компания PROMT перешла на свою новую разработку – тех-
нологию нейронного перевода. Теперь компания работает на гибридной
технологии, объединяющей нейросетевой подход и подход на основе правил. Алгоритмы МП сами решают, какую технологию целесообразно применить в каждом конкретном случае, что способствует улучшению качества
перевода. Одна из последних разработок компании PROMT электронный
переводчик PROMT XT Office. Эта разработка впервые реализует новую концепцию автоматического перевода, основанную на технологии ассоциированной памяти (АП). АП полезна при обнаружении системой ранее переведенных фрагментов текста, т. е. по сути, речь идет о сохранении переводов
в памяти системы (ср. Translation Memory). Это обеспечивает возможность
обучения системы и сохранения результатов труда пользователя для последующего применения.
Система PROMT XT осуществляет перевод по следующим направлени-
ям: англо-испанский, англо-немецкий, англо-русский, англо-французский,
испанско-английский, испанско-русский, испанско-французский, итальянско-русский, немецко-английский, немецко-русский, немецко-французский,
русско-английский, русско-немецкий, русско-французский, французско-английский, французско-испанский, французско-немецкий, французско-русский.
Язык интерфейса системы: английский, русский, французский, немецкий.
PROMT XT Office решает следующие задачи:
• перевод документов следующих форматов: DOC, RTF, TXT, HTML. Впер-
вые реализована возможность перевода документов в формате Adobe Acrobat;
• комфортная работа с иноязычными документами в приложениях
Microsoft Word, Excel, PowerPoint обеспечивается благодаря интеграции программы в приложения MS Office 2000/XP и Microsoft Office System 2003;
• перевод электронной почты;
• онлайн-перевод Web-сайтов с сохранением форматирования;
• сохранение форматирования при переводе;
• интеллектуальные алгоритмы самообучения системы при использова-
нии ассоциированной памяти;
• удобные средства редактирования перевода – синхронная „прокрутка“
оригинала и его перевода. Цветовая подсветка связанных фрагментов в оригинале и переводе;
• мгновенный перевод любого слова при подведении курсора мышки.
Просмотр всех переводов и словоформ выделенного слова;
• интеллектуальные алгоритмы автоматического определения языка и те-
матики текста. Достоинством системы является возможность сохранения настроек, заданных при переводе, при работе с текстами одной и той же тематики;
Часть 1
• возможность подключения специализированных словарей, выпуска-
емых компанией PROMT для различных предметных областей; Программа
включает более 100 специализированных словарей, что даёт возможность
сделать перевод более точным;
• создание и пополнение собственных пользовательских словарей;
• создание списка зарезервированных слов;
• возможность просмотра, редактирования, копирования, удаления и
восстановления словарных статей из пользовательских словарей;
• большой электронный словарь для перевода отдельных слов (реализо-
ван для англо-русского, русско-английского, французско-русского, русско-французского, немецко-русского и русско-немецкого направлений перевода);
• поддержка внешних программ сканирования, проверки орфографии и
электронных словарей;
• озвучивание текста при наличии установленных на компьютере средств
синтеза речи, совместимых со стандартом Text-To-Speech.
Полезная особенность программ последнего поколения – способность ис-
ключать из процесса перевода имена собственные с возможностью их транслитерации.
Достойна упоминания существующая в седьмом поколении системы
PROMT так называемая многоразмерная архитектура словарей, предусматривающая как активный, так и пассивный варианты перевода слов. Активный используется при переводе, а пассивные варианты доступны для просмотра для
выбора подходящего значения. Если необходимо, пассивный вариант можно
перевести в активный. Активный участвует в процессе перевода, а неактивные
работают в режиме просмотра для выбора наиболее подходящего по смыслу
варианта. В случае необходимости неактивные варианты можно сделать активными. Таким образом, достаточно выбрать активные варианты для переводимого текста [6].
Программные продукты компании «ПРОМТ» удостоены целого ряда от-
ечественных и зарубежных наград, объективно являются лучшими программами, осуществляющими машинный перевод в нашей стране. Однако есть и
недостаток – сложный интерфейс, освоить который без руководства пользователя довольно затруднительно. В противном случае многие опции программы
так и останутся неизвестными пользователю [6].
34
5.2. SYSTRAN
Разработчик программного обеспечения для машинного перевода с рус-
ского на английский для SYSTRAN – уроженец Венгрии Питер Тома. Свои разработки он начал в 50-е годы прошлого века в Калифорнийском технологическом институте. Позже работал в Джорджтаунском университете, где была
разработана система Serna, способная к переводу текстов с русского языка на
английский.
35
Часть 1
В 1962 году П. Тома основал собственную компанию и создал системы
Autotran и Technotran для перевода с русского языка на английский в области
атомной энергии и медицины.
Немного позже П. Тома работал в Германии, где при поддержке Немец-
кого научно-исследовательского сообщества и запрограммировал прототип
Systran.
В 1968 году Тома основал компанию Latsec, разработавшую SYSTRAN для
ВВС США. Система использовалась для перевода научно-технических текстов
с русского на английский язык на военно-воздушной базе Райт-Паттерсон в
Огайо.
В 1975 году SYSTRAN стал использоваться Европейской комиссией для ав-
томатического перевода. В 1986 году в Люксембурге состоялась Всемирная
конференция SYSTRAN, организованная Европейской комиссией. В том же году
французский предприниматель Жан Гахот Томас приобрел компании World
Translation Center и Latsec, а также Немецкий институт Systran.
В 2014 году SYSTRAN был выкуплен корейской компанией CSLi. Название
компании было изменено на SYSTRAN International.
Полезные функции SYSTRAN:
• перевод непосредственно с рабочего стола Office с помощью подключа-
емых модулей Microsoft © Office для файлов Word, Outlook, Excel и PowerPoint;
• перевод веб-страниц с плагином для Internet Explorer в реальном вре-
мени;
• подключаемый модуль PDF позволяет легко переводить важные для
бизнеса документы PDF в Word;
• включает пять специализированных словарей – бизнес, разговорный,
промышленность, наука, общий;
• Integrated Translation Memory – поддерживает стандартные эксклюзив-
ные инструменты TMX Enhance Translation;
• добавление до 20 000 уникальных слов/терминов в многоязычный поль-
зовательский словарь;
• вставка лингвистических подсказок в словарные статьи;
• создание словарей нормализации для перевода нерегулярных терми-
нов, например, для чата;
• автоматический импорт/экспорт словарей в текстовом формате и фор-
мате Excel;
• извлечение терминологии;
• импорт терминологии XML;
• другие утилиты настройки уровня экспертов. Управление сложными
проектами перевода;
• параллельное сравнение и согласование оригинальных и переведенных
документов для упрощения обзора и редактирования;
• импорт файлов TXT, RTF, DOC и HTML для эффективного редактирования
и форматирования;
Часть 1
• инструмент проверки перевода;
• перевод нескольких документов за одну операцию.
В настоящее время новейшей версией является 7.0. Онлайн-переводчик
имеет в своем арсенале множество языков для перевода – английский, немецкий, русский, китайский, польский, датский, французский, итальянский, португальский, испанский, шведский, японский, арабский. Помимо переводчика в
гаджет встроен еще и словарь. Для перевода необходимо нажать на кнопочку
Translate, а для просмотра слова в словаре – Lookup. SYSTRAN можно использовать как из приложений Word, Excel, Outlook, Internet Explorer, PowerPoint, так
и в качестве самостоятельной программы. При работе с переводчиком следует
учесть ряд особенностей:
1. некоторые кнопки, расположенные на панели инструментов, не дубли-
руются командами основного меню программы;
2. программа сохраняет заданные настройки ранее переведенного текста
для всех новых документов. В результате в текст перевода могут попасть слова
из неадекватной предметной области. Проблему можно решить, отключив в
новом документе прежние настройки.
К недостаткам программы нужно отнести о создание программой соб-
ственных слов, состоящих из букв русского алфавита. Система не оставляет
непереведенных слов, «придумывает» несуществующие слова или добавляет
лишние буквы. Так, например, выражение «so that» было переведено как «ТАК,
СТО», написано через запятую и заглавными буквами. Слова, написанные заглавными буквами, программа не распознает и оставляет на языке оригинала.
К достоинствам программы следует отнести:
1. наличие пяти больших словарей, содержащих множество тематических
словарей;
2. дополнительные настройки, раскрывающиеся в виде закладок, кото-
рые позволяют повысить качество перевода (см. Рис. 4.);
3. автоматическую проверку орфографии исходного текста;
4. специальная утилита (вспомогательная компьютерная программа в со-
ставе общего программного обеспечения для выполнения специализированных типовых задач, связанных с работой оборудования и операционной системы) Systran Multi Translate Utility, которая осуществляет пакетный перевод
файлов, а также переводчик, встраиваемый в Word;
5. в пакет Systran 5.0 также входит специальная программа управления
словарями (Systran Dictionary Manager);
6. наличие большого количества языковых пар – Systran осуществляет пере-
вод также с языков стран Восточной Азии (корейского, китайского, японского [6].
36
5.3. GOOGLE-переводчик (или Google Translate)
28 апреля 2006 года Google Translate был запущен как сервис статистиче-
ского машинного перевода [20].
37
Часть 1
Рис. 4
Исходный текст сначала переводился на английский, а только потом на
целевой выбранный. Система Google-переводчик использует алгоритмы прогнозирования для перевода текста, грамматический аспект является слабой
стороной системы МП.
В январе 2010 года Google представила приложение для Android и в фев-
рале 2011 года версию для iOS, служившие портативными персональными переводчиками.
В мае 2014 года Google приобрел Word Lens для улучшения качества визу-
ального и голосового перевода. Он может сканировать текст или изображение
и мгновенно переводить их. Более того, система автоматически определяет
иностранные языки и переводит речь, включаясь автоматически без нажатия
кнопки перевода.
В ноябре 2016 года Google запустил так называемый нейронный машин-
ный перевод, использующий самообучаемый aлгоритм машинного перевода.
для фразового перевода целых предложений. В марте 2017 года Google полностью перевела двигатель перевода на нейросети для более качественного
перевода. По состоянию на 2018 год он переводит более 100 миллиардов слов
в день [20]. В отличие от других сервисов пeревода Google использует собственное программное обеспечение. Возможности:
• письменный перевод слов: функция, которая переводит написанные
слова или текст на иностранный язык;
• перевод веб-сайтов: функция, разработанная для веб-дизайнеров, по-
зволяет организовать перевод сайта на все доступные языки;
• перевод документов: функция, которая переводит загруженный документ
в следующих форматах: .doc, .docx, .odf, .pdf, .ppt, .pptx, .ps, .rtf, .txt, .xls, .xlsx;
Часть 1
• речевой перевод: функция мгновенного перевода звучащей речи на вы-
бранный иностранный язык;
• перевод мобильного приложения: в 2018 году Google Translate предста-
вил свою новую функцию под названием «Tap to Translate», которая сделала
мгновенный перевод доступным в любом приложении без выхода или переключения;
• перевод изображений: функция, которая идентифицирует текст на изо-
бражении, и мгновенно переводит текст на экране;
• рукописный перевод: функция для перевода текста от руки, написанно-
го на экране телефона или на виртуальном экране без использования клавиатуры;
• для некоторых языков Google Translate может синтезировать речь из тек-
ста, и в определенных языковых парах можно выделить определенные соответствующие слова и фразы между исходным и целевым текстом;
• в веб-интерфейсе пользователи могут предлагать альтернативные пере-
воды, например, технических терминов, или исправлять ошибки. Эти предложения могут быть включены в будущие обновления процесса перевода. Если
пользователь вводит URL-адрес в исходный текст, Google Translate создает гиперссылку на машинный перевод веб-сайта. Пользователи могут сохранять
предложения по переводу в «разговорнике» для дальнейшего использования;
• тексты на греческом, деванагари, кириллице и арабском алфавите, мо-
гут быть автоматически транслитерированы из фонетических эквивалентов,
написанных на латинском алфавите. Эта опция нередко становится причиной
ошибок перевода.
В переводчике дoступны 108 языков. Для большинства функций Google
Translate обеспечивает произношение, словарь и прослушивание перевода.
Кроме того, Google Translate представил собственное приложение Translate,
поэтому перевод доступен с мобильного телефона в автономном режиме.
Однако есть и ограничения. Сервис не выдает точных переводов, а лишь позволяет читателю познакомиться с общим смыслом текста на иностранном
языке. Качество переводов часто страдает, так перевод осуществляется через
язык-посредник, через английский язык [20].
38
5.4. Яндекс. Переводчик
Яндекс. Переводчик представляет собой словарь и сервис онлайн-перево-
да. Сервис предлагает пользователям подсказки при наборе текста, примеры
использования и одновременно исправление опечаток. Сервис располагает
мобильным приложением, с помощью которого пользователи могут переводить в офлайн-режиме с помощью словарей, которые предварительно нужно
скачать на устройство. Доступ в интернет позволяет подключиться к базе более, чем 50 языков. Яндекс. Переводчик имеет следующие возможности:
• синхронный перевод при вводе текста;
39
Часть 1
• советы и подсказки для быстрого набора;
• перевод с голосовым набором;
• словарные статьи с примерами использования;
• автоопределение языка;
• добавление необходимых переводов в избранное;
• история переводов;
• словарь синонимов;
• проверка орфографии;
• озвучивание исходного текста и переведенного;
• перевод картинок и сайтов.
Яндекс. Переводчик работает как так называемая гибридная система пе-
ревода. Первоначально сервис функционировал исключительно как статистическая модель, затем была добавлена технология перевода, основанная на
нейронной сети.
Рассмотрим методы статистического перевода на примере тех, которые
использует «Яндекс». Система «Яндекс. Переводчик» состоит из трех этапов:
модель перевода, модель языка и декодер. Модель перевода для пары языков
представляет собой таблицу, состоящую из всех известных машине слов и фраз
входного языка и их переводов на выходной язык с указанием вероятности
такого перевода. Система учитывает не только отдельные слова, но и речевые
обороты, состоящие из нескольких слов. Далее идет модель языка, на который необходимо перевести текст, – список, состоящий из всех встречаемых в
предоставленных текстах слов и словосочетаний вместе с частотой их использования. Декодер занимается процессом перевода: для каждого предложения
исходного текста подбираются все варианты перевода, фразы из модели перевода комбинируются и располагаются в порядке убывания вероятности. Таким
образом, модель языка, основываясь на статистических данных, подсказывает
декодеру, какой вариант перевода больше подходит данной фразе.
Нейронная сеть, как и статистический переводчик, анализирует массив па-
раллельных текстов и учится находить в них закономерности. Но в отличие от
статистического метода нейросеть работает не со словами и фразами, а с более
крупными единицами – предложениями. Она получает на вход предложение
на одном языке, а на выходе выдаёт предложение на другом языке. Дробления на слова и фразы не происходит. Такой подход позволяет лучше работать
с контекстом и позволяет учесть смысловые связи внутри предложения –
иными словами. Нейросеть улавливает смыслы даже в случае, если слова, которые их передают, находятся в разных частях предложения. Контекста имеет
существенное значение при переводе, именно на него в первую очередь обращают внимание люди-переводчики. Но даже у такой системы существуют
свои недостатки. Именно поэтому Яндекс. Переводчик использует гибридную
систему, которая позволяет эффективнее переводить тексты. Текст, который
вводит человек, обрабатывают обе системы – нейронная сеть и статистический переводчик. Затем алгоритм, основанный на методе обучения CatBoost,
Часть 1
оценивает, какой перевод лучше. При выставлении оценок учитываются десятки факторов – от длины предложения (короткие фразы лучше переводятся
статистической моделью) до синтаксиса. Пользователю показывается лучший
перевод.
Сейчас гибридная система используется только для самого популярного
направления перевода – с английского на русский. В дальнейшем она включится и для других направлений – пока на них работает статистическая модель. CatBoost – открытая программная библиотека, разработанная компанией Яндекс и реализующая уникальный патентованный алгоритм построения
моделей машинного обучения, использующий одну из оригинальных схем
градиентного бустинга. Градиентный бустинг – это метод машинного обучения, который создает решающую модель прогнозирования в виде ансамбля
слабых моделей прогнозирования, обычно деревьев решений. (19). Основное
API для работы с библиотекой реализовано для языка Python, также существует реализация для языка программирования R. API (программный интерфейс
приложения, интерфейс прикладного программирования, англ. application
programming interface, API ) – описание способов набор классов процедур,
функций, структур или констант), которыми одна компьютерная программа
может взаимодействовать с другой программой. Часто реализуется отдельной
программной библиотекой или сервисом операционной системы. Используется программистами при написании всевозможных приложений [11].
40
5.5. ЭТАП-3 (Россия)
ЭТАП-3 – это многофункциональная система обработки текста на есте-
ственном языке, разрабатываемая с 1980-х гг. российскими лингвистами,
математиками и программистами в Институте проблем передачи информации РАН. В основу системы ЭТАП-3 положена теория «Смысл-Текст», разработанная И. А. Мельчуком, и интегральная теория языка, разработанная
Ю. Д. Апресяном. (Модуль универсального сетевого языка (UNL) в составе
системы ЭТАП-3(1) [2].
Как отмечает Л. Л. Иомдин (один из разработчиков ЭТАП-3), достижения
современной лингвистической науки в изучении процессов анализа и синтеза
естественно-языкового текста, в моделировании этих процессов очень велики.
Поэтому эти достижения можно и нужно использовать в разработке систем
машинного перевода. Механизмы понимания языка используются системами
МП для исходного текста, а для синтеза целевого текста средства моделирования механизмов производства текста. Одна из таких систем – система ЭТАП-3.
Рассмотрим принципы работы ЭТАП-3.
В качестве основных рабочих языков система использует русский и англий-
ский. Перевод осуществляется в обоих направлениях. Кроме того, в ЭТАП-3
входит несколько экспериментальных систем французско-русского, русско-испанского, русско-немецкого, русско-корейского и арабско-английского.