Добавил:

ivanov666 Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Башкирский Государственный Аграрный Университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

Особенности использования систем компьютерного сурдоперевода в инклюзивном образовании лиц с нарушением слуха. Учебное пособие

.pdf

Скачиваний:

Добавлен:

07.09.2026

Размер:

1 Мб

Скачать

☆

<<< < Предыдущая 1 2 3 45 / 85 6 7 8 > Следующая >>>

Рассмотрим примеры синтаксического анализа (рис. 3.12, 3.13).

Рис. 3.12. Определение предикативного отношения

Рис. 3.13. Определение атрибутивного отношения

Модуль семантического анализа русского текста применяется для снятия многозначности показа жеста (ДЕЙСТВИЕ) и использует базу онтологий в форме ОБЪЕКТ–ДЕЙСТВИЕ. Так, например, ДЕЙСТВИЕ «двигаться» для ОБЪЕКТов «птицы» и «змеи» необходимо показывать различными жестами – «летать» и «ползать» соответственно.

Модуль перевода русского текста на РЖЯ

Рассмотрим более детально модуль перевода русского текста

на РЖЯ. При этом будем опираться на полученные ранее результаты лингвистического исследования русского жестового языка в части особенностей лексики, словообразования, морфологии, синтаксиса и

семантики жестового языка [40] глухих и слабослышащих граждан Российской Федерации, которые используются при разработке компьютерного сурдопереводчика русского языка.

Жестовая речь реализуется в трехмерном пространстве и состоит в последовательном изображении (посредством знаков жестового языка) статических или динамических ситуаций, которые можно характеризовать как простые атомарные. Ситуации могут быть связаны между собой

, например, если в них участвуют одни и те же объекты.

Предложения звучащего языка часто описывают сложные ситуации, включающие в себя несколько простых (например, несколько действий). При переводе с РЗЯ на РЖЯ, осуществляемом человеком (сурдопереводчиком), такие предложения преобразуются в последовательности простых предложений, каждое из которых представляет одну простую ет при сурдопереводе вполне успешно, однако их формализация – задача весьма непростая. Рассмотрим класс преобразований, разработанных для системы автоматического перевода с РЗЯ на РЖЯ.

Цель описываемых синтактико-семантических преобразований – упрощение текста РЗЯ за счет разбиения предложений, представляющих сложные ситуации, на последовательности более простых предложений. Единицей, над которой осуществляются преобразования, является предложение, содержащее полное причастие. Причастие служит для обозначения действия или состояния, дополнительного по отношению к тому, которое обозначено основным глаголом предложения. В результате применения каждого правила преобразования исходное предложение П разбивается на две части, оформляемые далее в виде предложений П1 и П ситуаций, чем П, и в этом смысле является более простым по сравнению с П.

В ходе преобразования исходное предложение П не просто механически разделяется на две части, а подвергается определенным дополнительным модификациям. В частности, причастие заменяется соответствующим глаголом. Может быть изменен Для указания на идентичность упоминаемых объектов вводятся местоимения.

Разработанные правила преобразования упрощают перевод с РЗЯ на РЖЯ, но в то же время не являются специфичными именно для решения этой задачи и могут использоваться при решении других задач, в которых требуется аналогичное упрощение текстов РЗЯ.

ситуацию. Подобные преобразования человек осуществля-

2, каждое из которых обозначает меньшее число

порядок слов.

Разработка правил преобразования в рамках системы автоматического перевода была ориентирована на использование результатов анализа текста, получаемых посредством синтаксического анализатора ДИАЛИНГ. Правила преобразования применяются после того, как этот анализатор построит структуру входного текста и выявит в нем вхождения причастий. Соответственно объектами преобразований считаются только те предложения с полными причастиями, которые можно

синтаксического анализатора ДИАЛИНГ, при описании правил используются те же категории, посредством которых данный анализатор представляет структуру входного предложения. Это обозначения типов синтаксических групп (ПРИЧ_СУЩ, ПРИЛ_СУЩ, ОДНОР_ИГ, НАРЕЧ_ГЛАГОЛ, ОБОРОТ, ПГ, ИНСТР_ДОП) таксических фрагментов (ПРЧ). Грамматические категории обозначаются при записи правил последовательностями индексов. При выборе правила преобразования учитывается тип структуры, в которой найдено причастие, и конкретные составляющие этой структуры. Каждый тип правил имеет определенные условия применимости.

ПРИЧ_СУЩ – группа существительного существительное согласуется с причастием по падежу, числу и роду. ПРИЛ_СУЩ – одно или несколько прилагательных, согласованных по роду, числу и падежу, за которым непосредственно следует существительное. ПРЧ – причастный оборот. ИНСТР_ДОП – группа, содержащая дополнение в творительном падеже.

тельного (обозначим ее через Z) и фрагмента типа ПРЧ, содержащего причастие, согласованное с главным словом группы Z по падежу, числу, роду. Группа существительного может представлять собой:

является существительное, которое также

мента ПРЧ и согласованные между собой по роду, числу, времени. Символ P служит для обозначения каждого из таких согласованных между собой причастий, и правила преобразования применяются ко всем им одинаково.

причастия Р на глагол, от которого это причастие образовано), то дан-

идентифицировать как таковые на основе системы ДИАЛИНГ.

Поскольку правила преобразования применяются после работы

и один из типов син-

Введем следующие обозначения, принятые в ДИАЛИНГ:

плюс фрагмент типа ПРЧ;

Группа ПРИЧ_СУЩ состоит из двух частей:

1) отдельное существительное (обозначим его через S),

2) группу типа ПРИЛ_СУЩ (в группе такого типа главным словом будем обозначать через S).

Через Р обозначаются полные причастия, входящие в состав фраг-

Если необходимо выполнить преобразование типа P→V(

группы существи-

P) (замена

ное преобразование применяется к обоим согласованным причастиям. Форма глагола V(P) определяется типом применяемого правила.

Знаки Z, S, P могут характеризоваться определенным набором значений индексов: х – падеж (обозначения падежей стандартные: им – именительный, род – родительный, дат – дательный и т.д.), y – число,

z – род, l – лицо, t – время, a – залог (д

– действительный, с – страда-

тельный).

V(P) рого было образовано причастие Р

– функция, значением которой является глагол, от кото-

y,z,l,t,a

, этот глагол имеет те же зна-

y,z,l,t,a

чения параметров y, z, l, t, a, что и Р.

Применению правила преобразования к некоторому предложению П предшествует выделение в этом предложении вхождения определенной синтаксической конструкции, содержащей причастие. Таким образом П разделяется на три части: начало предложения – НП, выделенная синтаксическая конструкция, конец

предложения – КП. Так, в предло-

жении: Плеск дождевых капель, ниспадавших на его поверхность, да-

леко относил гул – фрагмент ПРЧ соответствует части Плеск капель, ниспадавших на его поверхность, следующей за существительным

S = капель, НП – плеск, КП – далеко относил гул. Эта ситуация будет обозначаться так: [НП S ПРЧ КП].

Правила могут заменять или устранять

некоторые части исходного текста, а также изменять порядок следования некоторых частей текста. При описании этих операций используются следующие обозначения. Запись вида [Х(Ψ1 → Ψ2, Ψ3 → Ψ4)] означает, что:

1) Ψ1 входят в состав [Х],

2) в [Х] надо заменить Ψ1 на Ψ2, а Ψ3 – на Ψ4,

3) в

предложении, получающемся в результате применения данного преобразования, на первом месте располагается Ψ2, порядок всех остальных слов остается таким же, как в исходном предложении (в предложении могут быть еще какие-то слова, кроме входящих в состав Ψ1 и Ψ2), Ψ2 располагается в Х на той же позиции, где было Ψ1.

Общее условие применимости: правила данного типа применимы только в том случае, если в результате предшествующего (морфологического и синтаксического) анализа выделена группа ПРИЧ_СУЩ и Р – полное причастие.

Данный тип правил представлен шестью вариантами (два правила для причастий действительного залога и четыре правила для причастий страдательного залога). В качестве примера

приведем описание

одного из правил, которое применяется для преобразования предложе-

ний с причастием действительного залога, в которых выделена группа ПРИЧ_СУЩ (существительное + причастие):

[НП ПРИЧ_СУЩ КП] →

[ПРИЧ_СУЩ (Zx,y,z → Zим,y,z; Px,y,z,t,д → V(P)y,z,t,д] [НП (этот S) x,y,z КП]

Например, в результате применения правила предложение: Плеск дождевых капель, ниспадавших на его кипящую поверхность, далеко относил гул – будет разделено на два более простых: [дождевые капли ниспадали на его поверхность] [плеск этих капель далеко относил гул].

Нужно заметить, что возможен и перевод на основе базового порядка следования жестов в предложении. В качестве примера рассмотрим программу компьютерного сурдоперевода русского текста на письменный разговорный русский русский текст (предложение) вводится в программе и подвергается морфологическому, синтаксическому и семантическому анализу. Затем формируется стандартная схема предложения на разговорном русском жестовом языке:

ПОДЛЕЖАЩЕЕ – ОПРЕДЕЛЕНИЕ – ОБСТОЯТЕЛЬСТВО – СКАЗУЕМОЕ – ДОПОЛНЕНИЕ.

Данная схема последовательно применяется для простых высказываний.

Если слову в предложении можно поставить жест, то оно заменяется

на систему нотаций SignWriting [41] для данного жеста. Если нет, то переводится дактильной азбукой в данной системе нотаций. Для снятия многозначности показа жеста используется база онтологий. Проводится анализ на возможность параллельного показа высказываний.

жестовый язык [28]. Произвольный

Программная реализация правил преобразования

Программная реализация синтаксических преобразований предложений, содержащих конструкции с полными причастиями, представляет собой текста. В результате изоляции логики в кодовой библиотеке (.dllсборке) .NET различные приложения с любыми пользовательскими интерфейсами (консольный, в стиле рабочего стола, в веб-стиле и т.д.) могут обращаться к существующей библиотеке даже независимо от языка. Библиотека разработана на языке C#, но пользовательские интерфейсы могут

C++/CLI). Библиотека содержит единое пространство имен, которое

библиотеку, в которой инкапсулируется процесс обработки

создаваться на любом языке (например, VB или

взаимодействует с компонентами системы обработки текста ДИАЛИНГ.

С целью анализа текста на естественном русском языке библиотека обеспечивает:

 загрузку текста и инициализацию необходимых компонентов си- стемы ДИАЛИНГ;

 разбиение текста на предложение и организацию процедуры его преобразования;

 морфологический и синтактический анализ каждого предложе- ния (построение дерева зависимостей предложения);



перевод каждого предложения с применением правил синтакси-

ческих преобразований (построение дерева перевода предложения).

Рассмотрим этапы процесса преобразования на примере обработки сложного предложения: Мы расположились рядом с посаженными кустами, растущими на постриженной траве. Результатом синтаксического анализа является дерево зависимостей, которое представляется в памяти в виде XML-документа.

Структура дерева произвольна и друг в друга тегов, каждый из которых представляет либо клаузу (узел clause) и группы (узел group), построенные на морфологическом варианте клаузы, либо синтаксическое отношение (узел rel). Клауза – это фрагмент сложного предложения, а внутреннее устройство группы определяется типом (атрибут type). Пример соответствующих узлов дерева зависимостей:

<clause type="ПРЧ">, разошедшуюся небывалыми тиража- ми</clause>

<group type="ПРИЛ_СУЩ">небывалыми тиражами</group>

<group type="ИНСТР_ДОП">разошедшуюся небывалыми тиража- ми</group>

</synvar>

Синтаксическое отношение между словами определяется следующими атрибутами:

 name – тип группы;

 gramrel – внешние граммемы (морфологические характеристи-

ки), определяющие поведение и сочетаемость с другими группами;

 lemmprnt – нормальная форма главного слова группы;

 grmprnt – граммемы главного слова группы;

описывается набором вложенных

 lemmchld – нормальная форма зависимого слова группы;

 grmchld – граммемы зависимого слова группы.

Пример узла отношения:

<rel name="ИНСТР_ДОП" gramrel="дст,нп,св,но,од,прш,жр,вн,ед," lemmprnt="РАЗОЙТИСЬ" grmprnt="дст,нп,св,но,од,прш,жр,вн,ед," lemmchld="ТИРАЖ" grmchld="но,мр,тв,мн," > разошедшуюся -> тира-

жами </rel>

Процесс преобразования предложения заключается в более простые предложения. Предпосылкой к разбиению является наличие одной или нескольких конструкций, содержащих полное причастие. При этом данные конструкции обрабатываются последовательно слева направо. После деления исходного предложения получается два упрощенных предложения с соответствующим глаголом вместо причастия, по которому шло разбиение. Для хранения данных используется структура двоичного хранит предложение, а оба его потомка – результат разбиения. На рис. 3.14 показано двоичное дерево, которое будет построено для приведенного выше примера предложения:

дерева, в которой каждый узел

разбиении на

Рис. 3.14. Дерево перевода предложения

Построение дерева продолжается до тех пор, пока идет разбиение, т. е. пока хотя бы для одного из предложений срабатывает то или иное правило преобразования (всего разработано 14 правил). После наполнения дерева производится обход его узлов в следующем порядке: вершина, левое поддерево, правое поддерево. На рис. 6 порядок дерева указан цифрой в конце предложения. Таким образом, листовые узлы (у которых оба поддерева пусты) формируют цепочку перевода, а именно: [Кусты посадили] [Траву постригли] [Эти кусты растут на

этой траве] [Мы расположились рядом с этими кустами].

обхода

Каждое синтаксическое правило преобразования обеспечивает следующую функциональность:

 проверка общих условий применимости для правил данного ти- па;

 поиск множества конструкций, содержащих полные причастия;

 выбор варианта правила согласно заложенным условиям;

 выполнение преобразований различных типов в соответствии с

выбранным вариантом.

3.2. СРАВНИТЕЛЬНЫЙ АНАЛИЗ

ПРОГРАММНО-АППАРАТНЫХ СРЕДСТВ

РАСПОЗНАВАНИЯ ЖЕСТОВОЙ РЕЧИ

Аппаратные средства

Все устройства, которые используются для распознавание жестов, можно поделить на две группы: устройства, основанные на видеоданных, и устройства, используемые данные ускорения.

Первая группа устройств – это различного вида камеры, уровень распознавания которых зависит от их характеристик (разрешение сенсора, угол обзора и частота работы). Но больший результат дают си стемы, которые помимо RGB сенсора имеют IR Depth сенсор (инфракрасная камера), который используется для распознавания жестов на небольшом расстоянии. Одним из примеров удачного технического решения является камера от компании Creative, которую сложно назвать просто камерой. Скорее, это набор сенсоров. В ее состав входят два микрофона, позволяющих значительно улучшить качество распознавания речи, глубины) [42].

Еще одним хорошим примером является бесконтактный контроллер Kinect, разработанный фирмой Microsoft. Данное устройство имеет RGB сенсор, инфракрасный излучатель и ИК-сенсор. Оба устройства имеют свои отличительные особенности, поэтому трудно сказать, какое из них может больше подходить для распознавания жестов. Так, например, Kinect применяется на дистанции от 1,8 от Creative работает от 15 см до 1 м. Другим различием является то, что Creative больше подходит для распознавания жестов, идентификации и трэкинга объектов, рук, лица, их синтеза, распознавания голоса, в то время как функционал Kinect направлен на идентификацию и рас-

встроенная RGB и инфракрасная камеры (датчик

до 3 м, когда камера

познавание жестов и тела человека, чтобы выделять его в окружающей среде дома [42, 43].

Еще одно устройство, которое относится к этой категории, но которое нельзя назвать камерой, – это Leap Motion. Leap Motion – это небольшая коробочка, по размеру напоминающая 3G-модем, несет в себе Monochromatic IR cameras – 2 шт и Infrared LEDs – 3 шт. Leap Motion отслеживает все 10 пальцев с точностью до 1/100 мм. Устройство имеет угол обзора в 150 градусов и ось Z для определения высоты [44]. Leap Motion появился на рынке позднее Kinect и Creative, но уже успел заинтересовать своими возможностями. Так, например, компании Asus и HP уже начали внедрять его в свои ноутбуки [45].

Все три устройства (Kinect, Creative и Leap Motion) и их сенсоры изображены на рис. 3.15.

Kinect

Creative

Leap Motion

Рис. 3.15. Microsoft Kinect, Creative Interactive Gesture

Camera, Leap Motion

Вторая группа устройств – устройства, основанные на использовании данных аскелерометра, гироскопа и магнитометра, – менее обширная. В основном данные устройства используются только для человеко-компьютерного взаимодействия. Это, например, игровые консоли Nintendo Wii, которые используют беспроводные контроллеры Wii Remote и Wii MotionPlus для отслеживания движений рук и приставки PlayStation 3 с PlayStation Move. Данные устройства не способны различить движение кистей

и пальцев, поэтому их рассматри-

вать не будем.

В настоящее время на рынке нет систем, которые, получая данные акселерометра и гироскопа, могли бы применяться для сурдоперевода. В основном это различные прототипы, собранные в исследовательских центрах и представляющие собой перчатку с множеством датчиков на ней.

Устройством, которое поможет решить проблему, возможно, станет браслет MYO компании Thalmic Labs, который должен появиться в продаже трехосевой акселерометр, трехосевой гироскоп, а также трехосевой магнетометр, но основной особенностью устройства является наличие специального датчика, который получает информацию, считывая электрические импульсы в мышцах двигающейся руки. По словам Thalmic Labs, гаджет способен улавливать движение «каждого отдельного пальца», а также «небольшие движения руки Гаджет запрограммирован на игнорирование случайных движений пользователя и предупреждает владельца при помощи тактильной обратной связи, если он активен и выполнил какую-либо команду [46].

устройств, различны. Так, для устройств, которые основаны на потоке видеоданных, – это набор неподвижных ют друг друга с определенной частотой. Для устройств, которые работают с датчиками акселерометра и гироскопа, – это набор координат X, Y, Z. И если с данными акселерометра можно начинать работать сразу, то видеокадры необходимо преобразовать, а именно, нам необходимо извлечь у объекта наблюдения элементарные составляющие компоненты. Самый цвета используется два пространства: линейные и нелинейные. К линейным относится RGB (Red, Green, Blue – цветовая модель, описывающая способ синтеза цвета для цветовоспроизведения), а к нелинейным – HSV

(Hue – тон, Saturation – Насыщенность, Value – Интенсивность).

OpenCV (Open Source Computer Vision) – библиотека алгоритмов ком-

пьютерного зрения, обработки изображений и общего назначения с открытым кодом. Реализована на C/C++ [47]. Помимо этой библиотеки имеются Intel Perceptual Computing SDK и Kinect SDK, которые позволяют работать с видеопотоком как на низком (как в OpenCV), так и на высоком уровне (используя готовые алгоритмы распознавания жестов, положения рук, лица, голоса).

уже в первой половине 2014 года. Браслет содержит в себе

в любом направлении».

Программные средства

Данные, которые мы получаем со всех упомянутых выше

изображений, которые сменя-

простой способ выделить объект – это цвет. Для описания

Чаще всего для работы с изображениями применяется библиотека

численных алгоритмов

<<< < Предыдущая 1 2 3 45 / 85 6 7 8 > Следующая >>>

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]