Специализированный программно-аппаратный комплекс обучения русскому жестовому языку. Учебное пособие
.pdf
Рис. 2. Окно редактора файлов контейнера данных
Рис. 3. Структура комплекса
21
Рис. 4. Структура данных
Словарь комплекса содержит слова, имеющие жестовые аналоги (в основном применительно к содержанию цикла общих гуманитарных и социально-экономических дисциплин для подготовки бакалавров по направлению «Информатика и вычислительная техника»), и слова, которые могут быть обозначены, переведены жестами (архив, архитектор, атеизм и т. д.). После загрузки контейнера данных обучающемуся открывается доступ через соответствующие закладки к словарной базе, тестам и материалам для изучения (в соответствии с рис. 5).
Рис. 5. Диалоговое окно словаря жестовой речи
22
Словарь составлялся в соответствии с двумя направлениями.
1. Путем пополнения жестовой лексики (непосредственно): а) жестовые неологизмы, возникшие в последние десятилетия; б) комбинированные жесты, образованные сложением ручных и пальцевых знаков; в) унифицированные жесты из международного фонда жестов.
2. Через расширение числа слов (опосредствованно): а) применение системы гнездования (family of words): лексической (работа, рабочий, работать... и т. п.), синонимической (значительный, крупный и т. д.); б) введение системы ссылок (абсолютный – см. полный и др.).
Благодаря принятой системе общий объем контейнера данных (мимического словаря) программно-аппаратного комплекса фактически и потенциально включает в себя обширный словарный состав языка (в соответствии с рис. 6 и 7).
Рис. 6. Выбор файлов словарей
Таким образом, изучение мимической лексики, собранной в про- граммно-аппаратном комплексе, обеспечивает свободное владение жесто-мимической речью и – при использовании дактилологии – квалифицированный перевод языка слов на мимику.
Структура статей словаря однотипна: речевой жест (в иллюстрации) – словесное обозначение – описание – пример употребления. Иллюстрации показывают наиболее характерные положения рук при воспроизведении речевого жеста, стрелки – направление и пределы движения, которые выбираются из соответствующих контейнеров данных определенной группы терминов (в соответствии с рис. 8 и 9).
23
Рис. 7. Диалоговое окно контейнера данных
Рис. 8. Работа с контейнером данных
24
Рис. 9. Выбор группы терминов
С целью сокращения листажа не даются иллюстрации к общим жестам (вон, горсть и т. п.), указывающим жестам (брови, волосы, глаза и т. д.) и в случаях ссылок (адекватный – см. соответствующий и др.).
Речевой жест обозначается словом или группой слов, для которых он является аналогом (в соответствии с рис. 10 и 11).
Рис. 10. Пример выполнения речевого жеста
25
Рис. 11. Покадровое представление жеста «Демократ»
В гнезда родственных, однокоренных слов не собраны уменьшительные, увеличительные формообразования (альбомчик, бабуля и т. д.), названия лиц женского пола (барин – барыня, верблюд – верблюдица), возвратные формы, если они не имеют жестового аналога (нет: веселиться, возрождаться; но есть: влюбиться, воздержаться). Все словесные обозначения приводятся в начальной форме (август, а не августе, августом и т. д.).
Учитывая многозначность слова, указывается, в каком именно значении применяется данный жест (например, активный – в значении «деятельный» и т. д.). В тех случаях, когда для каждого из различных значений слова имеется жестовый аналог, все они обязательно приводятся (автомат: 1. Станок, выполняющий работу с помощью механизма... 2. Аппарат, работающий с помощью внутреннего механизма...
3. Род стрелкового оружия... и т. п.). Дублирующие жесты, соответствующие одному слову, сопровождаются знаком унифицированного жеста – *.
В словарь не включены: терминология, необходимая для узкого круга читателей; диалектные слова и местные речевые жесты; жаргонная и вульгарная лексика; сложносокращенные и сложносоставные слова, обозначаемые сложением двух и более речевых жестов; имена собственные (кроме географических названий, обозначающих части света и страны); архаизмы, вышедшие из употребления в жестомимической речи. Описание дается для всех жестов, кроме общих. В комплексе отражены различия в описаниях формулировки «дактилируется знак...» и «рука, сложенная как при показе буквы...». В первом случае дактильный знак – компонент речевого жеста, втором – применяется для краткости описания. Ряд обозначенных слов, чтобы избежать двойного описания и иллюстрирования, приводится в ссылках, которые вызываются через диалоговое окно «Материалы» (в соответствии с рис. 12).
26
Рис. 12. Диалоговое окно работы со ссылками
Программно-аппаратный комплекс обучения русскому жестовому языку предоставляет обучающемуся возможность проверить свои знания, навыки и умения использовать тот или иной жест в конкретной смысловой интерпретации с помощью подпрограммы Тест (в соответствии с рис. 13 и 14).
Рис. 13. Диалоговое окно проверки знаний
27
Рис. 14. Диалоговое окно создания теста
Словарь составлен на основе лингвистических исследований и предназначен для широкого доступа к всестороннему изучению жестового языка как глухими и слабослышащими, так и слышащими.
Основные результаты разработки.
1.Программная оптимизация хранения видеоматериала в одном файле.
2.Разработан редактор базы данных, который позволяет выполнять редактирование материалов: создание папок, вставку/замену/ удаление видеофайлов/фрагментов текста/комментариев.
3.В новой версии предусмотрена модульная компоновка материалов в виде библиотек.
4.Редактор базы данных содержит встроенный редактор тестов, позволяющий использовать видеофрагменты.
5.Есть функция, позволяющая подключать учебные материалы в формате MHT.
6.Подготовлена базовая библиотека.
Рассмотрим более подробно компьютерный сурдопереводчик.
Управление голосом процесса сурдоперевода. Распознавание речи в компьютерном сурдопереводчике производится с помощью системы «Горыныч», являющейся русификацией известной программы фирмы
Dragon Systems.
Вызов «Горыныча» осуществляется программой Voicebar.exe (в соответствии с рис. 15).
28
Рис. 15. Система «Горыныч»
Общее число слов, заложенных в систему, – около 10 000, которые можно также вводить дополнительно. Требуется, однако, достаточно трудоемкая настройка на голос пользователя (примерно одна минута на одно слово).
Управление голосом программой «Сурдопереводчик» осуществляется голосовыми командами, введенными в «Горыныч»: «Переводить с голосом», «Переводить тихо», «Стереть все» и т. п. С указанными командами связан код, имитирующий нажатие управляющих кнопок (в соответствии с рис. 16) в программах «Горыныч» и «Сурдоперевод-
чик» (Translate.exe).
Команды имитации нажатия управляющих кнопок программ
Рис. 16. Управляющий код
29
Возможны два режима управления:
пользователь системы наговаривает отдельные слова (с небольшой паузой между ними), а затем подает команду на сурдоперевод;
синхронный перевод.
Отметим трудности, сдерживающие компьютерный сурдоперевод речи:
отсутствие систем непрерывного распознавания русской речи;
задержки при синхронном переводе, так как слова, переводимые дактильной азбукой, имеют большую длительность, чем при произношении на естественном языке.
Состав и структура файлов баз данных. Взятая за основу база данных состоит из двух основных частей. Первая часть содержит единственный файл видеожестов (Temp.avi), а вторая должна обеспечивать не только хранение данных, но и управление первой частью БД, т. е. содержать информацию о местонахождении и длине каждого отдельного видеофильма-жеста, близости синонимов и т. п.
Имеются два альтернативных пути реализации первой части БД: в виде самостоятельных видеофайлов-жестов и в виде единого файла. В первом случае преимущество состоит в упрощении базы данных, а также в облегчении «переносимости» частей БД (например, для демонстрации). Этих удобств не предоставляет второй метод, но он обеспечивает необходимый для перевода темп. Поскольку одной из главных целей было обеспечение плавного перевода текста, достигаемого путем использования высокопроизводительной техники и оптимизации алгоритмов решения задачи, то на основе проведенной оценки времени создания и показа видеофильма перевода сделан вывод, что метод, использующий единый (склеенный) видеофильм, намного эффективнее метода отдельных видеофильмов-жестов (в 1,5–2 раза). Это объясняется тем, что в первом случае не затрачивается время на поиск, открытие и закрытие каждого отдельного видеофильма-жеста. Данное обстоятельство еще более очевидно при использовании менее производительных машин, у которых процессы поиска, открытия и закрытия происходят еще медленнее.
Кроме базы слов и жестов реляционная база данных содержит следующие файлы (базы): окончаний; связок слов с окончаниями; связок слов с синонимами; связок слов в словосочетаниях; сокращений; сохраняемую структуру начальных установок.
Для полей, служащих для связи с другими базами, созданы индексы, которые позволяют снизить время поиска в базе данных, а также
30