- •Министерство образования и науки российской федерации
- •Оглавление
- •Список рисунков
- •Введение
- •Основы работы со средой математического моделирования МаtLab
- •История создания и развития системы MatLab
- •Интерфейс пользователя
- •Типы данных в системе MatLab
- •Переменные в системе MatLab
- •Арифметические и логические операции в системе MatLab
- •Массивы и матрицы в системе MatLab
- •Использование знака «:» и множественной индексации в системе MatLab
- •Операции над матрицами в системе MatLab
- •Встроенные функции в системе MatLab
- •Графические возможности системы MatLab
- •Изменение свойств линий и оформление графиков
- •Графики функций двух переменных
- •Вывод нескольких графиков на одни оси
- •Вывод нескольких графиков в одном графическом окне
- •Работа со звуковыми файлами в системе MatLab
- •Считывание данных из wav-файлов
- •Запись данных в wav-файл
- •Воспроизведение звуковых сигналов
- •Запись звуковых сигналов
- •Лабораторная работа №1. Исследование внутренней структуры речевого сигнала
- •Методические указания к лабораторной работе
- •Исследование структуры и временных характеристик речевых сигналов
- •Ручная сегментация исследуемой фонограммы
- •Определение фонетического состава сегментов исследуемого слова
- •Лабораторная работа №2. Исследование спектральных свойств речевого сигнала
- •Методические указания к лабораторной работе
- •Комментарии по оформлению отчета к лабораторной работе
- •Программа анализа спектров фонограмм «Спектр» (версия 4)
- •Назначение программы
- •Функциональные возможности программы
- •Лабораторная работа №3. Исследование корреляционных свойств речевого сигнала
- •Методические указания к лабораторной работе
- •Комментарии к оформлению отчета по лабораторной работе
- •Программа анализа корреляционных функций «Коррелограмма»
- •Назначение программы
- •Предварительный этап работы с фонограммой
- •Порядок работы в программе «Коррелограмма»
- •Дополнительные возможности по работе с программой
- •Лабораторная работа №4. Исследование vad-алгоритма
- •Методические указания к лабораторной работе
- •Комментарии по оформлению отчета к лабораторной работе
- •Исследование алгоритма vad в программе «Коррелограмма»
- •Лабораторная работа №5. Исследование методов оценки основного тона речи
- •Методические указания к лабораторной работе
- •Лабораторная работа №6. Моделирование алгоритмов обработки речи
- •Методические указания к лабораторной работе
- •Список индивидуальных заданий
- •Вопросы для самоподготовки
- •Лабораторная работа №1
- •Лабораторная работа №2
- •Лабораторная работа №3
- •Лабораторная работа №4
- •Лабораторная работа №5
- •Лабораторная работа №6 (Индивидуальные задания)
- •Список литературы
- •Приложение аСписок литературы и web-ресурсы по «Речевым технологиям» и среде математического моделирования «MatLab»
- •Список литературы по «Речевым технологиям»
- •Отечественная литература
- •Общетеоретические вопросы
- •Прикладная фонетика
- •Синтез речи
- •Психоакустика и физиология речи
- •Цифровая связь (телефония)
- •Зарубежная литература
- •Web – ресурсы
- •Список литературы по среде математического моделирования «MatLab»
- •Приложение б Современные направления научно-исследовательских работ кафедры «Бортовых радиоэлектронных систем в области разработки систем обработки речи
- •Основные области применения разрабатываемых алгоритмов
- •Многоуровневая временная сегментация речевых сигналов
- •Модификация фонограмм
Воспроизведение звуковых сигналов
Воспроизведение звуков в системе MatLab осуществляется с помощью следующих функций:
1) sound (y, Fs, bits);
% функция воспроизведения вектора (2-х столбчатой матрицы) с частотой дискретизации Fs (Fs =8192Гц, по умолчанию) и числом бит на отсчет bits (bits =16, по умолчанию)
2) soundsc (y, Fs, bits, s_lim); % sc-sound scaled
s_lim=[s_low, s_high]
% диапазон значений для преобразования к интервалу: -1…
3) wavplay (y, Fs, ‘mode’);
где параметр mode может принимать следующие значения:
а) sync - функция возвращает управление интерпретатору MatLab, после окончания звука
б) async - функция возвращает управление интерпретатору MatLab, не дожидаясь окончания звука.
Примечание 1: по умолчанию Fs=11025 , mode=async
Примечание 2: в async – режиме можно работать в системе MatLab, не дожидаясь окончания звучания звука.
Запись звуковых сигналов
Запись звуков в системе MatLab осуществляется с помощью следующей функции:
y=wavrecord(n, Fs, ch, ‘dtype’);
где n – число записываемых отсчетов,
Fs – частота дискретизации,
ch – число каналов записи,
dtype – тип записываемых данных:
1) double – 16-битовая запись, -1…1, 8-байтовый формат с плавающей точкой,
2) single – 16-битовая запись, -1…1, 4-байтовый формат с плавающей точкой,
3) int16 – 16-битовая запись, -32768…32767, 2-байтовый формат целочисленный,
4) uint – 8-битовая запись, 0…255, 1-байтовый формат целочисленный, (0=128).
Примечание: по умолчанию запись осуществляется со следующими параметрами: Fs=11025, ch=1, ‘dtype’=‘double’.
Лабораторная работа №1. Исследование внутренней структуры речевого сигнала
Цель работы: анализ фонетической структуры слов русской речи.
Методические указания к лабораторной работе
В данной лабораторной работе студенту предлагается произвести фонетический анализ структуры речевого сигнала с помощью ее ручной сегментации. Работа выполняется на программе «Sound». Описание программы приведено ниже.
Результаты исследований оформляются в редакторе «Word» с использованием программ «ACDSee», «Photoshop».
Исходные фонограммы индивидуальны для каждого студента, для идентификации работы предлагается использовать фонограммы собственных фамилий или порядковые номера студентов по списку, возможно предоставление фонограммы преподавателем.
(Примечание: необходимо использовать фонограммы с частотой временной дискретизации 22050 Гц и разрядностью аналого-цифрового преобразования 16 разрядов).
Исследование структуры и временных характеристик речевых сигналов
Исследования и оформление результатов проводятся с использованием программ «Sound», «ACDSee», «Photoshop».
Ручная сегментация исследуемой фонограммы
Разделить исследуемую фонограмму на временные сегменты:
вокализованные (В-сегменты),
взрывные сегменты (Вз-сегменты),
шумовые сегменты (Ш-сегменты),
паузы (П-сегменты).
Для разделения фонограммы необходимо использовать программу «Sound».
Примеры разделения фонограммы на сегменты разных типов приведены на рис.2.1. и 2.2. Вокализованные сегменты разбиваются на кортежи кластеров (группы ОТ-кластеров со «схожими» характеристиками). ОТ-кластер соответствует длительности одного элементарного импульса возбуждения голосового аппарата.
В данном пункте исследований необходимо произвести анализ временных характеристик речевых сигналов, оценить ряд их временных и амплитудных параметров. Для этого по осциллограмме нужно определить и зафиксировать в отчете:
максимальное число уровней квантования, соответствующее каждому временному сегменту,
рассчитать число «активных» двоичных разрядов, требуемых для представления соответствующих временных сегментов.
