Розділ 4 експериментальні дослідження ефективності голосового інтерфейсу у програмах

Для визначення ефективності використання прихованих марківських моделей у побудові голосової складової інтерфейсу користувача з програмними додатками було спеціально розроблено для даної дипломної роботи 4 програмні додатки. У програмних додатках впроваджена голосова складова, яка використовує приховані харківські моделі для розпізнавання голосових команд. Більш детально ці програмні додатки описані у третьому розділі даної дипломної роботи.

Для оцінки ефективності інтерфейсу людини з системою виділено два основні показники:

• час виконання операцій для досягнення цілей користувача;

• символьна ефективність інтерфейсу.

Розрахунок цих значень дозволить порівняти голосовий інтерфейс, у якому передбачається введення інформації за допомогою голосових команд, графічний інтерфейс, у якому взаємодія користувача з програмою відбувається за допомогою використання клавіатури і миші, та змішаний інтерфейс, у якому використовується змішаний тип введення інформації.

Для розрахунку використовується методика GOMS (модель цілей, об’єктів, методів і правил відбору). Теоретичні відомості щодо методики наведені у першому розділі даної дипломної роботи.

4.1 Програма «Голосовий калькулятор – 1»

Програма «Голосовий калькулятор-1» включає в себе, окрім стандартних методів введення та редагування інформації, 27 голосових команд. На рис.4.1 зображено цей калькулятор, та показано послідовність дій, які повинен виконати користувач для виконання розрахунків.

Рисунок 4.1 – Послідовність дій, які повинен виконати користувач у програмі «Голосовий калькулятор-1», для виконання розрахунків

З малюнку видно, що мінімальна кількість інформації, яку користувач повинен ввести, залежить від того, скільки символів будуть містити значення «А» та «В».

Інформацію вводити можна за допомогою 6 способів, використовуючи:

1. тільки клавіатуру, тобто для переходу між полями використовувати клавішу «Tab»;

2. мишку та клавіатуру;

3. тільки голосові команди;

4. голосові команди та клавіатуру;

5. голосові команди та мишку;

6. голосові команди, мишку та клавіатуру.

Отже, в залежності від значення «А» та «В», які можуть містити від одного символу до, наприклад, 3-х символів кожне, буде відома кількість інформації, яку користувач буде вводити.

Для того, щоб розрахувати середній час, який користувач витрачає на одну голосову команду, було проведено 30 експериментів, в кожному із них користувач вводив послідовно:

1. по 1 символу в поля «А» та «В»;

2. в поле «А» один символ, а в поле «В» два символи, або навпаки;

3. по 2 символи в поля «А» та «В»;

4. в поле «А» два символи, а в поле «В» три символи, або навпаки;

5. по 3 символи в поля «А» та «В».

Результати часу, за який користувач, використовуючи тільки голосові команди, вводить дані та проводить обчислення, представлені в табл.4.1.

Таблиця 4.1 – Час, за який користувач, використовуючи тільки голосові команди, вводить дані та проводить обчислення в програмі «Голосовий калькулятор-1»

№ експерименту	Кількість символів
	По 1 символу	1 та 2 символи	По 2 символи	2 та 3 символи	По 3 символи
1	2	3	4	5	6
1	12,0	14,3	30,2	17,2	41,7
2	8,6	11,1	16,9	17,2	39,7
3	9,2	12,3	21,3	22,5	23,1
4	10,0	11,8	16,6	34,1	22,5
5	11,6	15,0	16,5	18,2	23,1
6	10,1	14,0	15,3	35,1	28,0
7	11,0	15,6	17,4	18,5	32,5
8	11,8	18,0	16,5	30,4	27,7
9	10,0	15,0	24,2	26,8	30,9
10	13,5	12,6	17,9	16,3	21,2
11	9,8	19,0	18,1	23,5	27,8
1 2	14,8	15,1	17,6	26,5	33,7
Продовження таблиці 4.1
1	2	3	4	5	6
13	10,5	14,8	17,8	19,0	27,6
14	9,0	16,0	31,9	27,7	29,1
15	12,9	19,5	23,8	19,8	27,0
16	10,2	22,0	19,6	26,7	25,2
17	12,0	14,0	27,3	29,9	30,4
18	9,0	14,8	16,4	22,6	29,3
19	11,2	15,0	24,6	25,7	23,1
20	15,6	20,3	19,4	29,6	25,4
21	12,0	17,3	20,5	24,2	28,5
22	10,2	14,8	15,4	25,3	32,2
23	11,3	15,6	15,0	20,3	27,9
24	13,8	16,0	17,9	24,0	29,1
25	12,6	16,9	15,3	26,0	25,4
26	14,1	16,8	18,4	21,3	27,6
27	11,5	16,9	16,4	18,2	21,6
28	15,3	18,9	15,2	25,3	29,8
29	12,8	15,3	21,9	26,1	23,0
30	13,5	21,0	21,5	24,1	24,1
Середній час	11,7	16,0	19,6	24,1	27,9

Отже, за допомогою тестування, було зафіксовано час, за який користувач, використовуючи тільки голосові команди, вводить дані та проводить обчислення в програмі «Голосовий калькулятор-1». Було проведено 30 експериментів, в яких користувач вводив різну кількість символів. При введенні по одному символу найкращий результат був 8,6с, а найгірший – 15,6с, середній же результат – 11,7с. При введенні в перше поле одного символу, а в друге – 2, найкращим результат є 11,1с, найгіршим – 22с, середнім – 16,0с. При введенні по два символи в поля найкращий результат – 15,0с, найгірший – 30,2с, середній – 19,6с. При введенні в перше поле двох символів, а в друге три сомволи, одержано найкращий результат – 16,3 с, найгірший – 34,1с, середній – 24,1с. При введенні в поля по три символи одержано найкращий результат., який становить 21,2с, найгірший – 41,7с,середній – 27,9с.

Використовуючи дані з табл.1, розраховано витрати часу на одну голосову команду:

- якщо вводиться по 1 символу в поля «А» та «В», то кількість символів, які вводяться, а отже і кількість голосових команд буде становити три:

- якщо вводиться в поле «А» один символ, а в поле «В» два символи, або навпаки, то кількість символів, які вводяться, а отже і кількість голосових команд буде становити чотири:

- якщо вводиться по 2 символи в поля «А» та «В», то кількість символів, які вводяться, а отже і кількість голосових команд буде становити п’ять:

- якщо вводиться в поле «А» два символи, а в поле «В» три символи, або навпаки, то кількість символів, які вводяться, а отже і кількість голосових команд буде становити шість:

- якщо вводиться по 3 символи в поля «А» та «В», то кількість символів, які вводяться, а отже і кількість голосових команд буде становити сім:

Загальний середній час на одну голосову команду:

Далі будуть використані наступні позначення: К – натискання клавіші, Р – вказівка, Н – переміщення, М – ментальна підготовка, Г – голосова команда. Значення Н=0,4(с), М=1,35(с), К=0,28(с), Р=1,1(с) є загальновідомими. Більш детально методика GOMS описана у 2 розділі даної дипломної роботи.

Використовуючи різні способи вводу даних було проведено 28 експериментів. В табл.4.2 представлено в яких експериментах які способи введення даних застосовувались.

Таблиця 4.2 – Способи введення даних у експериментах

№ експериментів	Способи вводу даних
1,2	тільки клавіатура, тобто для переходу між полями використовувати клавішу «Tab»
3–8	мишка та клавіатура
9–10	тільки голосові команди
11–18	голосові команди та клавіатура
19–22	голосові команди та миша
23–28	голосові команди, миша та клавіатура

Використовуючи методику GOMS, розраховано ефективність інтерфейсів у програмі «Голосовий калькулятор-1», якщо вводиться 2-а двохзначні числа, використовуючи різні способи вводу даних. Результати розрахунків представлені у табл.4.3.

Таблиця 4.3 – Розрахунки ефективності інтерфейсів у програмі «Голосовий калькулятор-1» по методиці GOMS, якщо вводиться 2-а двохзначні числа, використовуючи різні способи вводу даних

№ експерименту	Формули	Витрачений час, с
1	2	3
1	HMKK MK MKK MKMK	9,11
2	HMKK MK MKK MKMK K	9,39
Продовження таблиці 4.3
1	2	3
3	HMKK HMPK HMKK HMPK	10,88
4	HMKK HMPK HMKK HMPK K	10,88
5	HMKK MK MKK HMPK	8,98
6	HMKK MK MKK HMPK	8,98
7	HMKK HMPK HMKK MKMK	11,01
8	HMKK HMPK HMKK MKMK K	11,29
9	МГ МГ МГ	15,93
10	МГ МГ МГ	15,93
11	МНКК МГК МКК МГ	14,84
12	МНКК МГК МКК МГ	14,84
13	МНКК МК МКК МГ	11,16
14	МНКК МК МКК МГ	11,16
15	МГ МК МГ МКМК	15,51
16	МГ МК МГ МКМК К	15,79
17	МГ МК МГ МГ	17,56
18	МГ МК МГ МГ	17,56
19	МГ НМРК МГ НМРК	16,88
20	МГ НМРК МГ НМРК	16,88
21	МГ НМРК МГ МГ	19,06
22	МГ НМРК МГ МГ	19,06
23	МНКК МГ МКК МНРК	12,38
24	МНКК МГК МКК МНРК	12,38
25	МГ МК МГ МНРК	15,38
26	МГ МК МГ МНРК	15,38
27	МГ МНРК МГ МКМК	17,01
28	МГ МНРК МГ МКМК К	17,29

У додатку А представлена більш детальна таблиця з даними ефективності інтерфейсів у програмі «Голосовий калькулятор-1», якщо вводиться два двозначні числа, використовуючи різні способи вводу даних.

З табл.4.3 видно, що найменше затрачається часу у п’ятому та шостому експериментах – по 8,98с. В табл.4.2 зазначено, що в цих експериментах для введення інформації застосовуються миша та клавіатура. Найбільше часу затрачується у 21 та 22 експериментах – по 19,6с. В них для введення інформації застосовуються голосові команди та миша. Середні показники витраченого часу, якщо для взаємодії користувача з програмним додатком використовуються:

1. тільки клавіатура, тобто для переходу між полями використовувати клавішу «Tab» - 9,25с;

2. мишка та клавіатура – 10,34c;

3. тільки голосові команди – 15,93c;

4. голосові команди та клавіатура – 14,80c;

5. голосові команди та миша – 17,97c;

6. голосові команди, мишка та клавіатура – 14,97c.

Використовуючи методику GOMS, розраховано ефективність інтерфейсів у програмі «Голосовий калькулятор-1», якщо вводяться двохзначне та трьохзначне числа, використовуючи різні способи вводу даних. Результати розрахунків представлені у табл.4.4.

Таблиця 4.4 – Розрахунки ефективності інтерфейсів у програмі «Голосовий калькулятор-1» по методиці GOMS, якщо вводяться двохзначне та трьохзначне числа, використовуючи різні способи вводу даних

№ експерименту	Формули	Витрачений час, с
1	2	3
1	HMKK MK MKKК MKMK	9,39
2	HMKK MK MKKК MKMK K	9,67
3	HMKK HMPK HMKKК HMPK	11,16
Продовження таблиці 4.4
1	2	3
4	HMKK HMPK HMKKК HMPK K	11,16
5	HMKK MK MKKК HMPK	9,26
6	HMKK MK MKKК HMPK	9,26
7	HMKK HMPK HMKKК MKMK	11,29
8	HMKK HMPK HMKKК MKMK K	11,57
9	МГ МГ МГ	15,93
10	МГ МГ МГ	15,93
11	МНКК МГК МККК МГК	15,12
12	МНКК МГК МККК МГК	15,12
13	МНКК МК МККК МГК	11,44
14	МНКК МК МККК МГК	11,44
15	МГ МК МГ МКМК	15,51
16	МГ МК МГ МКМК К	15,79
17	МГ МК МГ МГ	17,56
18	МГ МК МГ МГ	17,56
19	МГ НМРК МГ НМРК	16,88
20	МГ НМРК МГ НМРК	16,88
21	МГ НМРК МГ МГ	19,06
22	МГ НМРК МГ МГ	19,06
23	МНКК МГК МККК МНРК	12,94
24	МНКК МГК МККК МНРК	12,94
25	МГ МК МГ МНРК	15,38
26	МГ МК МГ МНРК	15,38
27	МГ МНРК МГ МКМК	17,01
28	МГ МНРК МГ МКМК К	17,29

У додатку Б представлена більш детальна таблиця з даними про ефективність інтерфейсів у програмі «Голосовий калькулятор-1», якщо вводяться двохзначне та трьохзначне число, використовуючи різні способи введення даних.

З табл. 4.4 видно, що при розрахунках ефективності інтерфейсів у програмі «Голосовий калькулятор-1» по методиці GOMS, якщо вводяться двохзначне та трьохзначне числа, використовуючи різні способи вводу даних

найменше витрачено часу у 5 та 6 експериментах – по 9,26с. В табл.4.2 зазначено, що в цих експериментах для введення інформації застосовуються миша та клавіатура. Найбільше часу витрачено у 21 та 22 експериментах – по 19,06с. В яких для введення інформації використовуються голосові команди та миша. Середні показники витраченого часу, якщо для взаємодії користувача з програмним додатком використовуються:

1. тільки клавіатура, тобто для переходу між полями використовувати клавішу «Tab» - 9,53с;

2. мишка та клавіатура – 10,62c;

3. тільки голосові команди – 15,93с;

4. голосові команди та клавіатура – 14,94c;

5. голосові команди та миша – 17,97c;

6. голосові команди, мишка та клавіатура – 15,16c.

Використовуючи методику GOMS, розраховано ефективність інтерфейсів у програмі «Голосовий калькулятор-1», якщо вводяться трьохзначні числа, використовуючи різні способи вводу даних. Результати розрахунків представлені у табл.4.5.

Таблиця 4.5 – Розрахунки ефективності інтерфейсів у програмі «Голосовий калькулятор-1» по методиці GOMS, якщо вводяться трьохзначні числа, використовуючи різні способи вводу даних

№ експерименту	Формули	Витрачений час, с
1	2	3
1	HMKKK MK MKKК MKMK	9,67
2	HMKKK MK MKKК MKMK K	9,95
3	HMKKK HMPK HMKKК HMPK	11,44
4	HMKKK HMPK HMKKК HMPK K	11,44
5	HMKKK MK MKKК HMPK	9,54
6	HMKKK MK MKKК HMPK	9,54
7	HMKKK HMPK HMKKК MKMK	11,57
8	HMKKK HMPK HMKKК MKMK K	11,85
9	МГ МГ МГ	15,93
10	МГ МГ МГ	15,93
11	МНККК МГК МККК МГК	15,40
12	МНККК МГК МККК МГК	15,40
13	МНККК МК МККК МГК	11,72
14	МНККК МК МККК МГК	11,72
15	МГ МК МГ МКМК	15,51
16	МГ МК МГ МКМК К	15,79
17	МГ МК МГ МГ	17,56
18	МГ МК МГ МГ	17,56
19	МГ НМРК МГ НМРК	16,88
20	МГ НМРК МГ НМРК	16,88
21	МГ НМРК МГ МГ	19,06
22	МГ НМРК МГ МГ	19,06
2 3	МНККК МГК МККК МНРК	13,22
Продовження таблиці 4.5
1	2	3
24	МНККК МГК МККК МНРК	13,22
25	МГ МК МГ МНРК	15,38
26	МГ МК МГ МНРК	15,38
27	МГ МНРК МГ МКМК	17,01
28	МГ МНРК МГ МКМК К	17,29

У додатку В представлена більш детальна таблиця з даними про ефективність інтерфейсів у програмі «Голосовий калькулятор-1», якщо вводяться трьохзначні числа, використовуючи різні способи вводу даних.

З табл. 4.5 видно, що при розрахунках ефективності інтерфейсів у програмі «Голосовий калькулятор-1» по методиці GOMS, якщо вводяться два трьохзначні числа, використовуючи різні способи вводу даних найменше витрачено часу у 5 та 6 експериментах – по 9,54с. В табл.4.2 зазначено, що в цих експериментах для введення інформації застосовуються миша та клавіатура. Найбільше часу витрачено у 21 та 22 експериментах – по 19,06с. В яких для введення інформації використовуються голосові команди та миша. Середні показники витраченого часу, якщо для взаємодії користувача з програмним додатком використовуються:

1. тільки клавіатура, тобто для переходу між полями використовувати клавішу «Tab» - 9,81с;

2. мишка та клавіатура – 10,90c;

3. тільки голосові команди – 15,93с;

4. голосові команди та клавіатура – 15,08c;

5. голосові команди та миша – 17,97c;

6. голосові команди, мишка та клавіатура – 15,25c.

Далі у табл.4.6 представлена зведена таблиця розрахунків ефективності різних засобів взаємодії користувача з програмою «Голосовий калькулятор-1».

Таблиця 4.6 – Ефективність різних засобів взаємодії користувача з програмою «Голосовий калькулятор-1»

Спосіб введення даних	Кількість символів
	по 2	2 та 3	по 3
Тільки клавіатура	9,25	9,53	9,81
Клавіатура та мишка	10,34	10,62	10,90
Тільки голосові команди	15,93	15,93	15,93
Голосові команди та клавіатура	14,80	14,94	15,08
Голосові команди та мишка	17,97	17,97	17,97
Голосові команди, мишка та клавіатура	14,97	15,16	15,25

З табл.4.6 видно, що незалежно від кількості введених символів, найкращі показники ефективності, якщо використовується для введення тільки клавіатура. А найгірші - при використанні голосових команд та миші.

Рисунок 4.2 – Ефективність різних типів інтерфейсів з різними способами введення даних у програмі «Голосовий калькулятор-1»

З рис.4.2, на якому представлені результати ефективності різних типів інтерфейсів з різними способами введення даних у програмі «Голосовий калькулятор-1», можна зробити висновок, що найбільш ефективним засобом взаємодії з програмою є використання користувачем тільки клавіатури, і зовсім неефективним є використання сумісно голосових команд та клавіатури.