Постановка задачі

1. Аналіз існуючих рішень щодо побудови голосового інтерфейсу.

2. Дослідження процесу розпізнавання голосових команд в основі якого застосовуються приховані марківські моделі.

3. Модифікація методики оцінювання ефективності з метою її використання з голосовою складовою.

4. Реалізувати програмні додатки, які для розпізнавання голосових команд використовують приховані марківські моделі, тобто вибрати інструментальну платформу, розробити вимоги до програм та інструкції користувача, описати розробку програм з голосовим інтерфейсом.

5. Провести експериментальні дослідження у розроблених програмних додатках, які використовують інтерфейс з голосовою складовою для виявлення ефективності застосування прихованих марківських моделей.

Розділ 1 аналіз шляхів налагодження інтерфейсу користувача з програмними додатками

1.1 Існуючі технології інтерфейсів, критерії та оцінка їх ефективності

Інтерфейс (від англ. interface – поверхня розділу, перегородка) - сукупність засобів і методів взаємодії між елементами однієї системи. Засіб сполучення пристроїв обчислювальної техніки (апаратний інтерфейс); організація взаємодії людини і комп'ютерної програми (програмний інтерфейс) [23,C.12].

Основне завдання інтерфейсу – сховати від користувача технічні деталі й складності, що стосуються внутрішньої роботи системи, зробити спілкування із системою простим і зрозумілим навіть для непідготовленого користувача [9].

Інтерфейс користувача (user interface) – різновид інтерфейсів, в якому одна сторона представлена людиною (користувачем), інша – машиною (пристроєм). Він являє собою сукупність засобів і методів, за допомогою яких користувач взаємодіє з різними машинами і пристроями. Це програмне середовище, яке представлене користувачеві з ціллю ефективного управління апаратними засобами комп'ютера, реалізації технічних можливостей комп'ютера або комп'ютерної мережі [23, C.12].

Інтерфейс користувача комп'ютерного додатка включає:

• засоби відображення інформації, що відображається інформацію, формати і коди;

• командні режими, мова «користувач-інтерфейс »;

• пристрої та технології введення даних;

• діалоги, взаємодія і транзакції між користувачем і комп'ютером, зворотний зв'язок з користувачем;

• підтримку прийняття рішень у конкретній предметній області;

• порядок використання програми і документацію на неї[29].

Набір прийомів взаємодії користувача з додатком називають інтерфейсом користувача. Під додатком розуміється пакет прикладних програм для певної області застосування і споживання інформації.

Інтерфейс користувача включає три поняття:

• спілкування додатка з користувачем;

• спілкування користувача з додатком;

• мову спілкування, яка визначається розробником програмного додатка[6, 288c].

Виділяють наступні види інтерфейсів:

1) Текстовий інтерфейс користувача, зокрема інтерфейс командного рядка.

При технології командного рядка як способу введення інформації зазвичай служить клавіатура, а дисплей засобом виведення. Команди набираються в командному рядку.

При пакетній технології спочатку накопичуються дані, і формується пакет даних, а потім пакет послідовно обробляється низкою програм. Недоліки цього режиму – низька оперативність прийняття рішень і відособленість користувача від системи.

2) Графічний інтерфейс. В цьому інтерфейсі машині подаються команди через графічні образи, використовуючи для введення інформації клавіатуру та мишку.

На сьогоднішній день існують наступні інтерфейси цього виду:

1. Простий графічний інтерфейс;

2. Віконний інтерфейс;

3. WIMP-інтерфейс;

4. Веб-орієнтований інтерфейс;

5. Масштабований інтерфейс користувача.

3) SILK-інтерфейс (Speech – мова,  Image – образ, Language – мова, Knowlege – знання). Комп'ютер знаходить для себе команди, аналізуючи людську поведінку.

При голосовій технології команди подаються голосом шляхом проголошення спеціальних зарезервованих слів – команд.

При біометричній технологіії людина постає як сукупність ознак поведінки. Картинка зчитується з цифрової відеокамери, а потім за допомогою спеціальних програм розпізнавання образів з цього зображення виділяються команди.

Про технологію семантичного інтерфейсу відомо вкрай мало. Схоже, що вона тісно пов'язана з штучним інтелектом і подібна зі всіма підвидами SILK та іншими видами теж. Можливо, що у зв'язку з важливим військовим значенням цих розробок ці напрямки були засекречені. (4)

На сьогоднішній день існують наступні інтерфейси цього виду:

1. Жестовий інтерфейс

2. Голосовий інтерфейс

3. Матеріальний інтерфейс користувача

4. Сензитивні інтерфейси

5. Тактильні інтерфейси

Далі більш детально їх розглянемо.

1. Текстовий інтерфейс користувача

Текстовий інтерфейс користувача (англ. text user interface, TUI; також Character User Interface, CUI) – різновид інтерфейсу користувача, що використовує при введенні-виведенні і представлені інформації виключно набір букво-цифрових символів і символів псевдографіки. Характеризується малою вимогливістю до ресурсів апаратури введення-виведення (зокрема, пам'яті) і високою швидкістю відображення інформації, тому широко використовувався на початковому етапі розвитку обчислювальної техніки. Також, його різновид –інтерфейс командного рядка, має окремі переваги перед графічним інтерфейсом. Тому програми, засновані на текстовому інтерфейсі користувача, мають деяке поширення до цього часу, особливо в специфічних сферах і на малопотужному обладнанні.

У простому випадку текстовий інтерфейс користувача використовує інтерфейс командного рядка, однак багато програм за допомогою інтерактивних елементів створюють більш дружній інтерфейс, що наближається по зручності до графічного. У текстовому інтерфейсі реалізовані всі базові елементи інтерфейсу, пізніше перенесені в графічний інтерфейс – меню (як список, так і випадні), кнопки, радіо-кнопки, чек-бокси, смуги прокрутки і т.д. Багато програм реалізовували розвинену віконну систему, деякі мали змінні скіни (наприклад, DOS Navigator) і підтримували різні пристрої інтерактивної взаємодії, такі як миша, джойстик, світлове перо.

Командний інтерфейс називається так тому, що в цьому виді інтерфейсу людина подає "команди" комп'ютеру, а комп'ютер їх виконує і видає результат людині. Командний інтерфейс реалізований у вигляді пакетної технології та технології командного рядка[11].

На пристрої-консолі, яке друкувало текст на папері, інтерфейс командного рядка був єдиним можливим. На відеотерміналах інтерфейс командного рядка застосовується з таких причин:

• невеликий витрата пам'яті в порівнянні з системою меню;

• у сучасному програмному забезпеченні є велика кількість команд, багато з яких потрібні вкрай рідко. Тому, навіть в деяких програмах з графічним інтерфейсом застосовується командний рядок: набір команди (за умови, що користувач знає цю команду) здійснюється набагато швидше, ніж, наприклад, навігація по меню;

• природне розширення інтерфейсу командного рядка – пакетний інтерфейс. Його суть в тому, що в файл звичайного текстового формату записується послідовність команд, після чого цей файл можна запустити в програмі, що здобуде такий же (не менший) ефект, як якби ці команди були по-черзі введені в командний рядок. Приклади - .bat-файли в DOS і Windows. Якщо програма повністю або майже повністю може управлятися командами інтерфейсу командної строки і підтримує пакетний інтерфейс, вміле поєднання інтерфейсу командного рядка з графічним надає користувачеві дуже потужні можливості[29].

2. Графічний інтерфейс

Графічний інтерфейс користувача (ГІК), графічний користувацький інтерфейс (ГКІ) (англ. Graphical user interface, GUI) – різновид інтерфейсу користувача, в якому елементи інтерфейсу (меню, кнопки, значки, списки і т.п.), представлені користувачеві на дисплеї, виконані у вигляді графічних зображень. На відміну від інтерфейсу командного рядка, в ГКІ користувач має довільний доступ, за допомогою пристроїв введення (клавіатури, миші і т.п.), до всіх видимих екранних об'єктів (елементів інтерфейсу) і здійснює безпосереднє маніпулювання ними. Найчастіше елементи інтерфейсу в ГКІ реалізовані на основі метафор та відображають їх призначення і властивості, що полегшує розуміння й освоєння програм користувачами.

Далі представлені підвиди цього виду інтерфейсу.

А. Простий графічний інтерфейс, який на першому етапі дуже був схожий на технологію командного рядка з наступними відмінностями:

• при відображенні символів з ​​метою підвищення виразності зображення допускалося виділення частини символів кольором, інверсним зображенням, підкресленням і мерехтінням;

• курсор міг бути представлений деякою областю, виділеної кольором, і охоплювати кілька символів, навіть частину екрану;

• реакція на натискання будь-якої клавіші стала залежати від того, в якій частині екрану знаходиться курсор;

• крім часто використовуваних клавіш, для управління курсором стали використовуватися маніпулятори типу миші і т.п., які дозволяли швидко виділяти потрібну область екрану і переміщувати курсор;

• широке використання кольорових моніторів.

Поява простого графічного інтерфейсу збігається з широким розповсюдженням операційної системи MS DOS. Типовим прикладом його використання є файлова оболочка Нортон Командир і текстові редактори MaltiEdit, ChiWriter, Microsoft Word для DOS та ін.

В. Віконний інтерфейс

Віконний інтерфейс – спосіб організації повноекранного інтерфейсу програми, в якому кожна інтегральна частина розташовується у вікні, власному суб-екранному просторі, що знаходиться в довільному місці «над» основним екраном. Кілька вікон, одночасно розташованих на екрані, можуть перекриватися, перебуваючи «вище» або «нижче» один від одного. Незважаючи на те, що найбільш природним для віконного інтерфейсу є графічний режим, основні його елементи можна застосувати й у текстовому режимі, де він застосовується в рівній мірі. Процедури підтримки віконного інтерфейсу покликані відмальовувати екран з розташованими «поверх нього» вікнами і розподіляти введення інформації користувачем між ними (при існуванні кількох рівноправних вікон введення інформації користувачем здійснюється в те, яке в даний момент є активним). Вікно зазвичай має прямокутну форму, з обрамленням та / або кольором фону, відмінним від кольору основного екрану. При необхідності вікно має заголовок і органи управління[29].

С. WIMP-інтерфейс (Window – вікно, Image – образ, Menu – меню, Pointer – покажчик). Хоча і в цьому інтерфейсі машині подаються команди, але це робиться "безпосередньо", через графічні образи.

WIMP-інтерфейс, з'явився другим етапом розвитку графічного інтерфейсу, який характеризується такими особливостями:

• вся робота з програмами, файлами і документами відбувається у вікнах;

• програми, файли, документи, пристрої та інші об'єкти представляються у вигляді значків (іконок), які при відкритті перетворюються на вікна;

• всі дії з об'єктами здійснюються за допомогою меню, яке стає основним елементом управління;

• маніпулятор виступає в якості головного засобу керування[6, 288c.].

Однією з вимог до хорошого графічному інтерфейсу програмної системи є концепція «роби те, що я маю на увазі" або DWIM (англ. Do What I Mean). DWIM вимагає, щоб система працювала передбачувано, щоб користувач заздалегідь інтуїтивно розумів, яку дію виконає програма після отримання його команди[2].

4. Веб-орієнтований інтерфейс

Веб-додаток – клієнт-серверний додаток, в якому клієнтом виступає браузер, а сервером – веб-сервер. Логіка веб-додатків розподілена між сервером та клієнтом. Зберігання данних здійснюється, переважно, на сервері, обмін інформацією відбувається по мережі. Одним із переваг такого підходу є той факт, що клієнти не залежать від конкретної операційної системи користувача, тому веб-додатки є міжплатформенними сервісамі.

Істотна перевага побудови веб-додатків для підтримки стандартних функцій браузера заключається в тому, що функції повинні виконуватися незалежно від операційної системи даного кліента. Замість того щоб писати різні версії для Microsoft Windows, Mac OS X, GNU / Linux і інших операційних систем, додаток створюється один раз для довільно обраної платформи і на ній розвертається. Однак різна реалізація HTML, CSS, DOM і інших специфікацій в браузерах може викликати проблеми при розробці веб-додатків і подальшій підтримці. Крім того, можливість користувача налаштовувати багато параметрів браузера (наприклад, розмір шрифту, кольору, відключення підтримки сценаріїв) може перешкоджати коректній роботі додатку. Інший (менш універсальний) підхід полягає у використанні Adobe Flash або Java-аплетів для повної або часткової реалізації інтерфейсу користувача. Оскільки більшість браузерів підтримують ці технології (як правило, за допомогою плагінів), Flash або Java-додатки можуть виконуватись з легкістю. Так як вони надають програмісту більший контроль над інтерфейсом, вони способні обходити багато несумісностей в конфігураціях браузерів, хоча несумісність між Java чи Flash реалізаціями на стороні клієнта може призводити до різних ускладнень.

Веб-додаток отримує запит від клієнта і виконує обчислення, після цього формує веб-сторінку та відправляє її клієнту по мережі з використанням протоколу HTTP. Сам веб-додаток може виступати в ролі клієнта інших служб, наприклад, бази даних або іншого веб-додатку, розташованого на сервері..

E. Масштабований інтерфейс користувача

ZUI (англ. Zooming User Interface або Zoomable User Interface– масштабований інтерфейс користувача) – графічний інтерфейс користувача, де робочий простір являє собою більшу чи необмежену площину, на якій розташовані основні елементи, властивості і вміст яких стають доступні у міру їх «наближення» шляхом збільшення. Подальше наближення вмісту робить доступним більш глибокі рівні.Таким чином, наприклад, маленька кнопка може мати на собі, крім основного надпису або значка, ще й цілу інструкцію по використанню, яку може бути не видно при розмірі кнопки в 1 сантиметр, але яку можна з легкістю прочитати, якщо збільшити зображення кнопки[6, 288c.].

2. SILK-інтерфейс (Speech – голос,  Image – образ, Language – мова, Knowlege – знання). Команди у цьому виді інтерфейсу подаються за допомогою голосу, жестів і т.п.

Цей вид інтерфейсу включає наступні підвиди:

1. Жестовий інтерфейс

Жестовий інтерфейс – підмножина системи введення інформації для графічного інтерфейсу користувача, в якій використовується спеціальне обладнання, або пристрої введення, відмінні від клавіатури, або використовуються сенсорні екрани і дозволяє емулювати клавіатурні команди (або поєднання клавіш) за допомогою жестів. Основною мотивацією розробки таких інтерфейсів є поліпшення ергономічності керування, з відмовою від звичного для комп'ютерних програм меню програми.

Подібний інтерфейс може бути реалізований як за допомогою пристроїв координатного введення з можливістю зчитування координати однієї точки дотику (миша або графічний планшет), так і таких, в яких є можливість зчитування координат більш ніж однієї точки (наприклад, мультидотик, мультитач) – сенсорні екрани і панелі. Останні стали широко застосовуватися в інтерфейсах безлічі сучасних смартфонів з сенсорним екраном (наприклад, iPhone) і ноутбуків (як з тачпадом, так з сенсорним екраном) і інших мобільних пристроїв.

У разі для пристроїв з великим розміром екрана , наприклад, планшетних ПК, жести є стандартними функціями інтерфейсу управління та пір'яного введення. У кишенькових пристроїв, на відміну від класичних графічних інтерфейсів користувача, малі фізичні розміри екрану, і тому потрібна менша точність позиціонування, ніж для доступу до традиційних елементів графічного інтерфейсу – натискання «кнопки» або вибору пункту меню.

B. Голосовий інтерфейс

З технологічної точки зору весь інформаційний процес тут розділяється на декілька послідовних етапів, на кожному з яких використовується своя базова технологія. Такими етапами в даному випадку є:

• Аналого-цифрове перетворення мовного сигналу і введення отриманої цифрової інформації в пам'ять комп’ютера. Базовою технологією тут є аналого-цифрове перетворення, а реалізується ця технологія, як правило, апаратним способом за допомогою спеціальних електронних пристроїв, характеристики яких заздалегідь оптимізовані і добре відомі проектувальникам.

• Виділення в складі цифрової мовної інформації окремих фонем тієї мови, на якому проголошувалася мова, і ототожнення їх з типовими "образами" цих фонем, що зберігаються в пам'яті обчислювальної системи. Базовою технологією тут є технологія розпізнавання.

• Перетворення голосової інформації в текстову форму і здійснення процедур її морфологічного та синтаксичного контролю. Базовими технологіями тут є процедури морфологічного та синтаксичного контролю тексту, сформованого на основі аналізу мовної інформації, та внесення в нього необхідного коректування, пов'язаного з виправленням помилок[23].

C. Матеріальний інтерфейс користувача

Матеріальний інтерфейс користувача – це різновидність інтерфейсу користувача, в якому взаємодія з цифровою інформацією відбувається за допомогою матеріальної конструкції. Матеріальні інтерфейси користувача,такі як матеріальні біти – це спроба надати цифровій інформації фізичний облік, роблячи біти відчутними і тому доступними безпосередньо. При цьому переслідується мета нерозривно зв’язати такі різні сутності, як світи бітів і атомів. Прикладом матеріального інтерфейсу користувача можна назвати кульовий автовідповідач Дюрелла Бішопа. Кожна кулька відповідає повідомленням, залишеному на автовідповідачі. Переміщення кульки в спеціальну виїмку відтворює пов'язане з ним повідомлення або викликає того хто дзвонив. Інший приклад – система Топобо. Блоки її нагадують елементи конструктора LEGO, які можуть з'єднуватися разом, але, в той же час, переміщатися самостійно за рахунок моторчиків. Можна тягнути, штовхати або повертати ці елементи; вони запам'ятають ці дії і здатні їх відтворити. Інша реалізація дозволяє користувачеві матеріальним пером намалювати малюнок на столі системи. Використовуючи попередньо запрограмовані «жести», можна клонувати картинку або розтягувати по двох осях, як у програмі малювання[29].

4. Сензитивні інтерфейси

Сензитивний інтерфейс – тип інтерфейсу, що дозволяє користувачеві управляти пристроєм, завдяки натисненню на екран пальцем або ручкою-стилусом.

У цьому інтерфейсі використовується популярна технологія Multi-Touch, її можна застосовувати до таких пристроїв як сенсорні панелі та екрани, що розпізнають кілька торкань одночасно.

Дотик по екрану пальцем або ручкою-стилусом – є тач, а дотик декількома пальцями одночасно – мульти-тач. На сьогоднішній день з технічної точки зору існує безліч абсолютно різних підходів до реалізації сенсорних поверхонь.

Є два види екранів: резистивний і ємнісний.

Резистивна технологія відносно стара, яка стає вже неактуальною. Вони використовуються в тач-скронях, КПК і т.п. У цій технології користувач може використовувати стилус для більш точного натискання або будь-який предмет, що нагадує стилус. Ця технології має безліч недоліків, таких як невисока чутливість, механічний знос, відносно великі фізичні розміри, схильність до випадкових дотиків.

Ємкісна технологія набагато ефективніше резистивної. Ємнісний підхід більш точний і більш довговічний. Так само технологія дозволяє розпізнавати кілька торкань одночасно, але реагує тільки на людські пальці (та інші об'єкти з подібними електричними характеристиками).

Використання класичних стилусів, або підручних засобів в їх якості – неможливо, але на ринку присутні спеціальні стилуси, по суті, імітують властивості людського пальця.

До інших менш поширеним технологій відносяться інфрачервоне позиціонування, розпізнавання поверхневих акустичних хвиль, оптичне розпізнавання, дисперсія сигналу.

E. Тактильні інтерфейси

Тактильний інтерфейс користувача – це спосіб користувачеві тактильно відчути те, що зображено на екрані. Замість вібрації, часто застосовується в апаратах з сенсорним управлінням, для створення ілюзії змін на поверхні екрана. В останні роки тактильні технології стали популярні в дослідженнях, присвячених проблемам штучного інтелекту і віртуальної реальності. Почуття дотику виявляється найважливішим компонентом для відтворення віртуального середовища, який повинна викликати повну ілюзію реальності.

На даний час існує три тактильні технології:

• обертовий ексцентричний маховик;

• лінійний резонансний привід;

• п'єзоприводи.

Обертовий ексцентричний маховик – найстаріша тактильна технологія на ринку. Пристрій з тактильною функцією складається з маховика зі зміщеною віссю, що при обертанні створює всенаправлені вібрації. Ці коливання виникають в стільниковому телефоні в режимі вібродзвоника.

Для реалізації більш сучасної тактильної технології використовується лінійний резонансний привід. Він являє собою електромагніт з обмоткою і прикріпленою до нього пружиною.

П'єзоелектричні приводи складаються з плівки – датчика, який перетворює електричну напругу в механічні коливання. Ці датчики застосовуються також у системах збору енергії і в динаміках[8].

Далі розглянемо цілі та критерії оцінки ефективності інтерфейсу користувача.

З точки зору ергономіки (науку про ефективну взаємодію людини і техніки), найважливіше в додатку – створити такий користувацький інтерфейс, який зробить роботу ефективною і продуктивною, а також забезпечить задоволеність користувача від роботи з програмою.

Ефективність роботи означає забезпечення точності, функціональної повноти і завершеності при виконанні виробничих завдань на робочому місці користувача. Ефективність роботи відображає обсяг витрачених ресурсів при виконанні завдання, як обчислювальних, так і психофізіологічних.

Створення інтерфейсу користувача має бути націлене на показники ефективності людино-машинної системи, які можна виміряти кількісно і об'єктивно:

• продуктивність праці – визначається середньою кількістю вирішених завдань,  отриманими за результатами роботи групи користувачів;

• точність роботи (кількість помилок) – показник точності включає відсоток помилок, які зробив користувач (число помилок набору, варіанти помилкових шляхів або відгалужень, число неправильних звернень до даних, запитів тощо);

• функціональна повнота визначається тим, якою мірою вироблений користувачем продукт (результат роботи), відповідає пред'явленим до нього вимогам; відображає ступінь використання первинних і оброблених даних, списку необхідних процедур обробки або звітів, число пропущених технологічних операцій або етапів при виконанні поставленої задачі для користувача. Цей показник може визначатися через відсоток застосування окремих функцій в роботі;

• завершеність роботи – описує ступінь виконання виробничого завдання середнім користувачем за певний термін або період, частку (або довжину черги) незадоволених (необроблених) заявок, відсоток продукції, що знаходиться на проміжній стадії готовності, а також число користувачів, які виконали завдання у фіксовані терміни;

• простота освоєння – визначається часом освоєння інтерфейсу, виходу на продуктивний рівень.

Задоволеність користувача можна оцінити шляхом проведення опитування (експертної оцінки) користувачів і за ступенем стресу, втоми, емоційного стану – по фізіологічним і психологічним показниками.

Задоволеність користувача від роботи тісно пов'язана з комфортністю його взаємодії з додатком, і сприяє збереженню професійних кадрів на підприємстві «Замовника» за рахунок привабливості роботи на даному робочому місці.

Вимоги до зручності та комфортності інтерфейсу зростають зі збільшенням складності робіт і відповідальності користувача за кінцевий результат. Висока задоволеність від роботи досягається в разі:

• прозорої для користувача навігації і цільової орієнтації в програмі. Головне, щоб було зрозуміло, куди йдемо, і яку операцію програма після цього кроку зробить;

• ясності і чіткості розуміння користувачем текстів та значення ікон. У програмі повинні бути ті слова і графічні образи, які користувач знає чи зобов'язаний знати за характером його роботи або займаної посади;

• швидкості навчання при роботі з програмою, для чого необхідно використовувати переважно стандартні елементи взаємодії, їх традиційне або загальноприйняте розташування;

• наявності допоміжних засобів підтримки користувача (пошукових, довідкових, нормативних), в тому числі і для прийняття рішення у невизначеній ситуації (введення за замовчуванням, обхід «зависання» процесів тощо).

Зручний інтерфейс допомагає користувачеві впоратись з втомою і напругою при роботі в умовах високої відповідальності за результат[17].