МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «ТАМБОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ имени Г. Р. ДЕРЖАВИНА»

А. А. Арзамасцев, Н. А. Зенкова

Искусственный интеллект и распознавание образов

Допущено Редакционно-издательским советом ТГУ им. Г. Р. Державина в качестве учебного пособия для студентов, обучающихся по специальностям 010501 – Прикладная математика и информатика и 010503 – Математическое обеспечение и администрирование информационных систем

Тамбов 2010

1

доктор технических наук, профессор, заведующий кафедрой автоматизированного проектирования технологического оборудования Тамбовского государственного технического университета В. А. Немтинов;

доктор технических наук, профессор кафедры информатики и информационных технологий Тамбовского государственного университета имени Г. Р. Державина

И. И. Пасечников

Арзамасцев А. А.

А80 Искусственный интеллект и распознавание образов : учеб. пособие / А. А. Арзамасцев, Н. А. Зенкова ; М-во обр. и науки РФ, ГОУВПО «Тамб. гос. ун-т им. Г. Р. Державина». Тамбов : Издательский дом ТГУ им. Г. Р. Державина, 2010. 196 с.

Пособие написано на основе лекционного и лабораторного курсов, которые один из авторов ведет в Институте математики, физики и информатики ТГУ имени Г. Р. Державина. Оно предназначено для студентов, обучающихся по специальностям «Прикладная математика и информатика» и «Математическое обеспечение и администрирование информационных систем», но может быть также использовано для самостоятельной подготовки студентами других специальностей.

УДК 681.3.07 ББК 32.973.26-018.2.75

©Арзамасцев А. А., Зенкова Н. А., 2010

©ГОУВПО «Тамбовский государственный университет имени Г. Р. Державина», 2010

2

MINISTRY OF EDUCATION AND SCIENCE

OF THE RUSSIAN FEDERATION

STATE EDUCATIONAL INSTITUTION OF HIGHER PROFESSIONAL EDUCATION «TAMBOV STATE UNIVERSITY

named after G. R. DERZHAVIN»

А. А. Arzamastsev, N. А. Zenkova

Artificial Intelligence

and Pattern Recognition

Permitted by the Editorial-Publishing Board of TSU named after G.R. Derzhavin as Course Book for Students Studying the Discipline 010501 – Applied Mathematics and Information Technology and 010503 – Software and Information System Administration

Tambov 2010

3

Recommended for Publishing

by the Editorial-Publishing Board of TSU named after G. R. Derzhavin

Reviewers:

Doctor of Technical Sciences, Professor, Head of the Department of Computer-Aided Design of Technological Equipment of Tambov State Technical University V. А. Nemtinov;

Doctor of Technical Sciences, Professor of Informatics and Information Technology Department of Tambov State University named after G. R. Derzhavin I. I. Pasechnikov

Arzamastsev А. А.

Artificial Intelligence and Pattern Recognition: Course Book / А. А. Arzamastsev, N. А. Zenkova; Ministry of Education and Science of RF, SEIHPE «Tambov State University named after G. R. Derzhavin». Tambov: the Publishing House of TSU named after G. R. Derzhavin, 2010. 196 pp.

Course book has been written on basis of course of lectures and laboratory works which the authors conduct at the Institution of Mathematics, Physics and Information Technology of TSU named after G. R. Derzhavin. It is intended for students studying the disciplines «Applied Mathematics and Information Technology» and «Software and information system administration». It can also be used for self-training of students of other disciplines.

©Arzamastsev А. А., Zenkova N. А., 2010

©SEIHPE «Tambov State University named after G. R. Derzhavin», 2010

4

1.1.Основные понятия и определения …………….………….. 17

1.2.Сферы применения систем ИИ и краткий исторический очерк ................................……...……...……. 19

1.3. Что привело к разработке ИНС? ……………...……...…… 23

1.4.Мозг человека – прототип ИНС ……………...……...……. 25

1.5.Формальный аппарат искусственных нейронных сетей (ИНС) ………………………………………………… 27

1.6.Обучение ИНС ……………………………………………... 31

1.7.Существующие структуры ИНС …..……………………… 37

1.8.Свойства ИНС ……………………………………………… 43

1.9.Проблема представимости в ИНС ………………………... 43

1.10.Выбор структуры ИНС ………………………………….. 47

Литература к части 1 ……………………………………….. 54

2.1.3.Идентификация уровня готовности абитуриентов к обучению в вузе ….……………….. 80

2.1.4.Идентификация уровней готовности студентов к трудовой деятельности ……………….. 94

2.1.5.Другие идеи …………………………………………. 95

2.2.Прогнозирование временных рядов на основе

ИНС-моделей и практические применения ……………… 99

2.2.1.Теоретические основы ……………………………… 100

2.2.2.Программный комплекс и вычислительные эксперименты ..……………………………………… 105

2.3.Системы распознавания речи …………...………………… 107

2.3.1.Существующие подходы …………………………… 108

2.3.2.Подход к построению систем распознавания речи на основе математической модели

органа слуха ….……………………………………… 113

5

2.4.Информационная технология построения экспертной системы (ЭС) с интеллектуальным

ядром на основе искусственных нейронных сетей ……… 120

2.4.1.Области применения экспертных систем и основные достижения ….…………………………… 122

2.4.2.Структура и принципы функционирования традиционных экспертных систем ………………… 126

2.4.3.Технология разработки и условия применения экспертных систем ………………………..………… 129

2.4.4.Инструментальных средства для реализации экспертных систем и их типы ……………………… 132

2.4.5.Экспертные системы с веб-интерфейсом .………… 134

2.4.6.Сравнение современных способов представления знаний и механизмов принятия решений в экспертных системах ……………………………… 135

2.4.7.Реализация технологии разработки ЭС ….………… 139

2.5.Использование методов математического моделирования и искусственного интеллекта

для оценки деятельности научных работников ….……… 149

Литература к части 2 ….…………………………….……… 167

Часть 3. Лабораторные работы

3.1.Лабораторная работа 1. Знакомство с программой моделирования искусственных нейронных сетей

NNC (Neural Network Constructor) …………….………….. 168

3.2.Лабораторная работа 2. Восстановление внутренней структуры объекта аддитивного типа по обучающей выборке с помощью ИНС-модели …...…………………… 182

3.3.Лабораторная работа 3. Восстановление внутренней структуры объекта мультипликативного типа по обучающей выборке с помощью ИНС-модели ………. 184

3.4.Лабораторная работа 4. Построение ИНС-модели

и прогнозирование временного ряда (случай одного наблюдаемого базового фактора) ………. 186

3.5.Лабораторная работа 5. Построение ИНС-модели и прогнозирование временного ряда (случай наблюдаемых базового и нескольких независимых

факторов) …………………………………………………… 189

3.6.Лабораторная работа 6. Распознавание текстовой

информации, представленной в виде изображения …… 193

Литература к части 3 …………………………….………...…… 195

6

Contents

Preface ……………………………………………………………………… 9 Gratitude …………………………………………………………………… 11 Introduction ………………………………………………..………………. 13

1.1.Basic concepts and definitions…………….………………………. 17

1.2.Spheres of use of AI systems and a brief historical sketch……….. 19

1.3. What led to the development of ANN…………...……...………… 23 1.4. Human brain – prototype of ANN ……………...……...…………. 25 1.5. The formal apparatus of artificial neural networks (ANN)……… 27

1.6.Teaching of ANN…………………………………………............ 31

1.7.Existing structures of ANN …..…………………………………... 37

1.8.Properties of ANN………………………………………………… 43

1.9.A problem of representability in ANN……………………............ 43

1.10.Choice of ANN structure ………………………………………... 47 Literature to part 1 …………………………………………………. 54

2.2.Time series forecasting based on ANN-models and practical applications …………………………………………………………... 99

2.2.1.Theoretical bases …………………………………………... 100

2.2.2.Software package and computing experiments ……………. 105

2.3.Speech recognition systems …………...………………………….. 107

2.3.1.Existing approaches ……………………………………….. 108

2.3.2.Approach to modeling of speech recognition systems based

on mathematical simulator of organs of hearing ………………….. 113 2.4. Information technology of expert system (ES) modeling with in-

telligent heart based on artificial neural networks ………………... 120

2.4.1.Product areas of expert systems and main achievements …. 122

2.4.2.Structure and principles of functioning of the traditional expert systems ……………………………………………………….. 126

2.4.3.Development technology and conditions of application of expert systems ………………………..……………………………. 129

7

2.4.4.Tools for realization of expert systems and their types ……. 132

2.4.5.Expert systems with web-interface.………………………… 134

2.4.6.Comparison of modern ways of knowledge representation

and decision mechanisms in expert systems……………………….. 135

2.4.7.Realization of ES development technology….……………... 139

2.5.Application of methods of mathematical simulation and machine intelligence to assess the activity of scientists ….…………………. 149

Literature to part 2 ….…………………………….………………... 167

Part 3. Laboratory works

3.1.Laboratory work 1. Knowledge of the program of modeling of artificial neural networks NNC (Neural Network Constructor)…….. 168

3.2.Laboratory work 2. Reconstruction of the internal structure of the object of additive type of learning sample using the ANN model… 182

3.3.Laboratory work 3. Reconstruction of the internal structure of the object of multiplicative type of learning sample using the ANN model ……………………………………………………………… 184

3.4.Laboratory work 4. ANN-modeling and time series forecasting (a case of one observed basic factor) ………………………………… 186

3.5.Laboratory work 5. ANN-modeling and time series forecasting (a case of the observed basic and some independent factors) ……….. 189

3.6.Laboratory work 6. Text information recognition presented as an

image ………………………………………………………………. 193 Literature to part 3 …………………………….………...…………….. 195

8

При разработке пособия использовались многие оригинальные материалы: статьи из периодической печати, материалы, полученные из сети Internet и другие источники, статьи авторов, материалы вычислительных экспериментов, полученные на основе пакетов прикладных программ, изученных одним из авторов во время стажировки в МГТУ им. Н. Э. Баумана, 2009 по направлению «Системы компьютерной математики». Данные источники приведены в списках литературы. Однако, сообразуясь с жанром данной книги – учебное пособие, мы не могли привести здесь все необходимые ссылки на используемые материалы. Они имеются в наших оригинальных статьях, диссертациях и других работах. Выражаем благодарность авторам таких источников.

Дисциплина «Искусственный интеллект и распознавание образов» читается для студентов специальностей 010501 и 010503 на четвертом курсе (8-й семестр, форма отчета – экзамен). Она опирается на целый ряд других дисциплин, которые изучались в предыдущих семестрах: «Численные методы», «Математическое и компьютерное моделирование», «Методы оптимизации», «Теория вероятности и математическая статистика», «Теория принятия решений» и др.

Пособие предназначено для студентов специальностей 010501 – «Прикладная математика и информатика» и 010503 – «Математическое обеспечение и администрирование информационных систем», но может быть использовано лицами, обучающимися по магистерской программе «Математическое моделирование» по направлению подготовки 010500.68 – «Прикладная математика и информатика», а также для самостоятельной работы, курсового и дипломного проектирования, и студентами других специальностей.

Все замечания и предложения с благодарностью будут приняты автором по электронной почте: arz_sci@mail.ru

29 сентября 2010 г.

10

use the apparatus of artificial neural networks (ANN)», Германия, Универси-

тет Кобленц-Ландау, 2009;

–Европейской программе TEMPUS-TACIS за поддержку проек-

та «System Modernization of University Management» (SMOOTH), UM_JEP24217, Тамбов, ТГУ им. Г. Р. Державина, 2005–2006;

–Институту «Открытое общество» (Фонд Сороса) за поддержку проекта «Разработка информационной технологии психолого-педагоги- ческого тестирования начального уровня образования в гуманитарной сфере на основе нейросетевого моделирования», грант № 0АА108, 2002–2003, Тамбов, ТГУ им. Г. Р. Державина, 2002–2003.

Мы бесконечно признательны нашим дорогим коллегам:

–профессору Коваль Нине Александровне и профессору Мильруду Радиславу Петровичу за многочисленные обсуждения разделов, касающихся использования аппарата искусственных нейронных сетей в психологических исследованиях и тестировании;

–профессору Клаусу Троичу из университета Кобленц – Ландау,

Германия (Troitzsch Klaus Gerhard, University Koblenz-Landau, Koblenz, Germany) за многочисленные обсуждения практически всех разделов книги, замечательные лекции по моделированию в социальных системах, которые авторы имели возможность прослушать на летних школах в Кобленце в 2005–2010 гг., а также за представленные возможности сотрудничества в рамках многочисленных проектов по программам DAAD и TEMPUS;

–профессору Вольфгангу Найгелу из технического университета г. Дрезден, Германия (Wolfgang Nagel, Technical University Dresden, Dresden, Germany) за многочисленные демонстрации технических возможностей реальных систем искусственного интеллекта, с которыми один из авторов имел возможность ознакомиться в 2009 году, в период поездки студентов специальности «Прикладная математика и информатика» ТГУ им. Г. Р. Державина по университетам Германии, поддержанной DAAD;

–профессору ТГУ им. Г. Р. Державина Слеткову А. А. за предоставленную возможность работать с базой данных рейтингов ученых университета за 2004–2006 годы;

–профессору Тютюннику В. М. за возможность ознакомится с материалами, численно характеризующими вклад в науку лауреатов Нобелевской премии по различным номинациям;

–профессору Карлу Ван Метеру (Karl Van Meter, Ecole Supérior de Paris) (Париж, Франция) за обсуждение возможных подходов и полезные советы.

–доценту Зубакову Александру Павловичу, старшему преподавателю Слеткову Денису Викторовичу и аспирантам Неудахину Александру Викторовичу и Крючину Олегу Викторовичу за многочисленные обсуждения, критические замечания, позволившие улучшить содержание этой книги и компьютерную реализацию большинства идей.

12

Определение ИИ Андрея Николаевича Колмогорова: «искусственный интеллект – любая материальная система, с которой можно достаточно долго обсуждать проблемы науки, литературы и искусства…».

Определение ИИ Алана Тьюринга: «В разных комнатах находятся люди и машина. Они не могут видеть друг друга, но имеют возможность обмениваться информацией (например, с помощью электронной почты). Если в процессе диалога между участниками игры людям не удается установить, что один из участников – машина, то такую машину можно считать обладающей искусственным интеллектом».

Академик Андрей Николаевич Колмогоров – выдающийся российский математик. Родился 25 апреля 1903 года в г. Тамбове. Умер 20 октября 1987 г.

Тьюринг Алан Матиссон (Turing Alan Mathison, 1912 – 1954). Известный английский математик. В 1937 году дал математическое определение алгоритма через построение, названное машиной Тьюринга.

Академик Александр Андреевич Самарский (1919 – 2008). Выдающийся российский математик, основоположник школы математического моделирования в России. Директор института математического моделирования РАН. На рубеже 70-80 годов А.А. Самарский выступил с концепцией о методологии математического моделирования, как об «интеллектуальном ядре» процессов информатизации и познания.

14

Литература для самостоятельного изучения

1.Лорьер Ж. Л. Системы искусственного интеллекта. М.: Мир, 1991.

2.Николлс Дж. Г. и др. От нейрона к мозгу. М.: УРСС, 2003.

3. Нейроинформатика / А. Н. Горбань, В. Л. Дунин-Барковский, А. Н. Кирдин и др. Новосибирск: Наука. Сибирское предприятие РАН, 1998. (имеется на сервере кафедры КММ).

4.Уоссермен Ф. Нейрокомпьютерная техника, М.: Мир, 1992. (имеется на сервере кафедры КММ).

5.Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2004. (имеется на сервере кафедры КММ).

6.Барский А. Б. Нейронные сети: распознавание, управление, принятие решений. М.: Финансы и статистика, 2004. (имеется на сервере кафедры КММ).

7.Арзамасцев А. А., Зенкова Н. А. Моделирование в психологии на основе искусственных нейронных сетей. – Тамбов: ИМФИ ТГУ им. Г. Р. Державина, 2003. (имеется на сервере кафедры КММ).

8.Арзамасцев А. А., Зубаков А. П. Системы распознавания образов на основе аппарата искусственных нейронных сетей (ИНС): учебное пособие. Тамбов: ИМФИ ТГУ им. Г. Р. Державина, 2003.

15

1.1. Основные понятия и определения

Определение интеллекту мы уже дали. Приведем объяснение основный понятий, релевантных теме.

Искусственный интеллект. Иску́сственныйинтелле́кт (ИИ, англ. Artificial intelligence, AI) – наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. ИИ связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами1.

Поясняя свое определение, Джон Маккарти указывает: «Проблема состоит в том, что пока мы не можем в целом определить, какие вычислительные процедуры мы хотим называть интеллектуальными. Мы понимаем некоторые механизмы интеллекта и не понимаем остальные. Поэтому под интеллектом в пределах этой науки понимается только вычислительная составляющая способности достигать целей в мире».

Другие определения искусственного интеллекта:

Научное направление, в рамках которого ставятся и решаются задачи аппаратного или программного моделирования тех видов человеческой деятельности, которые традиционно считаются интеллектуальными.

Свойство интеллектуальных систем выполнять функции (творческие), которые традиционно считаются прерогативой человека2. При этом интеллектуальная система – это техническая или программная система, способная решать задачи, традиционно считающиеся творческими, принадлежащие конкретной предметной области, знания о которой хранятся в памяти такой системы. Структура интеллектуальной системы включает три основных блока – базу знаний, решатель и интеллектуальный интерфейс.

Наука под названием «Искусственный интеллект» входит в комплекс компьютерных наук, а создаваемые на ее основе технологии к информационным технологиям. Задачей этой науки является воссоздание с помощью вычислительных систем и иных искусственных устройств разумных рассуждений и действий3.

Искусственная нейронная сеть (ИНС). Под искусственной ней-

ронной сетью (artificial neural network) будем понимать адекватную в некотором смысле компьютерную модель биологической нейронной сети, отличающуюся от аналога в количественном отношении, но использующую базовые принципы устройства прототипа. В математическом плане

1 What is Artificial Intelligence? FAQ от Джона Маккарти, 2007. Режим доступа. http://ru.wikipedia.org/wiki/Искусственный_интеллект

2Аверкин А. Н., Гаазе-Рапопорт М. Г., Поспелов Д. А. Толковый словарь по искусственному интеллекту. М.: Радио и связь, 1992. 256 с.

3Осипов Г. С. Искусственный интеллект: состояние исследований и взгляд в будущее // Новости искусственного интеллекта. 2001. № 1.

17

ИНС – это набор определенных процедур, хорошо известных в различных областях математики (теория графов, численные методы, методы аппроксимации, методы нелинейного программирования и др.), объединенных с помощью компьютерной программы-оболочки; универсальный аппроксиматор для функций многих переменных.

Аппарат искусственных нейронных сетей (ИНС). Под аппаратом ИНС будем понимать набор известных (и в определенном смысле стандартных!) процедур, известных в математике и математическом моделировании: структурная идентификация объекта при его представлении в виде графов, условные и безусловные численные методы минимизация функций большого числа переменных, аппроксимация и т. д. с возможностью их совместного использования и визуализации результатов в виде сети, являющейся математической моделью биологической нейронной сети.

Образ – воспроизведение объекта, информация о нем или его описание, структурно сходное, но не совпадающее с ним1.

Распознавание образов – раздел кибернетики, развивающий теоретические основы и методы классификации и идентификации предметов, явлений, процессов, сигналов, ситуаций и т. п. объектов, которые характеризуются конечным набором некоторых свойств и признаков. Такие задачи решаются довольно часто, например, при переходе или проезде улицы по сигналам светофора. Распознавание цвета загоревшейся лампы светофора

изнание правил дорожного движения позволяет принять правильное решение о том, можно или нельзя переходить улицу в данный момент.

Создание искусственных систем распознавания образов остается сложной теоретической и технической проблемой. Необходимость в таком распознавании возникает в самых разных областях – от военного дела и систем безопасности до оцифровки всевозможных аналоговых сигналов.

Традиционно задачи распознавания образов включают в круг задач искусственного интеллекта2.

ИНС-модель. Под ИНС-моделью, т. е. моделью, разработанной с помощью аппарата ИНС будем понимать совокупность структуры графа сети, ее настроек, представляющих собой значения весовых коэффициентов

ифункций нейронов, полученных в ходе обучения сети на основе эмпирических данных. По классификации математических моделей3 ИНС-модель обычно является моделью статики, с сосредоточенными параметрами, стационарной, непрерывной, детерминированной.

Обучение с учителем. Под обучением ИНС-модели будем понимать целенаправленный процесс изменения значений весовых коэффициентов, повторяемый до тех пор, пока сеть не приобретет необходимые свойства. В

1http://ru.wikipedia.org/wiki/Образ

2http://ru.wikipedia.org/wiki/Распознавание_образов

3Арзамасцев А. А. Математическое и компьютерное моделирование. Тамбов: Издательский дом ТГУ им. Г. Р. Державина, 2010. 257 с.

18

качестве «учителя» в данном случае обычно используется совокупность имеющихся эмпирических данных. Заметим, что при данном способе обучения обязательно присутствует эксперт – «учитель», который классифицирует эмпирические данные, а значит устанавливает для определенного набора входных параметров выходное значение.

Обучение без учителя. По мере поступления данных с реального объекта и обучения (с учителем) на их базе имеющейся ИНС-модели, последняя, начиная с некоторого момента времени, в достаточной степени обучается и уже сама становится в состоянии классифицировать новую информацию и включать ее в свою базу знаний. При этом новый процесс обучения происходит уже с учетом этой информации без присутствия эксперта – «учителя».

Необходимо отметить, что процессы «обучения с учителем» и «обучения без учителя» в значительной степени схожи с процессом обучения человека (ребенка). Сначала он имеет некоторый небольшой набор шаблонов обученности (врожденные рефлексы) на основании которых эксперт, в качестве которого обычно выступает мать и другие люди, участвующие в его воспитании, сообщают ребенку новую информацию, при этом классифицируя ее. В определенный момент времени обучаемый накапливает значительный объем сведений об окружающем мире, так что эксперты становятся ему не нужны и он сам способен классифицировать поступающую информацию, включать ее в свою «базу знаний» и создавать собственную модель данной области.

Экспертная система. (ЭС, expert system) – компьютерная программа, способная частично заменить специалиста-эксперта в разрешении проблемной ситуации. В информатике экспертные системы рассматриваются совместно с базами знаний как модели поведения экспертов в определенной области знаний с использованием процедур логического вывода и принятия решений, а базы знаний – как совокупность фактов и правил логического вывода в выбранной предметной области деятельности1.

1.2. Области применения ИИ и краткий исторический очерк

Некоторые области применения систем искусственного интел-

лекта: доказательство теорем, игры, распознавание образов, принятие решений, адаптивное управление, сочинение машинной музыки, обработка данных на естественном языке, обучающиеся сети (нейросети), трансляция текстовой информации и др.

Краткий исторический обзор развития работ в области ИИ2. На-

чало исследований в области ИИ (конец 50-х годов) связывают с работами

1http://ru.wikipedia.org/wiki/Экспертная_система

2http://narod.yandex.ru/100.xhtml?deadbeef.narod.ru/work/docs/ai/01.pdf

19

Ньюэлла, Саймана и Шоу, исследовавших процессы решения различных задач. Результатами их работ явились такие программы как «ЛОГИКТЕОРЕТИК», предназначенная для доказательства теорем и «ОБЩИЙ РЕШАТЕЛЬ ЗАДАЧ». Эти работы положили начало первому этапу исследований в области ИИ, связанному с разработкой программ, решающих задачи на основе применения разнообразных эвристических методов.

Эвристический метод решения задачи при этом рассматривался как свойственный человеческому мышлению «вообще», для которого характерно возникновение догадок о пути решения задачи с последующей проверкой их. Ему противопоставлялся используемый в ЭВМ алгоритмический метод, который интерпретировался как механическое осуществление заданной последовательности шагов, детерминированно приводящей к правильному ответу. Трактовка эвристических методов решения задач как сугубо человеческой деятельности и обусловила появление и дальнейшее распространение термина ИИ. Примерно в то время, когда работы Ньюэлла и Саймона стали привлекать к себе внимание, в Массачусетсском технологическом институте, Стэнфордском университете и Стэнфордском исследовательском институте также сформировались исследовательские группы в области ИИ.

История: «романтический период» ИИ → серьезные научные исследования → практические задачи.

50-е – 60-е гг. ХХ века – «романтический период» ИИ: «машинные стихи», «машинная музыка», машинный перевод, интеллектуальные игры (шашки, шахматы и др.);

60-е – 70-е гг. ХХ века – исследование методов решения задач (методов поиска решения);

70-е – 80-е гг. ХХ века – исследование методов представления знаний нужных для решения задач;

80-е – 90-е гг. ХХ века – исследование методов приобретения знаний (передачи их от человека ЭВМ);

90-е гг. ХХ века – наше время – теоретическое осмысление, поиск новых идей и задач.

К постоянным проблемам ИИ можно отнести: начальный уровень «знаний» системы ИИ, проблема ее обучения человеком и ее самообучения. Общение человека с системой ИИ (языки общения, программноаппаратные средства). Инструментальные средства – языки программирования для задач ИИ.

Типы систем ИИ (в историческом аспекте): решатели задач, роботы, экспертные системы, агенты. Так структура традиционной системы ИИ приведена на рис. 1.1, в соответствии с которым ЭС состоит из следующих основных компонентов: решателя (интерпретатора); рабочей памяти (РП), называемой также базой данных (БД); базы знаний (БЗ); компонентов приобретения знаний; объяснительного компонента; диалогового компонента. Взаимодействие этих элементов будет рассмотрено в разделе 2.4.2.

20

ний выступают эксперты (высококвалифицированные специалисты предметных областей), тексты и данные, например хранимые в базах данных.

Интеллектуальный анализ данных и обработка образной ин-

формации. Это сравнительно новое направление, основу которого составляют две процедуры: обнаружение закономерностей в исходной информации и использование обнаруженных закономерностей для предсказания (прогнозирования). Сюда относят задачи выбора информативных данных из большой их совокупности, выбора информативных характеристик некоторого объекта из более широкого множества его характеристик, задачи построения модели, позволяющие вычислять значения выбранных информативных характеристик по значениям других характеристик, и т. п. Значительную часть этого направления составляют исследования различных аспектов распознавания изображений, в частности с помощью нейросетей.

Многоагентные системы, динамические интеллектуальные сис-

темы и планирование. Это направление, изучающее интеллектуальные программные агенты и их коллективы. Интеллектуальный агент – это программная система, обладающая: автономностью – агенты действуют без непосредственного участия человека и могут в некоторых пределах сами управлять своими действиями; социальными чертами – агенты взаимодействуют с другими агентами (и, возможно, человеком) посредством некоторого языка коммуникации; реактивностью – агенты воспринимают окружающую среду, которая может быть физическим миром, множеством других агентов, сетью Internet или комбинацией всего этого, и реагируют на ее изменения; активностью – агенты могут демонстрировать целенаправленное поведение, проявляя при этом инициативу.

Обработка естественного языка, пользовательский интерфейс и модели пользователя. Это направление связано с разработкой систем поддержки речевого общения; решением проблем уточнения запроса в информационных системах; задачами сегментации текстов по тематике, задачами управления диалогом; задачами анализа естественного языка с использованием различных эвристик.

Нечеткие модели и мягкие вычисления. Это направление пред-

ставлено нечеткими схемами «вывода по аналогии», взглядом на теорию нечетких мер с вероятностных позиций, нечеткими аналитическими моделями геометрических объектов, алгоритмами эволюционного моделирования с динамическими параметрами, такими как время жизни и размер популяции, методами решения оптимизационных задач с использованием технологий генетического поиска, гомеостатических и синергетических принципов и элементов самоорганизации.

Современные направления развития искусственного интеллекта

вРоссии.

1.Искусственные нейронные сети (проф. Горбань А. Н., Вычисли-

тельный центр СО РАН, г. Красноярск) – ядром используемых представле-

22

ний является идея о том, что нейроны можно моделировать простыми автоматами, а вся сложность мозга, гибкость его функционирования и другие важнейшие качества определяются связями между нейронами. Реальный выход – программы, моделирующие ИНС для обыкновенных компьютеров.

2.Нейрокомпьютеры и их применение (проф. А. И. Галушкин,

МФТИ, Институт проблем управления им. В. А. Трапезникова РАН, Москва) – разработка нейрокомпьютеров, как специализированных устройств, использующих принципы процессирования информации, заимствованные из биологических прототипов. Реальный выход – специализированные нейрокомпьютеры.

3.Программирование систем представления знаний (Факультет вычислительной математики и кибернетики МГУ. Изучаются языки LISP, PROLOG на основе которых создаются программы представления знаний).

4.Экспертные системы. Специальные программы, которые используют различные формы представления знаний в конкретных предметных областях. В основном здесь сосредоточены инженерные разработки.

Все сказанное выше означает, что искусственный интеллект – экспериментальная наука: создавая те или иные компьютерные представления и модели, исследователь сравнивает их поведение между собой и с примерами решения тех же задач специалистом, модифицирует их на основе этого сравнения, пытаясь добиться лучшего соответствия результатов.

Чтобы модификация программ улучшала результаты, надо иметь разумные исходные представления и модели. Их доставляют психологические исследования сознания, в частности когнитивная психология.

Важно, что методы искусственного интеллекта имеют дело только с теми механизмами компетентности, которые носят вербальный характер (допускают символьное представление). Далеко не все механизмы, используемые человеком для решения задач, таковы.

1.3.Что привело к разработке ИНС?

В этом разделе дано краткое описание аппарата искусственных нейронных сетей. Мы не ставили целью дать исчерпывающее описание этого достаточно эффективного инструмента, пригодного для моделирования не только в психологии, но и в естественных науках, медицине, экономике, исследовании социальных процессов и т. д. По этой проблеме, начиная с 1949 года, когда Д. Хэбб продемонстрировал, что сеть нейронов может обучаться, имеется большое количество работ. Кроме того, такие известные программные продукты, как MatLab и Statistica имеют встроенные пакеты для работы с нейронными сетями. Мы ограничимся в этой небольшой книге лишь краткими сведениями об аппарате ИНС и его возможностях.

На сегодняшний день современные компьютеры значительно превосходят человека по способности выполнять числовые операции. Однако

23

человек достаточно просто и быстро может решать такие сложные задачи восприятия внешних данных как, например, узнавание в толпе, понимание речи различных людей, опытный врач может быстро поставить диагноз болезни по внешнему виду больного человека. Со всеми этими задачами даже современному суперкомпьютеру справиться очень сложно. В чем же причина таких значительных различий? Трудности возникают при моделировании объектов, представляющих собой функции многих переменных. Но ведь человек умеет моделировать предметную область, где имеются такие функции!

Способность к моделированию является естественной потребностью человека, поскольку, он постоянно пользуется ей в повседневной жизни для решения различных задач. Способность к моделированию предметной области человек использует для прогнозирования различных событий, процессов и явлений. Инструментом моделирования у человека является биологическая нейронная сеть, архитектура которой совершенно не похожа на архитектуру компьютера.

Поэтому было естественно создать некую модель, аналогичную биологической нейронной сети на компьютере. Такое направление в науке, использующее аналогии с природными объектами, называют бионикой.

В настоящее время, с появлением искусственных нейронных сетей исследователи получили в распоряжение инструмент, способный к самообучению на основе поступающих данных, позволяющий осуществлять моделирование в условиях неполной, зашумленной информации, позволяющий прогнозировать и производить расчеты.

Основные идеи аппарата ИНС как инструмента заключаются в следующем:

–являясь моделью нейронных сетей человека, ИНС способны к обучению на основе поступающей информации; они также способны обучаться в условиях неполной, сильно зашумленной информации, что является очень важным свойством для распознавания образов в реальном мире;

–поскольку каждый элемент ИНС является относительно простым, использование их в качестве аппарата не ассоциируется у пользователя со сложными математическими методами, что бывает удобно во многих случаях, например, когда пользователь является специалистом в гуманитарной области;

–при изучении объекта, структура которого изначально неясна, возможно создавать структуры с большим количеством нейронов, связей и т. д.; несущественные элементы в дальнейшем могут быть легко удалены, если абсолютные значения весовых коэффициентов не превышают некоторого порогового уровня; указанное свойство позволяет осуществлять структурную идентификацию объекта, используя лишь входные и выходные значения;

24

– после обучения сети возможно наблюдать всю структуру связей и передаточные функции отдельных каналов, что при необходимости можно использовать для параметрической идентификации объекта;

В настоящее время ведется поиск приложения аппарата ИНС в самых различных дисциплинах.

1.4. Мозг человека – прототип ИНС

Структура ИНС была спроектирована на основе результатов изучения принципов функционирования человеческого мозга. Несмотря на то, что на самом деле сходство между ними не очень значительное, даже довольно грубая аналогия дает очевидный эффект. Так, ИНС имеют способность обучаться на опыте, делать обобщения, совершать ошибки, то есть те свойства, которые присущи человеческому мозгу. В связи с этим, важную часть в теории ИНС занимают вопросы изучения работы биологических нервных клеток и сетей. Необходимо иметь математическую модель, которая адекватно описывала бы информационные процессы в биологическом нейроне. Для этого нужно знать как он устроен и работает, а также какие свойства нейрона важны при моделировании, а какие – нет. Должны быть известны ответы на вопросы о том, как передается информация между нейронами через синапсы, как меняется проводимость синапса в зависимости от проходящих по нему сигналов, а также по каким законам нейроны связаны друг с другом. Необходимо понять – как биологические нейронные сети обучаются решать различные задачи, каким образом выбираются параметры сети, чтобы давать правильные выходные сигналы и какой выходной сигнал считается «правильным».

Биологические нейронные сети в ходе своего функционирования не используют сложные математические вычисления, однако, по своим возможностям часто превосходят математические и компьютерные модели. Мощь биологических нейронных сетей демонстрирует тот объем входных «изображений», которые они обрабатывают в режиме реального времени. Ведь мозг получает информацию из очень многих источников: от органов зрения и слуха, а также от миллионов рецепторов, расположенных по всему организму. Их сигналы мозг обрабатывает, выдавая на «выходе» импульс к какому-либо действию. Ни один компьютер на сегодняшний день не способен сравниться с человеческим мозгом по скорости обработки информации.

Наиболее важными свойствами биологических нейронных сетей являются.

1.Параллельность обработки информации.

2.Способность к классификации, обобщению, абстрагированию, ассоциативность (возможность восстановления сетью полного образа по его

25

частям). Все известные человеку задачи решаются нейронными сетями, что говорит об их способности к обработке информации.

3.Способность к самоорганизации. В течение жизни биологические нейронные сети самостоятельно обучаются решению разнообразных задач под воздействием внешних воздействий. В нервной системе формируются необходимые алгоритмы деятельности, которые в дальнейшем уточняются

иусложняются. Среди систем, созданных человеком до сих пор нет способных к самоорганизации и самоусложнению. Исключением являются лишь компьютерные программы.

4.Биологические нейронные сети являются аналоговыми системами. Информация поступает в сеть по большому количеству каналов и кодируется по пространственному принципу: вид информации определяется номером нервного волокна, по которому она передается. Амплитуда входного воздействия кодируется плотностью нервных импульсов, передаваемых по волокну.

5.Биологические нейронные сети обладают высокой надежностью. Об этом свидетельствует тот факт, что выход из строя даже около 10 % нейронов не прерывает работы нервной системы. В то время как сбой одной ячейки памяти или одного узла в аппаратуре компьютера, основанного на принципах фон-Неймана, приведут к выводу из строя всей системы.

Исследователи полагают, что для создания искусственного интеллекта необходимо создать систему, подобную мозгу человека. Элементом

структуры мозга является нервная клетка – нейрон. Мозг состоит из очень большого числа (приблизительно около 1011) нейронов, соединенных между собой многочисленными связями. Нейроны способны распространять сигналы, имеющие электрохимическую природу. Они выполняют прием, преобразование и дальнейшую передачу информации другим нейронам. Каждый нейрон содержит ядро и множество ветвящихся отростков двух типов.

Отростки первого типа – дендриты служат в качестве входных каналов для нервных импульсов от других нейронов, то есть представляют собой разветвленную структуру ввода информации. От тела нейрона дендриты идут к другим нейронам, принимая сигналы в точках соединения, называемых синапсами. Отросток второго типа называется аксоном и представляет собой разветвляющийся выход. Длина аксонов обычно заметно превосходит размеры дендритов. Аксоны клетки соединяются с дендритами других клеток с помощью синапсов. В области синапса происходит обмен информацией о возбуждении между нейронами.

В механизме синаптической передачи импульсов участвуют специфические химические вещества – нейромедиаторы, которые вызывают изменения проницаемости локального участка мембраны клетки. Некоторые виды медиаторов обладают возбуждающим действием – стремятся вызвать возбуждение клетки и выработать выходной импульс, другие являются

26

тормозящими и стремятся подавить такой импульс. В теле клетки происходит суммирование сигналов, полученных от дендритов. В том случае, если их результирующий сигнал выше определенного уровня (порога активации), нейрон активируется и вырабатывает импульс, проходящий по аксону к другим нейронам, которые тоже могут в свою очередь активироваться. Интенсивность сигнала, получаемого нейроном, сильно зависит от активности синапсов.

Несмотря на то, что мозг построен из большого числа таких достаточно простых элементов, он способен решать очень сложные задачи. Безусловно, устройство мозга на самом деле намного сложнее и его большая часть остается до сих пор неизученной. Однако искусственные нейронные сети, структура которых была смоделирована по некоторому подобию человеческого мозга, способны достигать замечательных результатов, используя модель, которая ненамного сложнее, чем описанная выше.

1.5. Формальный аппарат искусственных нейронных сетей

Искусственные нейронные сети очень разнообразны по своим конфигурациям. Но, несмотря на существенные различия, многие из них обладают некоторыми общими чертами.

Искусственный нейрон. Каждая ИНС состоит из однотипных элементов, имитирующих работу нейронов мозга. Искусственный нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены или заторможены. Он имеет несколько входов (дендриты) и один выход (аксон). Также он обладает группой синапсов – однонаправленных входных связей, соединенных с выходами других нейронов. По аксону сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Схематическое изображение искусственного нейрона приведено на рис. 1.2.

Каждому входу ставится в соответствие некоторый весовой коэффициент (w), характеризующий величину синаптической связи и оценивающий степень влияния сигнала с этого входа на сигнал на выходе.

На входы такого искусственного нейрона поступает множество сигналов от выходов других нейронов. Уровень активации нейрона (его текущее состояние) определяется взвешенным суммированием входных сигналов, т. е. каждый входной сигнал x1, x2, …, xn умножается на соответствующий вес w1, w2, …, wn, аналогичный синаптической силе:

i=1

Далее сигнал S преобразуется активационной функцией f и дает сигнал y, являющийся выходом нейрона:

27

Рис. 1.2. Модель формального нейрона

здесь, x – вектор входных сигналов нейрона; это могут быть сигналы, поступающие с объекта или с выходов других нейронов; w – весовые коэффициенты, (коэффициенты синаптических связей), сеть нейронов обучается за счет выбора этих коэффициентов; S – ненаблюдаемая извне величина, представляющая собой результат суммирования входных воздействий; y – выход нейрона.

Активационная функция может иметь различный вид. Наиболее часто для этой цели используются: линейная, пороговая функции, гипперболический тангенс и нелинейная функция с насыщением, которую часто называют логистической функцией или сигмоидом, которая математически выражается как:

Рис. 1.3. Различные виды активационных функций нейронов ИНС: a) – линейная, d) – параболическая второй степени, g) – параболическая третьей степени, f) – ступенчатая функция, b), c), e), h) – различные виды сигмоидных функций.

28

Рис. 1.4. Однослойный персептрон

Выходами этой нейронной сети будут значения:

Если весовые коэффициенты синапсов одного слоя нейронов свести в матрицу W, состоящую из n строк и m столбцов и элементы wij которой задают величину синаптической связи i-го входа с j-ым нейроном, то процесс, происходящий в нейронной сети, можно записать в матричной форме:

где X – входной вектор, Y – выходной вектор.

Многослойные ИНС. Многослойные сети обладают большими возможностями, чем однослойные. Несмотря на то, что созданы сети самых различных конфигураций, послойная организация нейронов является аналогом слоистых структур определенных отделов мозга. Выход одного слоя является входом для последующего слоя нейронной сети (рис. 1.5).

Рис. 1.5. Многослойный (двухслойный) персептрон

Необходимо отметить, что важную роль здесь играет нелинейность активационной функции, что является необходимым условием для увеличения гибкости многослойной сети по сравнению с однослойной.

Среди разнообразных структур ИНС можно выделить две основные архитектуры – слоистые и полносвязные сети.

В слоистых сетях нейроны расположены в несколько слоев. Нейроны первого слоя получают входные сигналы, преобразуют их и передают нейронам второго слоя. Далее срабатывает второй слой, третий и т. д. до последнего слоя, который выдает выходные сигналы. Каждый выходной сигнал предыдущего слоя подается на вход всех нейронов последующего.

30

Число нейронов в каждом слое может быть произвольным. В полносвязных сетях каждый нейрон передает свой выходной сигнал остальным нейронам, включая самого себя. Выходными сигналами могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети. Все входные сигналы подаются всем нейронам.

ИНС могут быть бинарные и аналоговые. В бинарных сетях, оперирующих с двоичными сигналами, выход каждого нейрона может принимать только два значения: логический ноль («заторможенное» состояние) и логическая единица («возбужденное» состояние). В аналоговых сетях выходные значения нейронов способны принимать непрерывные значения.

Активационная функция может быть одной и той же для всех нейронов сети. В этом случае сеть называют однородной (гомогенной). Если же она зависит еще других параметров, значения которых меняются от нейрона к нейрону, то сеть называют неоднородной (гетерогенной).

Для каждой конкретной задачи выбор структуры ИНС осуществляется в соответствии с ее особенностями и сложностью. В настоящее время для решения некоторых типов задач уже разработаны оптимальные конфигурации. Для решения задачи неизвестного типа исследователю приходится разрабатывать новую конфигурацию сети. При этом он может варьировать функцией нейрона, количеством слоев и связей сети, использовать различные алгоритмы обучения. Проблема поиска структуры нейронной сети зависит от конкретной задачи. Часто оптимальный вариант получается на основе интуитивного подбора. Проблема выбора и модификации структуры сети будет рассмотрена в следующих разделах.

1.6. Обучение ИНС

Наиболее интересным и важным свойством ИНС является их способность к обучению, напоминающая процесс развития интеллекта биологических объектов.

Современные компьютеры значительно превосходят человека по способности выполнять числовые операции. Однако человек достаточно просто и быстро может решать такие сложные задачи восприятия внешних данных как, например, узнавание в толпе, понимание речи. Опытный врач может быстро поставить диагноз болезни по внешнему виду больного человека. Со всеми этими задачами даже современному суперкомпьютеру справиться очень сложно. Все это происходит как бы «автоматически» благодаря тому, что биологическая нейронная сеть обучается на примерах, на опыте. В дальнейшем она начинает обладать способностью к моделированию предметной области и, поэтому, может решать задачи, которым не была обучена ранее.

Обучение позволяет сети «запомнить» образы, предъявляемые на ее вход. Заключается оно в том, что сети «предъявляют» некоторые множест-

31

ва входов и выходов. При этом осуществляется подстройка весовых коэффициентов в соответствии с определенной процедурой. В процессе обучения сети весовые коэффициенты постепенно становятся такими, чтобы каждый входной вектор вырабатывал выходной вектор.

Существующие приемы обучения нейронных сетей могут быть в широком смысле классифицированы на «алгоритмы обучения с учителем» и «алгоритмы обучения без учителя».

Обучение с учителем. В этом случае сети предъявляются значения как входных, так и выходных сигналов, в соответствии с которыми она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей. Для каждого входного вектора существует парный ему целевой вектор, задающий требуемый выход. Вместе они называются обучающей парой. Обычно сеть обучается на многих парах. Некоторое множество таких обучающих пар называется обучающей выборкой. Механизм обучения сети в этом случае выглядит следующим образом: предъявляется входной вектор, вычисляется выход сети и сравнивается с соответствующим целевым вектором, при этом разность (ошибка) с помощью обратной связи подается в сеть. Весовые коэффициенты изменяются в соответствии с некоторым алгоритмом, стремящимся минимизировать ошибку. При последовательном предъявлении векторов обучающей выборки вычисляются ошибки, и весовые коэффициенты подстраиваются для каждого вектора до тех пор, пока ошибка по всему обучающему массиву не достигнет приемлемо низкого уровня.

Обучение без учителя. В случае обучения без учителя выходы нейронной сети формируются самостоятельно, а весовые коэффициенты изменяются по алгоритму, учитывающему только входные и производные от них сигналы. Обучающая выборка состоит только из входных векторов. В данном случае алгоритм обучения подстраивает веса сети так, чтобы получались согласованные выходные векторы, то есть, чтобы предъявление достаточно близких входных векторов давало одинаковые выходы. В процессе обучения выделяются статистические свойства обучающей выборки, сходные векторы группируются в классы. Получая на входе вектор из данного класса, сеть даст определенный вектор на выходе. Однако до обучения невозможно предугадать каков будет результат функционирования сети на выходе для данного класса входных векторов. Полученные выходы подобной сети должны преобразоваться в некоторую понятную форму, обусловленную процессом обучения. Определить связь между входом и выходом, установленную нейронной сетью, обычно бывает не сложно. Считают, что обучение без учителя является более близкой моделью обучения в биологической системе, чем обучение с учителем.

У каждого из этих способов обучения есть свои достоинства и недостатки. Преимущество первого состоит в том, что на выходе мы будем получать то, на что и обучали сеть, так как при обучении без учителя сеть за-

32

поминает образы и дает им «свою» классификацию. С другой стороны, второй способ позволяет сети запоминать новые образы, а не только те, на которые она была обучена в начале.

Зададим себе следующий вопрос: от чего зависит число входов, выходов, скрытых слоев и нейронов в скрытых слоях ИНС?

Очевидно, что число входов сети должно быть равно количеству входов объекта, а число выходов также должно быть равно количеству выходов объекта.

Структуру ИНС – число скрытых слоев и количество нейронов в скрытом слое будем выбирать в процессе настройки сети (об этом расскажем в одном из следующих разделов).

Активационные функции нейронов и весовые коэффициенты будем выбирать с использованием одного из методов минимизации функции, представляющей собой ошибку сети: безградиентных, градиентных, случайного поиска и т. д. Данные методы обычно изучаются в курсе «Методы оптимизации».

Например, задача обучения (с учителем) ИНС, моделирующей объект, показанный на рис. 1.6 может быть сформулирована следующим образом.

Рис. 1.6. Схема моделируемого объекта

Разработка ИНС-модели начинается с накопления эмпирической информации о входных и выходных значениях объекта. Такая информация обычно может быть представлена в табличном виде (табл. 1.1).

Таблица 1.1

Эмпирические данные наблюдений за объектом

Для того, чтобы ИНС-модель была способна к генерализации эмпирических данных число строк в обучающей выборке – p в общем случае

33

должно быть больше, чем число степеней свободы искусственной нейронной сети. Отметим, что для гомогенной ИНС с фиксированной структурой связей число степеней свободы равно числу независимых весовых коэффициентов. Для гетерогенной сети число степеней свободы равно числу независимых весовых коэффициентов плюс число нейронов для которых в процессе обучения ИНС-модели выбираются функции активации.

Таким образом, количество строк эмпирических данных об объекте в табл. 1.1 должно быть достаточно большим. Поскольку в процессе обучения ИНС-модели структура искусственной нейронной сети часто не задана изначально, в процессе обучения приходится пополнять таблицу эмпирических данных новыми записями.

Обозначим через F(w) – функцию невязки, зависящую от вектора весовых коэффициентов w, и представляющую собой расстояние между век-

торами выходных координат объекта, содержащихся в обучающей выборке Ytabl и полученных по ИНС-модели – Ynet:

Под обучением ИНС будем понимать процесс минимизации невязки (1.7) за счет выбора значений вектора w. Сеть со значениями компонент вектора w*=(w*1, w*2,…,w*m), при которых достигается минимум невязки (1.7), будем называть обученной. Значение F(w*), полученное при таких значениях компонент вектора w, численно характеризует несоответствие обучающей выборки и ИНС-модели.

Таким образом, задача обучения ИНС может быть сформулирована как задача нахождения минимума функции многих переменных. Поскольку в искусственной нейронной сети каждый нейрон имеет нелинейный элемент, такая задача является задачей нелинейного программирования.

Если после обучения сети величина невязки равна нулю – это значит, что сеть обучилась абсолютно точно.

Причинами того, что невязка F(w*) не равна нулю могут быть:

–погрешность эмпирических данных обучающей выборки или их противоречивость; такая погрешность является непреодолимой на этапе предварительной подготовки данных;

–неверно выбрана структура ИНС; это можно преодолеть путем выбора новой структуры, например, с большим числом нейронов в слое и большим числом скрытых слоев;

–метод минимизации невязки (1.7) «зашел» в локальный минимум; можно попробовать выбраться из него или совершить «спуск» из другой начальной точки.

34

Алгоритм обратного распространения ошибки (error back propagation)1 . Этот алгоритм наиболее часто используется для обучения ИНС. Алгоритм обратного распространения ошибки определяет стратегию подбора весов (коэффициентов синаптических связей) многослойной сети с применением градиентных методов оптимизации. Основу его составляет целевая функция:

где y – фактические данные в обучающей выборке; d – выходные сигналы сети, соответствующие вектору x. При большом количестве обучающих выборок j (j= 1,2,…,p) формула (1.8) приобретает следующий вид:

Уточнение весов может производиться после предъявления каждой обучающей выборки, либо однократно, после предъявления всех выборок, составляющий цикл обучения, который иногда называется эпохой.

Считается, что наиболее эффективным способом обучения сети оказываются градиентные методы, согласно которым уточнение весов производится по формуле:

где η – коэффициент обучения, p(w) – направление в многомерном пространстве w.

Стратегия обратного распространения ошибки:

1. Анализ сети в прямом направлении передачи информации при использовании вектора x. При этом вектор w задают каким-либо образом (например, используя генератор случайных чисел). Рассчитываются все сигналы сети, а также соответствующие производные функций активации каждого слоя:

где m – количество слоев сети.

2. Создание сети обратного распространения ошибок путем изменения направлений передачи сигналов, замена функций активации их производными и подача на выход сети возбуждения в виде разности между фактическим и ожидаемым значением.

1 Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. 344 с.

35

3. Уточнение весов (обучение сети) производится по следующим правилам (рис. 1.7):

Рис. 1.7. Уточнение весовых коэффициентов

4. Обратный процесс следует повторить для всех обучающих выборок, продолжая его вплоть до выполнения условия остановки алгоритма. Действие алгоритма завершается в момент, когда норма градиента упадет ниже априори заданного значения ε, характеризующего точность процесса обучения.

Для минимизации ошибок (функций невязки) часто используют различные методы нелинейного программирования. Иллюстрация работы некоторых таких алгоритмов показана на рис. 1.8–1.10.

Рис. 1.8. Обучение ИНС. Иллюстрация простого градиентного метода поиска минимума функции невязки F

36

На рис. 1.11 x обозначает вектор входных, а y – вектор выходных данных. Данная сеть имеет N L слоев, среди которых слой с индексом 0 является входным, с индексом NL −1 – выходным, а слои с 1 по NL − 2 – скры-

тыми. Каждый i-ый скрытый слой содержит ˆ нейронов. Количество ней-

Ni

ронов на входном слое обозначено L , а на выходном – P .

Рис. 1.11. Многослойный персептрон

Сеть каскадной корреляции Фальмана – это специализированная многослойная нейронная конструкция, в которой подбор структуры сети происходит параллельно с ее обучением путем добавления на каждом этапе обучения одного скрытого нейрона. Таким образом, определение структуры сети и реализацию алгоритма обучения можно трактовать как подбор оптимальной архитектуры. Архитектура сети каскадной корреляции представляет собой объединение нейронов взвешенными связями в виде развивающегося каскада. Каждый очередной добавляемый нейрон подключается к входным узлам и ко всем уже существующим скрытым нейронам сети. Выходы всех скрытых нейронов и входные узлы сети напрямую подключаются также и к выходным нейронам.

Процесс обучения сети начинается до ввода в нее скрытых нейронов. Значения весовых коэффициентов подбираются таким образом, чтобы минимизировать значение некоторой целевой функции.

38

ядрами Вольтерри, соответствуют реакциям высших порядков. Порядок этого полинома также называют степенью ряда Вольтерри.

Рис. 16. Сеть Вольтерри

Различные точки зрения на вопрос: «что такое искусственные нейронные сети?».

Сточки зрения специалиста по компьютерному моделированию:

ИНС – это адекватная в некотором смысле модель биологических нейронных сетей (биологического разума), сильно отличающаяся от аналога в количественном отношении, но позволяющая проделать большое число интересных опытов (например, наши лабораторные работы).

Сточки зрения математика: ИНС – это набор определенных процедур, хорошо известных в различных областях математики (теория графов, численные методы, методы аппроксимации, методы нелинейного программирования и др.), объединенных «под одной крышей» с помощью компьютерной программы; некий универсальный аппроксиматор для функций многих переменных, мало отличающийся от известных методов аппроксимации и методов математической статистики.

41

Сточки зрения пользователя – это некоторое устройство (device) с

малопонятным содержимым внутри (некий черный ящик), но умеющее обучаться на основе эмпирических данных.

Сточки зрения программиста – это некоторая программа, которую так до конца и неясно, как программировать, и многие аспекты работы которой будут ясны лишь после ее запуска.

Сточки зрения биолога: ИНС – это не слишком удачный «протез» биологического разума, лишенный многих необходимых деталей, без которых он хорошо работать никогда не будет.

Сточки зрения обыкновенных студента и преподавателя: ИНС – это просто набор кружочков и палочек, каждая из которых наделена определенными свойствами; такая система почему то может обучаться, но пока еще не обучилась ничему хорошему!

Ученые, внесшие наиболее существенный вклад в развитие ИНС. 1943 – пионерская работа МакКаллока и Питтса «Логическое исчисление идей, относящихся к нервной деятельности». Оригинал:

McCulloch W.S. & Pitts W. A logical calculus of ideas immanent in nervous activity. Bull. Mathematical Biophysics, Vol. 5, 1943, pp. 115-133.

1956, 1957 – идеи А.Н. Колмогорова о возможности представления функций нескольких переменных функциями одного переменного. Ориги-

налы: Колмогоров А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных. Докл. АН СССР, 1956. Т. 108, № 2, С. 179-182. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного. Докл. АН СССР, 1957.

Т. 114, № 5, С. 953-956.

1962 – исследование свойств персептрона Розенблаттом и, в частности, идея о возможности его обучения. Оригинал: Rosenblatt R. Principles of neurodynamics. Spartan Books, New York, 1962.

1969 – Минский и Пейперт показали ограниченные возможности персептрона и тем самым надолго погасили энтузиазм исследователей.

Оригинал: Minsky M. & Papert S. Perceptrons: an introduction to computational geometry. MIT Press, Cambridge, Mass., 1969.

1982 – энергетический подход Хопфилда. Оригинал: Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities. In: Proc. National Academy of Sciences USA, 79, 1982, pp. 2554-2558.

198? – Вербос предложил алгоритм обратного распространения для обучения ИНС. Оригинал: Werbos P. Beyond regression: new tools for prediction and analysis in the behavioral sciences. PhD thesis, Dept. of Applied Mathematics.

42

1.8. Свойства ИНС

Свойства нейронных сетей (биологических и искусственных) в сравнении с компьютерной системой основанной на принципиальной схеме машины фон Неймана1 приведена в табл. 1.2.

Таблица 1.2

Свойства нейронных сетей

1.9. Проблема представимости в ИНС

Проблема представимости различной информации с помощью ИНС возникла в середине прошлого века в связи с невозможностью представления персептроном исключающего ИЛИ.

На рис. 1.17 показана возможность представления однослойным персептроном логических функций. Видно, что при значениях весовых коэффициентов, показанных на рисунке данный элемент правильно описывает известные таблицы значений функций.

1 Анил К. Джейн (Anil K. Jain) – Мичиганский государственный университет, США, Жианчанг Мао (Jianchang Mao), К. М. Моиуддин (K. M. Mohiuddin) – Исследовательский центр IBM в Альмадене США

43

Очевидно, что для случая представленного на рис. 1.18 невозможно провести линию разделяющую пространство данных на два подпространства, из которых одно соответствовало бы выходному сигналу 0, а другое 1. Внутри заштрихованной области выходной сигнал нейрона должен быть равен 1, а за ее пределами 0. Таким образом, персептрон на одном элементе не в состоянии представить даже такую несложную функцию, как XOR.

Вопрос о представлении функций многих переменных с помощью суперпозиций и сумм функций меньшего числа переменных и одного переменного рассматривался в работах1.

Теорема [Колмогорова]. Каждая непрерывная функция n переменных, заданная на единичном кубе n-мерного пространства, представима в виде:

где функции ϕ непрерывны, а функции h кроме того, еще и стандартны, т. е. не зависят от выбора функции f.

В частности, каждая непрерывная функция двух переменных x, y представима в виде:

q=1

Схемы ИНС-моделей, соответствующие уравнениям (1.13) – (1.14) показаны на рис. 1.19 и 1.20 соответственно.

Важным аспектом их практического применения является число степеней свободы. Для схемы, показанной на рис. 1.19 и уравнения (1.13), число степеней свободы выражается уравнением:

Таким образом, в работах А. Н. Колмогорова показано, что функция многих переменных представима с помощью суперпозиций и сумм функций одного переменного.

Обобщенная аппроксимационная теорема применительно к вычислительным возможностям нейронных сетей доказана в работе2.

Из нее, в частности следует, следующее: от функции активации нейрона требуется только нелинейность – и более ничего. Какой бы она не была, можно так построить сеть связей и подобрать коэффициенты связей

1Колмогоров А. Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных. Докл. АН СССР, 1956. Т. 108. № 2. С. 179-182. Колмогоров А. Н. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного. Докл. АН СССР, 1957. Т. 114. № 5. С. 953-956.

2Горбань А. Н. Сибирский журнал вычислительной математики. 1998. Т. 1. № 1. С. 12-24.

45

между нейронами, чтобы нейронная сеть сколь угодно точно вычисляла любую непрерывную функцию от своих входов.

Рис. 1.19. Представление функции n переменных в виде ИНС-модели

Рис. 1.20. Представление функции двух переменных в виде ИНС-модели

46

1.10. Выбор структуры ИНС

Для решения любой задачи с использованием ИНС необходимо прежде всего спроектировать структуру сети, адекватную поставленной задаче. Теоретические предпосылки для решения этой задачи предложили Колмогоров А. Н. (1956, 1957) и Горбань А. Н. (1998).

Определение минимального количества скрытых слоев сети основано на использовании свойств аппроксимирующих функций. Например, импульсная функция и двумерная импульсная функция могут быть сформированы, как суперпозиция нескольких сигмоидальных функций, сдвинутых друг относительно друга (рис. 1.21 и рис. 1.22)1.

Рис. 1.21. Иллюстрация возможности получения импульсной функции с помощью двух сигмоидов

Рис. 1.22. Иллюстрация формирования импульса двумерной сетью: a) – разность пары двухмерных сигмоидальных функций; b) – структура, сформированная в результате суммирования разностей двух пар двухмерных сигмоидальных функций;

c)– форма импульса после обработки его пороговой сигмоидальной функцией

1Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. 344 с.

47

На основе анализа теорем Колмогорова А. Н., Осовский С. делает следующие выводы:

–если ограничиться непрерывной функцией, трансформирующей N-мерное множество входных данных x в M-мерный выходной вектор y, то аппроксимация такого типа осуществима при использовании ИНС с одним скрытым слоем;

–при N входных нейронах будет достаточно использовать для реа-

лизации этой функции скрытый слой с (2N + 1) нейронами. Таким образом, благодаря применению теоремы Колмогорова можно

определить число слоев ИНС и число нейронов в скрытых слоях, достаточное для аппроксимации заданного преобразования. Теорема не уточняет вид нелинейных функций, поэтому ее результаты могут быть использованы лишь в плане минимизации структуры ИНС.

На рис. 1.23 дана иллюстрация способности ИНС к обобщению на примере аппроксимации одномерной функции.

Рис. 1.23. a) – слишком большое число скрытых нейроном (скрытых слоев); b) – правильно подобранное число нейронов; c) – слишком малое число нейронов

При изучении объекта, структура которого изначально неясна, возможно создавать структуры с большим количеством нейронов, связей и т. д.; несущественные элементы в дальнейшем могут быть легко удалены, если абсолютные значения весовых коэффициентов (или коэффициентов чувствительности каналов) не превышают некоторого порогового уровня; указанное свойство позволяет осуществлять структурную идентификацию объекта, используя лишь входные и выходные значения.

После обучения сети можно наблюдать всю структуру связей и передаточные функции отдельных каналов, что при необходимости можно использовать для структурной и параметрической идентификации объекта.

Методы редукции структуры сети: от избыточной к оптималь-

ной (деструктивные алгоритмы). Недостатки: а) – как найти достаточную избыточную структуру сети? б) – большой объем вычислений, т. к. вычисления начинаются с минимизации функции наибольшего числа пе-

48

ременных; в) – трудность определения пороговых значений коэффициентов чувствительностей, т. к. низкий коэффициент чувствительности на предыдущем шаге может стать высоким на последующем шаге.

Для того, чтобы показать неприемлемость деструктивных алгоритмов рассмотрим нейронную сеть, показанную на рис. 1.24.

Число вычислений, необходимых для обучения сети обычно зависит от числа переменных (числа коэффициентов передачи всех нейронов N) как

здесь a – некоторый параметр, существенно больший 1. Число коэффициентов передачи можно подсчитать как

Рис. 1.24. Схема нейронной сети

На рис. 1.25 показан качественный характер зависимости (1.19) из которой следует, что деструктивные алгоритмы при прочих равных условиях требуют существенно большего времени выполнения; их основное назначение – идентификация структуры объектов.

49

ческих данных, используемых при обучении сети. Из рис. 1.26b также хорошо видно, что информацию об уменьшении Fост можно использовать для выбора числа скрытых слоев. Так, ошибка обучения практически не меняется при использовании трех или четырех скрытых слоев в ИНС (рис. 1.26b).

Рис. 1.26. Методика выбора числа нейронов в скрытом слое – a) и количества скрытых слоев – b)

Рассмотренная феноменология обучения ИНС использована нами для конструирования эффективного алгоритма самоорганизации структуры. Суть алгоритма заключается в постепенном наращивании числа нейронов в каждом слое и числа скрытых слоев до тех пор, пока ошибка обучения сети Fост не перестанет уменьшаться (рис. 1.26a, b). Блок-схема такого алгоритма показана на рис. 1.27.

Вблоке 1 задают число входов ИНС – n (определяется постановкой задачи и зависит от числа факторов, оказывающих влияние на моделируемый объект), число выходов ИНС – k (определяется как число факторов, являющихся результатом моделирования и интересующих пользователя системы); начальное число слоев – S принимается равным нулю.

Вблоках 2 и 3 задаются начальные условия: начальная лучшая невязка для нейрона (BestError) – максимальное число используемого типа; начальная лучшая невязка для слоя (LayerBestError) – максимальное число используемого типа; начальная лучшая невязка для всей сети (NetBestError). В процессе конструирования сети данные невязки будут изменяться и достигать своего минимального значения.

Также пользователем задается величина delta – несущественное изменение невязки. Если разница между двумя невязками (полученной в настоящий момент времени и предыдущей) становится меньше величины delta, то построение слоя (в случае несущественного изменения BestError) или построение всей сети (в случае несущественного изменения

LayerBestError) будет прекращено.

51

Вблоке 4 задается первоначальное число нейронов в каждом из предполагаемых слоев ИНС равным нулю.

Вблоке 5 при переходе к построению нового слоя нейронов невязка сети получает то значение, которое получилось в конце построения предыдущего нейронного слоя.

Вблоке 6 в начале построения нового нейронного слоя счетчик слоев в сети – S увеличивается на единицу.

Вблоке 7 при подборе нового нейрона в текущем слое счетчик нейронов в этом слое – i увеличивается на единицу.

Вблоке 8 при подборе нового нейрона в текущем слое невязка данного слоя получает то значение, которое получилось в результате подбора предыдущего нейрона в слое.

Вблоке 9 при подборе активационной функции каждого нового нейрона в текущем слое осуществляется перебор всех уже имеющихся в наличии слоев ИНС.

Вблоке 10 осуществляется перебор всех нейронов в каждом из уже построенных слоев ИНС.

Вблоке 11 осуществляется перебор всех имеющихся в распоряжении пользователя активационных функций нейронов. Таким образом, имеется возможность не просто подобрать активационную функцию только для одного (рассматриваемого в данный момент времени) нейрона при закрепленных активационных функциях остальных нейронов в сети, а произвести перебор всех имеющихся нейронов и, если это приведет к уменьшению значения невязки, поменять активационные функции некоторых из них.

Вблоке 12 производится обучение сети по определенному алгоритму (один из методов определения минимума функции многих переменных)

инаходится значение лучшей текущей невязки – ej.

Блок 13. Если произошло уменьшение лучшей текущей невязки – ej по сравнению с лучшей невязкой для подбираемого в данный момент времени нейрона – BestError, то управление передается к блоку 14, в противном случае осуществляется переход к новой активационной функции нейрона (блок 11).

Вблоке 14 номер активационной функции, при которой произошло уменьшение ej, записывается в массив FBest в строку с номером S (этот номер соответствует номеру слоя) и в столбец с номером i (этот номер соответствует номеру нейрона, активационная функция которого подбирается в данный момент времени).

Вблоке 15 значение невязки ej записывается в переменную BestError – теперь это значение будет лучшим для подбираемого нейрона.

Вблоке 16 осуществляется запись текущих значений коэффициентов синаптических связей.

Блок 17. Если произошло существенное уменьшение (на величину, большую, чем delta) величины лучшей невязки последнего нейрона

52

(BestError) относительно лучшей невязки для последнего построенного слоя (LayerBestError), то можно добавить в текущий слой еще хотя бы один нейрон (см. блоки 18 и 19). В противном случае (если существенного уменьшения невязки не произошло), то добавление нового нейрона в текущий слой, вероятнее всего, не приведет к дальнейшему существенному уменьшению лучшей невязки, т. е. необходимо перейти к блоку 20.

Вблоке 18 осуществляется запись количества нейронов на последнем построенном слое.

Вблоке 19 производится восстановление начальных коэффициентов синаптических связей и осуществляется переход к блоку 7.

Блок 20. Если произошло существенное уменьшение (на величину, большую, чем delta) величины лучшей невязки последнего построенного слоя (LayerBestError) относительно лучшей невязки сети (NetBestError), то можно добавить в сеть еще хотя бы один нейронный слой: перейти к пункту 4. В противном случае (если существенного уменьшения невязки не произошло), то добавление нового слоя в сеть не приведет к дальнейшему уменьшению лучшей невязки сети, т. е. необходимо перейти к блоку 21.

Блок 21. Сеть построена.

Рис. 1.27. Блок-схема конструктивного алгоритма идентификации структуры сети

53

Литература к части 1

1.Уоссермен Ф. Нейрокомпьютерная техника. М.: Мир, 1992. (имеется на сервере кафедры КММ).

2.Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2004. (имеется на сервере кафедры КММ).

3.Барский А. Б. Нейронные сети: распознавание, управление, принятие решений. М.: Финансы и статистика, 2004. (имеется на сервере кафедры КММ).

4. Арзамасцев А. А., Зенкова Н. А. Моделирование в психологии на основе искусственных нейронных сетей. Тамбов: ИМФИ ТГУ им. Г. Р. Державина, 2003. (имеется на сервере кафедры КММ).

5.Арзамасцев А. А., Зубаков А. П. Системы распознавания образов на основе аппарата искусственных нейронных сетей (ИНС): учебное пособие. Тамбов: ИМФИ ТГУ им. Г. Р. Державина, 2003.

54

7.Применение мультиагентного подхода для моделирования социальных процессов (Арзамасцев А. А., Соломина О. А., 2006–2009). В работе приняли участие студенты специальности «Прикладная математика и информатика»: Горбачева Т., Тепляков Д.

8.Технология проектирования экспертных систем с развивающимся интеллектуальным ядром на базе ИНС-моделей (Арзамасцев А. А., Неуда-

хин А. В., Зенкова Н. А., 2006–2009).

9.Разработка универсального нейросетевого симулятора для работы на кластерных вычислительных системах (Арзамасцев А. А., Крючин О. В., 2007–2010). В работе приняли участие студенты специальности «Прикладная математика и информатика»: Королев А., Вязовова Е., Суспицина М.

Необходимо отметить, что направления 2–4 закончились защитой кандидатских (Зенкова Н. А., Безрученко И. Е.) и докторской (Китаевская Т. Ю., 2005) диссертаций, направления 6–8 защитой кандидатских диссертаций (Козадаев А. С., 2008), (Соломина О. А., 2009), (Неудахин А. В., 2009). По направлению 9 в настоящее время кандидатскую диссертацию готовит к защите Крючин О. В.

Поэтому в данном разделе будут приведены некоторые из наших работ в области искусственного интеллекта.

2.1.Использование аппарата ИНС в психологии

Внастоящее время психологическая наука испытывает определенный подъем, связанный с широким внедрением новых информационных технологий и использованием их для решения практических задач. Психология, по своей сути, является не столько гуманитарной наукой, сколько естественной, изучающей структуру психики человека через различные познавательные процессы (такие как память, мышление, восприятие, речь), психические свойства и состояния личности (склонности и способности, мотивы, цели, интересы и др.), а также их зависимости между собой и зависимость от них человеческого поведения.

Всвязи с этим, переход к методам математического моделирования для изучения психологических объектов является желательным и востребованным. Эти методы позволяют получать воспроизводимые результаты, обнаруживать закономерности, корректно и адекватно построенные модели одновременно решают вопросы о представительности выборок и достоверности данных.

Одна из проблем психологии заключается в том, что для большинства психологических объектов невозможно построить модели, имеющие некий физический смысл, поэтому психологи часто используют эмпирические подходы к построению математических моделей, такие как факторный анализ, метод наименьших квадратов, планированный эксперимент

идр., применение которых является в значительной степени ограниченным.

56

Вместе с тем, в настоящее время разработано большое количество новых методов и технологий моделирования. В частности, по нашему мнению, большой интерес в психологической науке представляет использование аппарата искусственных нейронных сетей. Большим преимуществом аппарата ИНС по сравнению с эмпирическими подходами построения математических моделей является то, что эта технология соответствует тому образу их построения, который используют многие биологические объекты.

Системы психологической диагностики в настоящее время находят широкое применение при определении профессиональных предпочтений и способностей, в медицинских исследованиях, образовании и других сферах.

Наиболее распространенными диагностическими методами являются тесты или системы (батареи) тестов. Не смотря на их широкую применимость, технология разработки новых тестирующих систем имеет некоторые существенные недостатки: значительная трудоемкость исполнения практически всех этапов, вызванная большими объемами выборок; требуемая исходная выборка вопросов и заданий существенно превышает размер выборки, которая в дальнейшем используется для тестирования (остается в тесте); необходимость числовых оценок как самих значимых факторов, так и параметров, за которыми ведется наблюдение; некоторые чисто математические трудности (например, трудно выбрать значения весовых коэффициентов).

Указанные выше трудности разработки имеют чисто технологический характер. Однако, практически всем системам психологического тестирования присущи и некоторые принципиальные недостатки.

1.В условиях динамично меняющегося общества имеет место нестационарность социума, обусловленная значительными изменениями традиционной системы связей, ценностей и взаимоотношений субъектов. По этой причине существующие технологии психологического тестирования, опирающиеся на статистические стационарные связи (корреляционные зависимости), имеют ограниченное время жизни. Для преодоления этого недостатка тестирующая система должна иметь возможность адаптации к изменившимся условиям в процессе ее эксплуатации.

2.Системы тестирования, разработанные на основе корреляционных

ирегрессионных зависимостей, дают тем лучшие результаты тестирования респондентов, тем ближе личностные качества тестируемого приближаются к средним значениям; чем дальше отстоит тестируемый от средних показателей, тем худшие результаты дает психологический тест; такие результаты являются следствием использования различных аппроксимационных процедур.

Выходом из создавшейся ситуации может являться разработка адаптивной системы, способной самостоятельно настраиваться на данный контингент респондентов в процессе их тестирования.

57

Мы считаем, что удобной компьютерной технологией для решения этой задачи является аппарат искусственных нейронных сетей, успешно применяющийся в настоящее время в системах распознавания образов и искусственного интеллекта.

Аппарат искусственных нейронных сетей – это математический аппарат, являющийся в определенном смысле компьютерной моделью нейронных сетей биологических объектов и человека, обладающий способностями к обучению на основе эмпирических данных, работы в случае недостатка информации или при ее значительной зашумленности.

Мы предлагаем использовать аппарат искусственных нейронных сетей для разработки адаптивных систем психологического тестирования, определения внутренней структуры известных психологических тестов и, возможно, некоторых свойств личности.

Внастоящее время у нас имеется несколько примеров успешного использования аппарата ИНС в психологических исследованиях, которые будут описаны в последующих разделах.

2.1.1.ИНС-моделирование психологических тестов

Вэтом разделе осуществлена проверка возможности использования аппарата искусственных нейронных сетей в решении задач идентификации внутренней структуры психолого-педагогических объектов и предпринята

попытка моделирования теста по выявлению склонностей индивидов к различным сферам деятельности. Тест представляет собой компьютерный вариант методики Йовайши Л. А. Он разработан в Севастопольском городском центре занятости и получен как freeware с сайта www.psychology.net.ru.

Психологический тест был выбран в качестве объекта моделирования по следующим причинам. Во-первых, тест представляет собой модель определенных свойств (качеств) некоторой абстрактной усредненной личности. Поэтому, если с помощью аппарата ИНС удастся построить адекватную модель такого объекта, то это фактически означает, что данный математический аппарат в принципе можно использовать для моделирования, прогнозирования, идентификации внутренней структуры и получения оценок свойств самой личности. Во-вторых, такой модельный объект, как тест в значительной степени более удобен в исследованиях, чем человек. При работе с ним снимаются проблемы достоверности ответов, а полученные оценки являются осредненными для значительных групп, что снимает проблему их представительности. В-третьих, при работе с человеком, для получения значительной по объему матрицы наблюдений, необходимы существенные временные затраты, а тест без особых трудностей можно выполнять многократно и создавать обучающую выборку большого размера для ИНС.

58

Предварительно тест Йовайши Л. А. был исследован на стационарность и валидность получаемых оценок. Для этой цели тестировали десятерых сотрудников института математики, физики и информатики ТГУ имени Г. Р. Державина, для которых по опыту их работы были предварительно получены объективные оценки их личностных качеств. После тестирования коэффициент корреляции объективных и тестированных значений склонностей к различным сферам деятельности превысил 0,7, что было сочтено нами как удовлетворительный результат.

В качестве искусственной нейронной сети была выбрана программа типа freeware – Neural Network Constructor (NNC), version 3.01, 2001, раз-

работанная на ВЦ РАН. Автор программы Крепец В. В. Ее рабочая версия доступна в сети Internet по адресу http://vkrepets.chat.ru/NNC.exe. Данная программа позволяет использовать до 60 входных нейронов, варьировать функцией нейрона, количеством слоев и связей сети. Она содержит в себе готовые алгоритмы обучения по методам покоординатного спуска, случайного поиска, Ньютона, статистического градиента и их комбинациям.

Всю последовательность работ по формированию первичной ИНС – модели проводили в точном соответствии с методологией, разработанной нами в работах1.

Полный перечень вопросов теста Йовайши Л. А приведен в табл. 2.1. Тестируемый должен выбрать один из четырех вариантов ответа: < Конечно А >, < Конечно Б >, < Cкорее А, чем Б >, < Скорее Б, чем А >. После того, как ответы на все тридцать вопросов получены, программа осуществляет вывод оценок склонностей к различным сферам деятельности (рис. 2.1).

Выборку для обучения искусственной нейронной сети формировали следующим образом. Сначала были сгенерированы по методу МонтеКарло 109 различных возможных последовательностей ответов. Возможные варианты ответов на вопросы обозначали цифрами: < Конечно А > – 1, < Конечно Б > – 2, < Cкорее А, чем Б > – 3, < Скорее Б, чем А > –4. В результате многократного прогона теста из него были получены значения тестируемых свойств (склонность к работе с людьми; к умственным видам работ; к работе на производстве; к эстетике и искусству; подвижным видам деятельности; к планово-экономическим видам работ или степень материальной заинтересованности).

1 1. Арзамасцев А. А., Зенкова Н. А. Моделирование в психологии на основе искусственных нейронных сетей. Тамбов: ИМФИ ТГУ им. Г. Р. Державина, 2003. 2. Арзамасцев А. А., Зенкова Н. А. Система психологического тестирования на основе аппарата искусственных нейронных сетей // Искусственный интеллект. 2004. № 2. С. 237-242. 3. Арзамасцев А. А., Зенкова Н. А. Моделирование психологического теста с помощью аппарата искусственных нейрон-

ных. Вестник ТГУ. 2005. Т. 10. Вып. 2. С. 176-183.

59

Таблица 2.1

Вопросы теста Йовайши Л. А.

1Правы те люди, которые считают, что важнее: А. Много знать. Б. Создавать материальные блага

2Что Вас больше всего привлекает при чтении книг: А. Прекрасный литературный стиль. Б. Яркое изображение смелости и храбрости героев

3Какое награждение Вас больше всего бы обрадовало: А. За научное изобретение Б. За общественную деятельность на общее благо

4Если бы представилась возможность, какой пост Вы бы выбрали: А. Директора универмага. Б. Главного инженера завода

5Что следует больше ценить у участников самодеятельности: А. То, что они несут людям искусство и красоту. Б. То, что выполняют общественнополезную работу

6Какая область деятельности человека в будущем будет иметь доминирующее значение: А. Физика. Б. Физическая культура

7Если бы Вам предоставили пост директора школы, на что бы Вы обратили больше внимания: А. На создание необходимых удобств (удобная столовая и т. д.). Б. На сплочение дружеского и трудолюбивого коллектива

8Вы на выставке. Что Вас больше всего привлекает: А. Цвет и совершенство формы экспонатов. Б. Их внутреннее устройство (как и из чего они сделаны)

9Какие черты характера в человеке Вам больше нравятся: А. Мужество, смелость, выносливость. Б. Дружелюбие, чуткость, отсутствие корысти

10Представьте себе, что Вы профессор университета. Какому предмету Вы отдали бы предпочтение в свободное время: А. Занятиям по литературе.

Б. Опытам по физике, химии

11Вам предоставляется возможность посетить разные страны. В качестве кого Вы бы охотно поехали: А. Как известный спортсмен на международные соревнования. Б. Как известный менеджер для покупки товаров

12Какая из статей в газете вызвала бы у Вас больший интерес: А. Статья о машине нового типа. Б. Статья о новой научной теории

13Вы смотрите парад. Что больше привлекает Ваше внимание: А. Слаженность ходьбы, бодрость, грациозность участников. Б. Внешнее оформление колонн (знамена, одежда и т. д.)

14Представьте, что у Вас много свободного времени. Чем бы Вы охотнее занялись: А. Чем-либо практическим (ручным трудом). Б. Общественной работой (на добровольных началах)

15Какую выставку Вы посмотрели бы с большим удовольствием: А. Выставку новых продовольственных товаров. Б. Выставку новинок научной аппаратуры (физики, биологии)

16Если бы в школе были только два кружка, какой бы Вы выбрали: А. Технический. Б. Музыкальный

17Как Вам кажется, на что следовало бы обратить больше внимания в школе: А. На успеваемость учащихся – это необходимо для их будущего. Б. На спортэто необходимо для укрепления их здоровья

18Какие журналы Вы читали бы с большим удовольствием: А. Научнопопулярные. Б. Литературнохудожественные

60

19Какая из двух работ на свежем воздухе Вас больше бы привлекла: А. Работа с машинами и механизмами. Б. Ходячая работа (агроном, лесничий, дорожный мастер)

20На Ваш взгляд, для школы важнее подготовить учащихся: А. К практической деятельности (создавать материальные блага). Б. К работе с людьми, чтобы они могли помогать другим в этом

21Трудами каких выдающихся ученых Вы больше интересуетесь: А. Попова, Циолковского. Б. Менделеева, Павлова

22Что важнее для человека: А. Создать себе благополучный, удобный быт. Б. Иметь возможность пользоваться духовными ценностями

23Что важнее для благополучного будущего цивилизации: А. Правосудие. Б. Техника

24Какую из двух книг Вы с большим удовольствием читали бы: А. О достижениях спортсменов. Б. О развитии промышленности

25Что принесет обществу больше пользы: А. Забота о благосостоянии граждан. Б. Изучение поведения людей

26Что, на Ваш взгляд, более целесообразно: А. Больше развивать службу быта. Б. Создать технику, которой можно было бы пользоваться самим

27Какие лекции Вы слушали бы с большим удовольствием: А. О выдающихся ученых. Б. О выдающихся художниках

28Какого характера научную работу Вы бы выбрали: А. Работу с книгами в библиотеке. Б. Работу на свежем воздухе в экспедиции

29Что бы Вас больше заинтересовало в печати: А. Сообщение о выигрыше де- нежно-вещевой лотереи. Б. Сообщение о состоявшейся художественной выставке

30КакойпрофессииВы отдалибы предпочтение: А. Физкультуре или работе связаннойсдвижением. Б. Работемалоподвижной, но по созданию новой техники

Рис. 2.1. Результаты тестирования по методике Йовайши Л. А.

61

В качестве начального варианта структуры искусственной нейронной сети была выбрана конструкция, называемая перцептроном: тридцать входных (input) нейронов (по числу вопросов теста), соединенных с нейроном с линейной функцией и один выходной (output) нейрон. Такая простая конфигурация ИНС была выбрана в качестве начального варианта, однако, его дальнейшее тестирование показало, что для данной задачи указанная структура является вполне приемлемой.

Первые же попытки обучения ИНС показали, что функция невязки между расчетным и экспериментальным значениями векторов выходных координат быстро уменьшается. Однако окончательное значение невязки составляет 7,43, что далеко он нулевого уровня. Попытки варьирования активационной функцией нейрона, показали, что значительно уменьшить значение невязки (до значения 6,45) позволяет лишь активационная функция, представляющая собой параболическую зависимость третьей степени. Было сделано заключение о том, что, возможно, имеет место неверный выбор последовательности аргументов (см. рис. 2.2). В связи с этим была предпринята попытка поменять местами номера ответов на каждое задание следующим образм: 1 → 1, 2→ 4, 3 → 2, 4 → 3. Если в исходном случае четыре возможных варианта ответов на каждое задание были выстроены в последовательности: < Конечно А >, < Конечно Б >, < Cкорее А, чем Б >, < Скорее Б, чем А >, то после замены эта последовательность ответов была проранжирована по принципу от меньшего к большему, т. е. : < Конечно А > – 1, < Cкорее А, чем Б > – 2, < Скорее Б, чем А > – 3, < Конечно Б > – 4 (табл. 2.2).

Рис. 2.2. Линейная зависимость между факторами x и y – a). Неверный выбор последовательности факторов x1, x2, x3 и x4 превращает линейную зависимость в параболическую – b)

После такой коррекции нейронная сеть хорошо и быстро обучалась. При использовании в качестве активационной функции линейной зависимости значение невязки составило порядка 10–9, что соответствовало максимальной относительной погрешности модели по сравнению с обучающей выборкой всего в 0,2 %. На рис. 2.3–2.8 показаны коэффициенты передачи нейронов, полученные при моделировании различных свойств

62

(личностных качеств), краткое обозначение которых приведено в табл. 2.3. Схемы, показанные на рис. 2.3–2.8 названы нами первичной ИНС-моделью теста Йовайши Л. А.

Анализ первичной ИНС-модели теста (рис. 2.3–2.8) на основе абсолютных величин коэффициентов передачи каналов позволяет сделать следующие выводы.

Уровни абсолютных величин коэффициентов передачи каналов отличаются более чем на шесть порядков. При этом они кластеризуются около значений порядка 10–6 и 0,1–0,4. Каналы нейронной сети, имеющие коэффициенты передачи порядка 10–6 не оказывают существенного влияния на выходную величину, в связи с чем они могут быть истолкованы как незначимые.

Каждый из имеющихся вопросов является значимым для оценки ка- кого-либо личностного качества, т. е. в отношении всего теста. Только по десять вопросов из тридцати являются значимыми для определения каждого качества личности в отдельности. Это хорошо видно по абсолютным величинам коэффициентов передачи каналов (рис. 2.3–2.8). Ответ респондента на каждый из тридцати вопросов используется в тесте дважды, т. е. для идентификации двух различных качеств личности, причем, в одном случае ответ имеет положительный, то в другом случае отрицательный весовые коэффициенты. Это означает, что при выборе ответа на вопрос мы увеличиваем результат тестирования одного качества и при этом обязательно уменьшаем результат тестирования другого качества. Например, ответ на десятый вопрос (представьте себе, что Вы профессор университета; какому предмету Вы отдали бы предпочтение в свободное время: А. занятиям по литературе; Б. опытам по физике, химии; см. табл. 2.1) имеет положительный коэффициент передачи 0,38 при оценке качества Б (склонность к умственным видам работ, см. рис. 2.4) и отрицательный коэффициент передачи –0,36 при оценке качества Г (склонность к эстетике и искусству, см. рис. 2.6). Во всех остальных случаях (рис. 2.3, 2.5, 2.7, 2.8) ответ на десятый вопрос является незначимым. Это означает, что, если респондент ответит на десятый вопрос < Конечно А >, что соответствует номеру 1 (см. табл. 2.2), то это приведет к увеличению оценки качества Б, но одно-

Таблица 2.2

Соответствие вариантов ответов на вопросы теста Йовайши Л. А. и номеров ответов в ИНС-модели

63

64

и 28) необходимо отвечать – < Конечно А >, а на вопросы, имеющие положительные коэффициенты передачи (10, 12, 15, 21 и 25) необходимо отвечать – < Конечно Б >. При этом оценка качества Б будет равняться 30 баллам. Ответы на другие вопросы теста не оказывают влияния на оценку качества Б. Для минимизации оценок качества Б необходимо поступать наоборот – т. е. отвечать < Конечно Б > на вопросы (1, 3, 6, 18 и 28) и < Конечно А > на вопросы (10, 12, 15, 21 и 25). При этом оценка качества Б будет равняться нулю баллов.

66

Таблица 2.4

Значимость вопросов при тестировании качеств личности по методике Йовайши Л. А.

Рис. 2.9. Фрагменты ИНС-модели с удаленными несущественными связями. Средняя квадратичная ошибка фрагментов в сравнении с тестом: для качества А – 4,68 10–6; для качества Б – 2,85 10–6; для качества В – 6,41 10–6; для качества Г – 5,55 10–6; для качества Д – 3,61 10–6; для качества Е – 3,86 10–6

67

Модели качеств А–Е (рис. 2.9) теперь можно объединить в общую ИНС-модель теста Йовайши Л. А. Эта модель показана на рис. 2.10.

Рис. 2.10. Полная ИНС-модель теста Йовайши Л. А.

Проверку адекватности модели проводили с использованием новой случайной выборки ответов на вопросы теста (такая последовательность ответов не использовалась в обучающей выборке). В табл. 2.5 показаны рассчитанные по ИНС-модели оценки качеств А–Е в сравнении со значениями, полученными из теста. Средняя относительная погрешность модели составила около 2,7 %, что может быть интерпретировано как удовлетворительный результат. ИНС-модель, показанная на рис. 2.10 может быть признана адекватной.

68

Интересно отметить следующий факт. Полное число комбинаций ответов по тесту Йовайши Л. А. есть: 430=1152921504606846976. Здесь 4 – число вариантов ответа на один вопрос; 30 – общее число вопросов. Поскольку матрица обучающей выборки включала всего 109 строк, то аппарат ИНС позволил получить адекватную модель по

109/1152921504606846976=9,454 10–17 части генеральной совокупности данных. Такую способность ИНС к построению адекватной модели в условиях недостатки исходных данных можно считать просто потрясающей!

Таким образом, эксперименты с построением ИНС модели психологического теста показали принципиальную возможность использования аппарата искусственных нейронных сетей в решении задач идентификации внутренней структуры психолого-педагогических объектов.

В данном разделе мы показали, что: 1) аппарат ИНС может быть использован для моделирования в психологических системах; 2) поскольку тест представляет собой в некотором смысле модель личности, то, по всей видимости, по аналогичной технологии возможно многое узнать и о системе связей самой личности; 3) с помощью аппарата ИНС можно получить внутреннюю структуру психологического теста, даже в том случае, если иметь только его исполняемый модуль; это может быть полезно при разработке новых тестов (использование готовых связей без проведения исследования, изучение устройства тестирующей программы в образовательных целях).

69

2.1.2. Методика идентификации трудноформализуемых понятий

Уровень готовности индивида к познавательной деятельности

нами понимается как комплексный показатель, характеризующий предрасположенность этого индивида к получению определенной профессиональной квалификации и включающий в себя такие компоненты, как уровень интеллекта, наличие определенных знаний и умений, мотивацию к обучению, творческие и иные способности, которые могут быть использованы им в рамках выбранной специальности. Структура УГИ – это наличие тех или иных компонентов, степень их важности при расчете УГИ, система возможных взаимосвязей между отдельными компонентами и самим показателем. Под содержанием УГИ мы понимаем наполненность каждого из компонентов конкретными сведениями об индивиде, которые могут быть объективно получены путем его изучения с помощью различных экспериментальных методик, системы тестов, а также наблюдения за ним.

Существующие диагностические процедуры психологического исследования личности позволяют оценивать различные ее качества, такие как уровень интеллекта, знания и умения в рамках определенных предметов, профессиональную ориентацию, мотивацию к познавательной деятельности, свойства памяти и т. д., однако, они не позволяют ответить на вопрос о том, какому из этих важных компонентов отдать предпочтение или как использовать их комплексно.

Также разрабатываемые системы для психологического тестирования должны обладать следующими возможностями: не использовать трудоемкую традиционную процедуру по выявлению корреляции и значимости факторов; использовать результаты тестирования каждого следующего респондента для совершенствования своей структуры и учета данного контингента обучаемых; адаптироваться к определению УГИ различных групп и изменившимся условиям в процессе эксплуатации.

Разработанная нами технология построения адаптивных систем психологического тестирования на базе ИНС позволяет учитывать указанные недостатки, а также с ее помощью, возможно выявить структуру и содержание рассматриваемого показателя.

Технология включает в себя следующие этапы:

1 этап. Построение первичной модели профессиональных качеств индивида на основе аппарата искусственных нейронных сетей и какойлибо известной системы психологического тестирования. После реализации первого этапа мы имеем ядро модели, не адаптированное к заданной предметной области. Для определения УГИ к познавательной деятельности ядро должно быть дополнено возможностью оценки некоторых дополнительных качеств индивида.

70

Вблоке 1 производится формирование первичного пакета заданий для тестируемых. Как правило, такой пакет заданий может быть получен из известной батареи психолого-педагогического тестирования, близкой по существу решаемой задачи к определению УГИ. Поскольку первичный пакет заданий будет существенно изменен в дальнейшем по мере реализации данной технологии, способ его формирования не является определяющим. При определении структуры и содержания уровня готовности студентов к познавательной деятельности в качестве первичного пакета заданий рассмотрены вопросы известной методики Йовайши Л.А. по выявлению склонностей к различным сферам деятельности (см. раздел 2.1.1).

Вблоке 2 осуществляется многократный прогон теста, выбранного в блоке 1 в режиме тестируемого. При этом фиксируются ответы на задания теста и числовые значения профессиональных качеств, полученные в ходе тестирования. В результате выполнения блока 2 формируется матрица, строками которой являются ответы (номера ответов) на вопросы теста, а последним столбцом матрицы являются числовые значения профессиональных качеств студента. Данная матрица используется в последующих операциях в качестве обучающей выборки для ИНС.

Вблоке 3 осуществляется формирование структуры искусственной нейронной сети. Для этой цели использовалась одна из программ-обо- лочек, предназначенных для создания и работы с ИНС. На этом этапе выбираются: количество входных нейронов (как правило, это число должно быть равно числу заданий используемого теста); количество выходных нейронов (это число должно быть равно числу тестируемых профессиональных качеств индивида); количество слоев и количество нейронов в слое (выбираются в соответствии с решаемой задачей); система связей между нейронами (выбирается в соответствии с решаемой задачей, первоначальная конструкция может быть разработана по принципу «каждый с каждым»); активационные функции нейронов (выбираются из известного набора – линейная, параболическая, сигмоид, ступенчатая функция). Реализация этого этапа является одним из самых тонких мест в указанной технологии. От того, насколько удачно выбрана структура ИНС в значительной степени зависит ее способность к обучению, адекватность модели и количество итераций проверки этих свойств, которое предстоит выполнить на пути реализации технологии (см. рис. 2.11). Необходимо отметить, что последующие блоки (блоки 5 и 8) гарантируют адекватность модели на ИНС даже в том случае, если первоначальная структура была выбрана неверно.

Вблоке 4 осуществляется обучение созданной в блоке 3 ИНС на основе обучающей выборки, полученной в блоке 2. При этом используются стандартные процедуры, реализующие методы нелинейного программирования (методы Монте-Карло, покоординатного спуска, градиентные и их комбинации).

71

В блоке 5 осуществляется проверка обучаемости ИНС. Ее возможность обучения может быть легко оценена по степени близости выходных значений векторов (профессиональные качества индивида) для ИНС и исходного теста. Если сеть не обучается или обучается медленно, то это указывает на неправильный выбор ее структуры в блоке 3. Поэтому, в соответствии со схемой (рис. 2.11) необходимо осуществить коррекцию структуры. Если сеть обучается – это указывает на то, что структура в блоке 3 выбрана верно и можно переходить к выполнению следующих операций.

Рис. 2.11. Технология определения структуры и содержания уровня готовности индивидов к познавательной деятельности (формирование первичной ИНС-модели)

72

Вблоке 6 осуществляется коррекция представлений о структуре ИНС. На этом этапе полезно связать число слоев ИНС, систему связей и функции нейронов с реально существующими свойствами системы тестирования.

Вблоке 7 осуществляется совместная проверка модели, полученной

врезультате обучения ИНС в блоке 4 и теста. При этом на входы ИНС и в качестве ответов на задания теста выбираются одинаковые комбинации, не включенные в обучающую выборку в блоке 2. По результатам этой проверки делается заключение об адекватности модели.

Вблоке 8 осуществляется проверка адекватности модели, разработанной в предыдущих блоках. Адекватность оценивается на основе близости значений профессиональных качеств индивида, полученных на основе теста и ИНС. В большинстве случаев адекватность модели достигается, так как в блоке 5 уже проверялась возможность обучения ИНС с данной структурой связей.

Рис. 2.13. Технология определения структуры и содержания уровня готовности индивидов к познавательной деятельности (определение структуры и содержания УГИ)

74

Вблоке 9 производится увеличение объема обучающей выборки. Ее полный набор должен состоять из Nm независимых комбинаций в тесте, где требуется выбрать один из предложенных вариантов ответов. Здесь N – количество вариантов ответов на каждое задание, m – количество заданий. Однако для обучения нейронной сети изначально бывает достаточно намного меньшего количества комбинаций.

Вблоке 10 осуществляется удаление несущественных связей ИНС и окончательная настройка модели. Несущественными считаются связи, весовые коэффициенты которых ниже заданного, определяемого пользователем уровня. Такие связи практически не оказывают никакого воздействия на качество работы всей модели в целом. Тем не менее, после их удаления для окончательной настройки модели необходимо еще раз провести обучение сети.

Результатом выполнения операций в блоках 1–10 является формирование первичной модели профессиональных качеств студента на основе аппарата искусственных нейронных сетей. Первичная модель представляет собой, по сути, обобщенную модель профессиональных качеств индивида без конкретизации области его деятельности. Такую модель можно использовать для выявления склонностей к различным сферам деятельности, но она еще не пригодна для определения уровня готовности студентов к познавательной деятельности в определенной сфере. Для определения УГИ ядро должно быть дополнено возможностью оценки некоторых других качеств личности студента. Указанные операции выполняют на этапе коррекции модели (блоки 11–19), в результате чего формируется модифицированная модель на ИНС (рис. 2.12).

2 этап. Коррекция первичной модели за счет введения дополнительных заданий и модификации структуры ИНС. После реализации второго этапа мы имеем ИНС-модель профессиональных качеств индивида. Эту модель можно использовать для определения УГИ к познавательной деятельности в определенной сфере на том основании, что, во-первых, она включает в себя известные данные о профессиональной пригодности индивида (ядро модели), дополнения, позволяющие оперировать в заданной профессиональной области и с учетом заданного контингента обучаемых, а во-вторых, вся модель обучена на выборке из опытных данных (матрице ответов респондентов).

В блоке 11 осуществляется формирование вторичного пакета заданий, направленных на тестирование УГИ. В формировании принимают участие эксперты в заданной предметной области. В нашем случае в качестве экспертов выступали ведущие преподаватели Тамбовского государственного университета им. Г.Р. Державина: профессора и доценты, ведущие лекционные курсы, практические и лабораторные занятия, хорошо знающие студентов, их личностные характеристики, а также сотрудники деканатов, в значительной степени осведомленные о профессиональных качествах обучаемых. В качестве заданий (системы заданий) предлагаются во-

75

просы, характеризующие способность студентов к моделированию предметной области, мотивацию, знание предметной области, умения и навыки работы в ней. Указанные задания выбираются с таким расчетом, что они могут дополнить первичный пакет, сформированный в блоке 1.

Вблоке 12 осуществляется модификация структуры ИНС в соответствии с вторичным пакетом заданий. Структура ИНС дополняется входными, выходными и функциональными нейронами, системой связей между ними. При этом, ядро модели, сформированное ранее в блоках 1–10, остается на этом этапе неизменным, а новые структуры лишь дополняют его.

Врезультате выполнения операций в блоках 11–12 имеем модель УГИ к познавательной деятельности, которая, однако, еще не подверглась идентификации параметров и проверке адекватности.

Проверка адекватности модели и коррекция ее параметров осуществляются в сравнении с реальными эмпирическими данными, представляющими собой оценки УГИ конкретных индивидов в заданной предметной области. Указанные действия выполняются в блоках 13–16.

Вблоке 13 осуществляется опрос респондентов. Опрос проводится на первом курсе среди студентов, которые только что поступили в университет. При этом используется вторичный пакет заданий, сформированный

вблоке 11. По результатам опроса формируется матрица ответов респондентов. Для упрощения работы с респондентами и придания опросу безличностного характера используется специально разработанная тестирующая программа. Данные опроса хранятся в течение периода первичного обучения специальности, по истечению которого возможно делать выводы о развитии профессиональных качеств обучаемого. Обучение студентов в этот период проводится по обычной программе профессионального образования и в соответствии с государственным стандартом профессионального образования по указанной специальности (блок 14). По истечению указанного периода экспертами осуществляется ранжирование респондентов по уровню профессиональной пригодности.

После того, как для каждого респондента произведен подсчет оценок, матрица ответов, полученная при опросе респондентов в блоке 13, дополняется оценками профессиональных качеств, после чего эту матрицу можно использовать для обучения модифицированной модели на ИНС.

Вблоке 16 производится обучение структуры ИНС, созданной ранее

вблоке 12 на основе обучающей выборки, полученной в блоке 15. При этом используются стандартные процедуры, реализующие методы нелинейного программирования.

Вблоке 17 (как это было ранее в блоке 5) осуществляется проверка обучаемости ИНС. Ее возможность обучения может быть легко оценена по степени близости выходных значений векторов (профессиональные качества индивида) для ИНС и матрицы ответов респондентов. Если сеть не обучается или обучается медленно – это указывает на неверное формирование вторичного пакета заданий (блок 11) и неправильный выбор ее структуры (блок 12) . Поэтому, в соответствии с общей схемой необходимо осуще-

76

ствить коррекцию этих компонентов модели. Если сеть обучается – это указывает на то, что можно переходить к выполнению следующих операций.

В блоках 18, 19 проводится проверка обученной ИНС для тестирования независимой группы респондентов. При этом оценивается насколько хорошо ИНС-модель, сформированная на основе ядра, включающего ка- кую-либо систему психологического тестирования и дополнений, а также заданий для конкретного контингента и профессиональной области, позволяет оценивать профессиональные качества респондентов из контрольной группы. В случае, если оценки, получаемые по модели, не противоречат мнению экспертов, то модель считается адекватной и будет использована в дальнейшем для оценки структуры и содержания УГИ к познавательной деятельности. В случае, если сразу не удается получить адекватную модель, необходимо снова перейти к блоку 11 – формирования вторичного пакета заданий.

Результатом выполнения операций в блоках 11–19 является формирование вторичной модели профессиональных качеств индивида на основе аппарата искусственных нейронных сетей. Такая модель представляет собой обобщенную модель профессиональных качеств студента с конкретизацией области его деятельности, общего уровня контингента обучаемых и т. д. Эту модель можно использовать для определения уровня готовности студентов к познавательной деятельности в определенной сфере на том основании, что, во-первых, она включает в себя известные данные об их профессиональной пригодности, дополнения, позволяющие оперировать в заданной профессиональной области и с учетом заданного контингента обучаемых, а во-вторых, вся модель обучена на выборке из эмпирических данных, соответствующих заданной профессиональной области.

3 этап. Анализ модели и определение структуры и содержания трудноформализуемого понятия (например, УГИ) на основе модифицированной модели (рис. 2.13).

Процесс определения структуры и содержания УГИ с помощью модели начинается с анализа и удаления несущественных связей (блок 20). Как и в блоке 10, несущественными считаются связи, весовые коэффициенты которых ниже заданного, определяемого пользователем уровня. Такие связи практически не оказывают никакого воздействия на качество работы всей модели в целом.

Вэтой модели интегрирована информация об уровне готовности индивидов к обучению в заданной профессиональной области, важности отдельных показателей и групп показателей при оценке УГИ, взаимовлиянии различных показателей и т. д. Можно считать, что обученная ИНС является моделью определенных качеств студента в рамках заданной предметной области, поскольку программа работы с ИНС устроена таким образом, что из нее легко может быть извлечена информация о структурных элементах, их взаимосвязи, значимости коэффициентов передачи.

Вблоке 21 из всей совокупности заданий вторичного пакета выделяются задания, которые по мнению экспертов тестируют одинаковые ка-

77

чества студента. Для успешной реализации этой задачи экспертами может быть предложен или ими может быть разработан заранее перечень тестируемых свойств индивида в рамках заданной предметной области. Результатом операций блока 21 является таблица соответствий заданий и соответствующих им тестируемых качеств индивида.

Вблоке 22 осуществляется определение значимости заданий внутри каждой группы. Эта задача решается на основе анализа коэффициентов передачи соответствующих связей нейронной сети. Чем выше абсолютное значение коэффициента передачи, тем большая важность может быть приписана анализируемому свойству индивида. При этом выделяются задания, ответы на которые оказывают наиболее существенное влияние на значения тестируемых качеств, задания, оказывающие значительное влияние и задания, ответы на которые оказывают очень малое влияние на тестируемые качества. Таким образом, при реализации процедур, предусмотренных блоком 22, практикующие психологи и педагогические работники получат ценную информацию о том, какие вопросы пригодны для оценки определенных качеств студента, а какие не вполне подходят для этого.

Вблоке 23 осуществляется определение значимости групп факторов

воценке УГИ. В зависимости от структуры полученной нейронной сети могут быть использованы аддитивные и мультипликативные функциональные зависимости для определения на основе имеющихся коэффициентов передачи каналов типа «ответы на задание – тестируемое качество индивида», обобщенных коэффициентов для групп. В зависимости от обстоятельств могут быть использованы и комбинированные аддитивномультипликативные зависимости.

Поскольку ответы на многие задания могут быть использованы для тестирования различных групп свойств индивидов, в блоке 24 осуществляется оценка таких взаимовлияний и формулируются выводы о структуре перекрестных связей между факторами различных групп.

Так как в блоках 21–24 ранее выявлены: задания, относящиеся к различным группам тестируемых свойств, значимость групп в определении комплексного показателя и оценки взаимовлияния отдельных факторов, будем считать, что задача определения структуры и содержания понятия УГИ решена (блок 25).

Вкачестве примера реализации данной технологии получены структура и содержание УГИ к познавательной деятельности для студентов первого курса, приведенные на рис. 2.14–2.15.

Таким образом, данная технология может быть использована для построения адаптивных систем психологического тестирования на базе ИНС, а также для идентификации внутренней структуры и содержания понятий, используемых в психологических и социологических исследованиях.

78

2.1.3. Идентификация уровня готовности абитуриентов к обучению в вузе

Для проведения объективной работы по профессиональной ориентации школьников с учетом социального заказа, необходимо своевременно выявлять их профессиональный потенциал. Поэтому было бы желательно разработать компьютерный тест или программу, которая помогает учащимся осуществлять такое профилирование на основе оценки их личностных качеств.

Такой тест может быть реализован на основе ИНС-модели, которая способна обучаться по эмпирическим данным. Принципы реализации такой ИНС-модели (формирование структуры сети, ее обучение и т. д.) были сформулированы в главе 1 и в предыдущих разделах главы 2.

В качестве эмпирических данных использовали выборку, которая была получена в результате анкетирования старшеклассников города Тамбова, в котором приняли участие 1052 школьника1. Специально разработанная анкета имела следующую структуру: статистическая информация, успеваемость, профессиональный выбор, общественная активность, творчество, досуг, здоровье, семья.

Разработка компьютерной нейросетевой модели осуществлялась в соответствие со следующими этапами.

Этап 1. Из всей совокупности факторов, значения которых получены в ходе анкетирования, выделяются те факторы, которые оказывают существенное влияние на профессиональные предпочтения школьников. Главным критерием значимости фактора, на наш взгляд, является консолидированное мнение группы при ответе на какой-либо вопрос анкеты.

Для решения этой проблемы разработана специальная программа, позволяющая для лиц, профессиональные предпочтения которых указывают по данным анкетирования на определенный профиль подсчитать суммы ответов по каждому вопросу анкеты и вывести те из них, где сумма групповых предпочтений больше, чем некоторые фиксированные уровни

50, 60, 65 и 70 процентов.

Этап 2. Проводится ранжирование профилей профессий таким образом, чтобы каждому из них можно было поставить в соответствие определенное число (номер) (рис. 2.16).

Этап 3. Из всего массива данных выделяется выборка для обучения ИНС, такая, чтобы в качестве вектора независимых координат в нее входили значимые факторы, а в качестве моделируемого фактора – тот или иной профессиональный профиль, представленный числом (этап 2).

1 Арзамасцев А. А., Безрученко И. Е., Зенкова Н. А. Личностные качества и профессиональная предрасположенность школьников старших классов города Тамбова. Тамбов: ИМФИ ТГУ имени Г. Р. Державина, 2004. 103 с.

80

Рис. 2.17. Совместное использование в модели при 60-процентном уровне групповой активности линейной, параболической (2-й и 3-й степеней) и сигмоидальной активационных функций нейронов

Этап 4. Формирование ИНС-модели. На этом этапе выбирается структура ИНС, производится ее обучение и, при необходимости, осуществляется коррекция структуры сети в соответствии с ранее разработанной технологией. Учитывая предыдущий опыт, в качестве такой оболочки выбрана программа NNC. Для случая 60 % групповой активности наилучшие результаты (наименьшую погрешность) дала ИНС-модель, показанная на рис. 2.17.

Этап 5. Производится проверка адекватности полученной ИНСмодели профессиональной предрасположенности по имеющимся эмпирическим данным и валидности тестирующей компьютерной технологии при определении профессиональных профилей школьников старших классов.

В результате обучения искусственной нейронной сети построена ИНС-модель профессиональных предпочтений учащихся 9–10 классов, которая может быть использована для их профилизации.

Адекватность модели проверили путем сравнения расчетных значений с результатами анкетирования профессиональных предпочтений школьников. В 72 % случаев ИНС-модель показала верные профессиональные профили; в оставшихся 28 % случаев был показан близкий профиль. Полученные результаты, на наш взгляд, следует считать приемлемыми для использования модели в профессиональной ориентации школьников.

Погрешность при обучении составила 0,83 при длине шкалы профилей, равной 8 единицам. Это означает, что при тестировании школьника с помощью ИНС-модели может быть получен как искомый профиль, так и два самых близких к нему.

Полученные результаты позволили говорить о возможности разработки на базе ИНС-модели экспертной системы для определения профессиональной предрасположенности абитуриентов.

Такая экспертная система должна включать в себя симулятор, построенный на основе искусственной нейронной сети с изменяющейся структурой, на основе которого формируется компьютерная модель обработки данных (интеллектуальное ядро) и тестирующей оболочки, позволяющей осуществлять сбор данных у респондента.

Ядром такой системы является нейросетевой симулятор, основные принципы построения которого описаны далее.

Известно, что возможности искусственных нейронных сетей (ИНС) при моделировании объектов различной природы зависят от их структуры, под которой обычно понимают число скрытых слоев, число нейронов в этих слоях, имеющуюся систему связей между нейронами и их активационные функции. Правильный выбор указанных параметров в значительной

82

степени позволяет достигать адекватности ИНС-модели реальному объекту. В настоящее время не существует общего алгоритма определения структуры ИНС, подходящей для каждой рассматриваемой проблемы. Часто такую структуру выбирают методом «проб и ошибок», который зачастую отнимает у исследователя много времени. В некоторых программных ИНСоболочках предусмотрена визуализация построения структуры сети.

Алгоритм самоорганизации структуры сети. Алгоритм базируется на двух эмпирических феноменах ее обучения, которые обычно наблюдаются при изменении числа нейронов в скрытом слое и количества скрытых слоев (см. рис. 2.18a, b).

На рис. 2.18a) показано, как изменяется ошибка обучения сети при изменении числа нейронов в скрытом слое. Видно, что вначале, при добавлении новых нейронов, ошибка убывает. Однако, начиная с некоторого числа нейронов, она стабилизируется так, что дальнейшее увеличение их количества не приводит к снижению ошибки обучения. По всей видимости, речь здесь может идти о непреодолимой погрешности, которую можно связать с несоответствием структуры ИНС-модели и моделируемого объекта. Можно сделать вывод, что увеличивать число нейронов в слое целесообразно лишь до тех пор, пока это приводит к уменьшению ошибки обучения (на рис. 2.18a это число – 4 или 5).

На рис. 2.18b) показано, как изменяется ошибка обучения сети при увеличении числа скрытых слоев, при условии, что выбор количества нейронов в каждом слое производится так, как это показано на рис. 2.18a. Из этого рисунка видно, что ошибка обучения сети быстро убывает до остаточного значения Fост, которое не может быть уменьшено в дальнейшем. По нашему мнению, такое значение Fост связано с погрешностью эмпирических данных, используемых при обучении сети. Из рис. 2.18b также хорошо видно, что информацию об уменьшении Fост можно использовать для выбора числа скрытых слоев. Так, ошибка обучения практически не меняется при использовании 3-х или 4-х скрытых слоев в ИНС (рис. 2.18b).

Рис. 2.18. Методика выбора числа нейронов в скрытом слое – a) и количества

83

скрытых слоев – b)

Рассмотренная феноменология обучения ИНС использована нами для конструирования эффективного алгоритма самоорганизации структуры. Суть алгоритма заключается в постепенном наращивании числа нейронов в каждом слое и числа скрытых слоев до тех пор, пока ошибка обучения сети Fост не перестанет уменьшаться (рис. 2.18a, b). Блок-схема такого алгоритма показана на рис. 2.19.

Вблоке 1 задают число входов ИНС – n (определяется постановкой задачи и зависит от числа факторов, оказывающих влияние на моделируемый объект), число выходов ИНС – k (определяется как число факторов, являющихся результатом моделирования и интересующих пользователя системы); начальное число слоев – S принимается равным нулю.

Вблоках 2 и 3 задаются начальные условия: начальная лучшая невязка для нейрона (BestError) – максимальное число используемого типа; начальная лучшая невязка для слоя (LayerBestError) – максимальное число используемого типа; начальная лучшая невязка для всей сети (NetBestError). В процессе конструирования сети данные невязки будут изменяться и достигать своего минимального значения.

Также пользователем задается величина delta – несущественное изменение невязки. Если разница между двумя невязками (полученной в настоящий момент времени и предыдущей) становится меньше величины delta, то построение слоя (в случае несущественного изменения BestError) или построение всей сети (в случае несущественного изменения

LayerBestError) будет прекращено.

Вблоке 4 задается первоначальное число нейронов в каждом из предполагаемых слоев ИНС равным нулю.

Вблоке 5 при переходе к построению нового слоя нейронов невязка сети получает то значение, которое получилось в конце построения предыдущего нейронного слоя.

Вблоке 6 в начале построения нового нейронного слоя счетчик слоев в сети – S увеличивается на единицу.

Вблоке 7 при подборе нового нейрона в текущем слое счетчик нейронов в этом слое – i увеличивается на единицу.

Вблоке 8 при подборе нового нейрона в текущем слое невязка данного слоя получает то значение, которое получилось в результате подбора предыдущего нейрона в слое.

Вблоке 9 при подборе активационной функции каждого нового нейрона в текущем слое осуществляется перебор всех уже имеющихся в наличии слоев ИНС.

Вблоке 10 осуществляется перебор всех нейронов в каждом из уже построенных слоев ИНС.

Вблоке 11 осуществляется перебор всех имеющихся в распоряжении пользователя активационных функций нейронов. Таким образом, имеется

84

возможность не просто подобрать активационную функцию только для одного (рассматриваемого в данный момент времени) нейрона при закрепленных активационных функциях остальных нейронов в сети, а произвести перебор всех имеющихся нейронов и, если это приведет к уменьшению значения невязки, поменять активационные функции некоторых из них.

Вблоке 12 производится обучение сети по определенному алгоритму (один из методов определения минимума функции многих переменных) и находится значение лучшей текущей невязки – ej.

Блок 13. Если произошло уменьшение лучшей текущей невязки – ej по сравнению с лучшей невязкой для подбираемого в данный момент времени нейрона – BestError, то управление передается к блоку 14, в противном случае осуществляется переход к новой активационной функции нейрона (блок 11).

Вблоке 14 номер активационной функции, при которой произошло уменьшение ej, записывается в массив FBest в строку с номером S (этот номер соответствует номеру слоя) и в столбец с номером i (этот номер соответствует номеру нейрона, активационная функция которого подбирается в данный момент времени).

Вблоке 15 значение невязки ej записывается в переменную BestError – теперь это значение будет лучшим для подбираемого нейрона.

Вблоке 16 осуществляется запись текущих значений коэффициентов синаптических связей.

Блок 17. Если произошло существенное уменьшение (на величину, большую, чем delta) величины лучшей невязки последнего нейрона (BestError) относительно лучшей невязки для последнего построенного слоя (LayerBestError), то можно добавить в текущий слой еще хотя бы один нейрон (см. блоки 18 и 19). В противном случае (если существенного уменьшения невязки не произошло), то добавление нового нейрона в текущий слой, вероятнее всего, не приведет к дальнейшему существенному уменьшению лучшей невязки, т. е. необходимо перейти к блоку 20.

Вблоке 18 осуществляется запись количества нейронов на последнем построенном слое.

Вблоке 19 производится восстановление начальных коэффициентов синаптических связей и осуществляется переход к блоку 7.

Блок 20. Если произошло существенное уменьшение (на величину, большую, чем delta) величины лучшей невязки последнего построенного слоя (LayerBestError) относительно лучшей невязки сети (NetBestError), то можно добавить в сеть еще хотя бы один нейронный слой: перейти к пункту 4. В противном случае (если существенного уменьшения невязки не произошло), то добавление нового слоя в сеть не приведет к дальнейшему уменьшению лучшей невязки сети, т. е. необходимо перейти к блоку 21.

Блок 21. Сеть построена.

85

Рис 2.19. Блок-схема алгоритма самоорганизации структуры искусственной нейронной сети

86

Программное обеспечение. Алгоритм, приведенный на рис. 2.19, реализован Крючиным О. В. в виде программной оболочки, осуществляющей следующие основные функции:

–ввод исходных данных для обучения сети (векторы x и y) из отдельных файлов; в программе реализуется концепция «обучение с учителем»;

–обучение ИНС по методам сканирования, Монте-Карло и гра-

диентному;

–визуализацию ошибки обучения сети по мере увеличения числа нейронов в слое и увеличения числа слоев;

–визуализацию структуры сети в виде схемы;

–запись в соответствующие файлы результатов обучения сети:

ееструктуры, коэффициентов передачи (синаптических связей), функций нейронов и погрешностей обучения.

При разработке программы были использованы следующие средства: в качестве IDE была выбрана среда CBuilder 6 компании Borland. Интерфейс программы был реализован с помощью библиотек Visual Component Library. Минимальные системные требования: операционная система

Microsoft Windows 98/ME/2000/XP, 64 Mb оперативной памяти. Программа не требует инсталляции и может быть запущена с любого носителя.

Пользовательский интерфейс программы. Для обучения нейронной сети необходимо ввести обучающую выборку входных и выходных элементов. В управляющем наборе «количество нейронов» следует указать число элементов во входном и выходном слоях (обычно эти сведения бывают понятны из структуры моделируемого объекта), а в наборе «пути к файлам» – имена текстовых файлов, в которых заданы обучающие выбор-

ки (рис. 2.20).

Рис. 2.20. Форма задания исходных данных для обучения искусственной нейронной сети

87

После задания исходных данных пользователь может начать обучение ИНС. Для изменения настроек процесса обучения можно использовать окно, показанное на рис. 2.21.

Рис. 2.21. Окно настроек процесса обучения сети с заданной структурой по эмпирическим данным

Вначале пользователь должен задать структуру сети. В случае выбора варианта «статическое» структура сети является жесткой и задается самим пользователем. Такой вариант может быть выбран, когда пользователь знает точную внутреннюю структуру моделируемого объекта. Для выбора заданной структуры следует в меню количества нейронов выбрать «статическое», а затем в меню формирования нейронов указать количество слоев (считая входной и выходной) и максимальное количество нейронов в слое (рис. 2.21). После нажатия кнопки «Создать» откроется окно с разметкой структуры сети, которую нужно заполнить нейронами. При нажатии левой кнопки мыши на пустом поле, в нем появляется нейрон, а при нажатии правой кнопки – меню, позволяющее выбрать активационную функцию нейрона. Нейроны отображаются в виде эллипсов, цвет которых зависит от активационной функции. Каждый нейрон предыдущего слоя оказывается связанным с каждым нейроном последующего слоя.

При выборе пользователем варианта «динамическое» ИНС может модифицировать структуру в процессе обучения. Здесь реализуется алгоритм самоорганизации, приведенный на рис. 2.19. Этот способ более предпочтителен в случае, когда пользователь точно не знает внутреннюю структуру моделируемого объекта. Поскольку в процессе своего обучения сеть сама модифицирует структуру связей, этот способ может быть использован для разработки компьютерных моделей объектов с неизвестной внутренней структурой (типа «черный ящик»), а также для структурной идентификации таких объектов. Учитывая, что критерием остановки про-

88

цесса обучения сети является ошибка обучения, сеть будет изменять свою структуру до тех пор, пока заданная погрешность не будет достигнута. Этот процесс может занимать значительное время.

В случае выбора варианта «динамическое» следует выбрать допустимую погрешность для каждого слоя и для остановки обучения (рис. 2.22). Следует также выбрать критерий остановки обучения (при проведении определенного количества итераций, при достижении определенной погрешности, при достижении погрешности, которая в определенное число раз меньше начальной, при повторении одной и той же погрешности несколько раз). Следует также отметить, что в этом случае активационные функции для каждого нейрона подбираются программой из числа отмеченных пользователем (рис. 2.22).

Для обучения сети можно использовать различные методы математического программирования: метод простого сканирования, Монте-Карло и градиентный. Каждый из перечисленных методов имеет свои особенности, которые влияют на время обучения сети.

Рис. 2.22. Окно настроек процесса обучения сети с самоорганизующейся структурой по эмпирическим данным

В зависимости от используемого метода, а также от способа формирования сети следует ввести еще несколько параметров. При выборе полного перебора следует указать, с каким шагом нужно подбирать числа из отрезка [0; 1]. При выборе метода Монте-Карло следует ввести шаг, определяющий диапазон изменения весов и число, определяющее, во сколько раз будет меняться шаг на каждой итерации. Также следует указать и количество итераций (при выборе остановки по числу итераций), число одинаковых погрешностей или погрешность (при остановке по абсолютной или относительной погрешности).

89

Таблица 2.6

Коэффициентысинаптическихсвязейнейроноввходного ипервогоскрытогослоевИНС-модели

92

Обучение ИНС проводили таким образом, что она автоматически выбирала структуру модели. Время обучения составило 2 недели непрерывной работы компьютера, при этом, приведенная погрешность составила не более 10 %, что позволило считать ИНС-модель адекватной реальному объекту (в данном случае объектом являлся социум, включающий учащихся старших классов школ г. Тамбова). Общая структура полученной сети показана на рис. 2.25, а ее коэффициенты синаптических связей приведены в табл. 2.6–2.9.

Таким образом, разработан многофункциональный программный комплекс (симулятор) для компьютерного моделирования на основе искусственной нейронной сети с самоорганизацией структуры. Комплекс предназначен для построения компьютерных ИНС-моделей объектов различного типа вне зависимости от их природы.

Таблица 2.7

Коэффициенты синаптических связей нейронов первого и второго скрытых слоев ИНС-модели

Таблица 2.8

Коэффициенты синаптических связей нейронов второго и третьего скрытых слоев ИНС-модели

Таблица 2.9

Коэффициентысинаптическихсвязейнейроновтретьегоскрытого ивыходногослоевИНС-модели

93

Примером использования симулятора является компьютерная модель социального объекта – модель личности школьников старших классов города Тамбова в плане их предпочтений к продолжению образования в университете и выборе специальности. Такая модель может быть использована для тестирования абитуриентов и выявления их профессиональных предпочтений. На ее основе нами разработана специальная тестирующая оболочка, выявляющая профессиональную предрасположенность абитуриентов, которая в настоящее время проходит проверку в старших классах школ города Тамбова.

Важными аспектами данной экспертной системы являются:

–система может легко адаптироваться к новому контингенту за счет переобучения нейросетевой модели симулятора по вновь поступившим эмпирическим данным;

–экспертная система адаптируется к региональным особенностям тестируемого социума;

–структура модельной части системы может изменяться во времени, тем самым, учитывая нестационарность тестируемого социума.

2.1.4. Идентификация уровней готовности студентов к трудовой деятельности

В предыдущем разделе была продемонстрирована технология разработки ИНС-модели, позволяющей осуществлять идентификацию уровня готовности абитуриентов к обучению в вузе. Естественно, что подобным образом, на основе эмпирических данных могут быть разработаны и другие системы тестирования. В частности, нами были разработаны ИНСмодели различных психологических тестов1, а также система, позволяющая тестировать студентов старших курсов ТГУ им. Г. Р. Державина на степень их предрасположенности к трудовой деятельности. Данная система базируется на результатах социологического опроса более чем 1000 студентов старших курсов2 и опубликована в работе3.

1Арзамасцев А. А., Зенкова Н. А. Моделирование в психологии на основе искусственных нейронных сетей. Тамбов. ИМФИ ТГУ им. Г. Р. Державина. 2003. 106 с. Арзамацев А. А., Зенкова Н. А. Система психологического тестирования на основе аппарата искусственных нейронных сетей // Искусственный интеллект. 2004. № 2. С. 237-242. Арзамасцев А. А., Зенкова Н. А., Кожевников Ф. Ю. Использование аппарата искусственных нейронных сетей для построения компьютерных моделей психологических тестов // Вестник ТГУ. 2006. Т. 11. Вып. 2.

С. 185-189.

2Арзамасцев А. А., Зенкова Н. А. Социологическое исследование студентов Тамбовского государственного университета им. Г. Р. Державина. Тамбов: ИМФИ ТГУ имени Г. Р. Дер-

жавина, 2005. 63 с.

3Арзамасцев А. А., Азарова П. А., Зенкова Н. А. Модель профессиональных и личностных качеств студентов университета на основе искусственной нейронной сети с адаптивной структурой // Вестник ТГУ. 2007. Т. 12. Вып. 5. С. 633-639.

94

2.1.5.Другие идеи

Впредыдущих разделах были изложены некоторые наши работы в области использования систем искусственного интеллекта в области психологических и социальных наук.

Приведем здесь некоторые наши идеи в данной области. Большая их часть уже подтверждена нашими исследованиями, некоторые еще нуждаются в проверке, а последние имеют смысл гипотез.

Идея 1. С помощью аппарата искусственных нейронных сетей возможно построить адекватные модели существующих систем психо-

логического тестирования. При этом адекватность модели может быть обеспечена за счет обучения (адаптации) ИНС к матрице данных, полученных в ходе многократного рандомизированного прогона теста, с помощью выбора структуры сети, активационных функций нейронов и коэффициентов синаптических связей. Подтверждение этой идеи на примере ИНС-модели теста Йовайши Л. А. приведено в разделе 2.1.1.

Идея 2. Используя адекватную ИНС-модель психологического теста, возможно полностью восстановить его внутреннюю структуру (связи отдельных вопросов или заданий с результатами тестирования,

значимость ответов и т. д.). Дело в том, что компьютерные тесты или тестирующие программы в основном представляют собой выполняемые (двоичные) файлы, «заглянуть» внутрь которых непосредственно не представляется возможным. Однако часто разработчики новых тестов хотели бы знать, какие корреляционные зависимости, закономерности используют авторы уже существующих программ. Обеспечение «прозрачности» тестов важно также и при оценке их валидности, поскольку в этом случае большое значение имеют не только адекватные результаты, полученные в ходе тестирования контрольной группы, но и устройство или структура самого теста. Поскольку, в отличие от выполняемого файла теста, его ИНСмодель открыта, как в смысле ее структуры, так и в смысле значений коэффициентов синаптических связей, то с ее помощью удобно проводить исследование существующих систем тестирования.

Необходимо отметить, что при использовании указанной процедуры естественным образом решаются и правовые проблемы, связанные с получением информации из существующей системы тестирования. Действительно, если речь идет о системе психологического тестирования, представляющей собой свободно распространяемый программный продукт (типа freeware или shareware), то никто не ограничивает пользователя в плане построения адекватной модели такой системы. Дальнейшие же действия, связанные с извлечением полезной информации о структуре и содержании теста, проводятся уже не на нем самом, а на его модели, что должно быть истолковано, как исследование ее свойств.

95

Подтверждение этой идеи на примере ИНС-модели теста Йовайши Л. А. приведено в разделе 2.1.1.

Идея 3. Поскольку любая система психологического тестирования в определенном смысле представляет собой модель личности, то аналогичным образом, в принципе, возможно восстановить структуру и содержание свойств личности (индивида). Под структурой свойств личности будем понимать наличие отдельных компонентов и их взаимосвязь, определяющие реакции индивида на внешние воздействия. Под содержанием будем понимать наполненность каждого из компонентов конкретными свойствами индивида, которые могут быть объективно получены путем его изучения с помощью различных экспериментальных методик, системы тестов, а также наблюдения за ним.

Наибольшие проблемы в реализации этой идеи могут возникнуть в выборе исходной структуры ИНС-модели и получении достоверной информации при ответе респондента на вопросы.

Однако проблем, связанных с выбором исходной структуры можно избежать, если в качестве начальной выбирать некоторую избыточную структуру ИНС. Можно, например, в качестве исходной выбрать структуру, в которой количество входных нейронов равно количеству заданий теста, количество выходных нейронов – количеству тестируемых свойств индивида, а все нейроны нескольких промежуточных слоев связаны друг с другом. В ходе параметрической идентификации ИНС-модели несущественные связи могут быть удалены, а оставшиеся и определят искомую структуры модели.

Проблему, связанную с возможным получением недостоверной информации в ходе тестирования респондента можно решить, если предлагаемые ему задания в явном виде не содержат информации, так или иначе связанной с определяемыми в ходе этого тестирования качествами. Например, если предлагать тестируемому выбрать из совокупности нескольких цветов или геометрических образов один единственный, то в большинстве случаев выбор будет в значительной степени интуитивным. При этом, если выбор объекта коррелирует с определяемым качеством индивида, то цель указанной процедуры будет достигнута.

Идея 4. На основе аппарата искусственных нейронных сетей можно разработать систему тестирования, являющуюся промежуточным вариантом нескольких существующих тестов, так что в ИНСмодели могут быть объединены необходимые исследователю свойства различных систем тестирования. Можно также создать и несколько промежуточных вариантов, отличающихся как унаследованными от их тестов-предшественников выбранными заданиями, так и их значимостью в общей оценке свойств индивида. Возможно также взять за основу существующую систему тестирования, дополнив ее вновь вве-

денными заданиями. Указанные в этой идее возможности необходимы в

96

тех случаях, когда ни одна из существующих (ранее разработанных) систем тестирования не решает в полной мере поставленной исследователем проблемы. Однако некоторые ее части (компоненты) являются вполне приемлемыми. Исследователь сам может трансформировать существующую систему тестирования (или несколько систем тестирования) в нужном ему направлении путем объединения различных существующих программ или дополнения их своими заданиями.

Идея 5. Развитием идеи 4 является возможность эволюционной трансформации ИНС-теста (системы тестирования) путем его дополнения новыми заданиями и адаптации модели к эмпирическим данным до тех пор, пока она не будет полностью настроена на социум. В этом случае речь идет о построении на основе ИНС адаптивных систем тестирования.

В условиях динамично меняющегося общества имеет место нестационарность социума (социально-психологического объекта), обусловленная значительными изменениями традиционной системы связей, ценностей и взаимоотношений субъектов. По этой причине существующие технологии психологического тестирования, опирающиеся на статистические стационарные связи (корреляционные зависимости), имеют ограниченное время жизни. Адаптивная тестирующая система позволяет преодолеть этот недостаток, так как она имеет возможность адаптации к изменившимся условиям путем обучения ИНС-модели на вновь поступающих в процессе тестирования экспериментальных данных. Для такой постоянно эволюционирующей системы тестирования можно говорить о биологических аналогах.

Идея 6. Для реализации адаптивного теста можно использовать модуль первоначальной настройки, обеспечивающий выбор определенной модели личности, а затем тестирование проводить по выбранной модели личности и соответствующей ей ИНС-модели.

Идея 7. Искусственные нейронные сети можно использовать для медицинской диагностики пациентов. Процедура такой диагностики может быть построена следующим образом. С пациентом проводят обычную процедуру сбора предварительных анализов. Их результаты вводятся в качестве исходных данных в ИНС-модель, полученную на основе ранее накопленной информации. Модель в таком случае может дать осредненный для всех предыдущих пациентов диагноз. После подтверждения (или опровержения) диагноза результаты анализа исследуемого пациента и его диагноз также вводятся в обучающую совокупность и сеть переучивается вновь. При таком подходе точность диагностики должна увеличиваться с увеличением числа пациентов. Необходимо отметить также, что из-за наличия у аппарата ИНС аппроксимационных свойств, точность диагностики

97

будет тем выше, чем свойства пациента (его организма) ближе к среднестатистическим. Данная идея реализована нами в работе1.

Идея 8. На основе искусственных нейронных сетей возможно построение модели индивидуального здоровья человека. Предыдущая идея касается лишь грубой диагностики, справедливой для «среднестатистического пациента». Для построения ИНС-модели индивидуального здоровья человека процедура должна быть несколько иной. В ходе предварительного тестирования определяется принадлежность пациента к определенному классу. Принадлежность к такому классу позволяет осуществить выбор «правильной» ИНС-модели. После этого все действия, описанные в предыдущей идее, повторяются.

Идея 9. Для того, чтобы нейронная сеть, обученная на одних эмпирических данных, могла быть дополнена новой структурой связей и затем дообучена на новых данных, необходимо разработать такую про- грамму-оболочку ИНС, чтобы при обучении она не трогала связи и коэффициенты синаптических связей старого ядра, а дообучалась, изменяя (подбирая) коэффициенты синаптических связей только новой части. В

существующих в настоящее время оболочках такой возможности нет.

Идея 10. Телепортация сознания одного индивида в другого или в компьютер. Если бы можно было узнать структуру нейронной сети человека и коэфициенты передачи нейронов, и можно было бы эту информацию перенести на другого индивида или смоделировать ее на компьютере, то, возможно, что другой человек и компьютер в этом случае оказались бы обладателями памяти, манер действий и сознания первого человека.

Следует отметить, что некоторые из приведенных здесь в качестве идей положений кажутся в значительной степени фантастичными, т. к. не все они нашли свое объективное подтверждение в данной работе или других исследованиях. Однако не следует спешить с выводами. Авторам удалось на своем личном опыте убедиться в необычайно высокой обучаемости ИНС, способности этого аппарата, базируемого на относительно простых элементах, решать весьма сложные задачи распознавания образов в случаях, когда исходные данные сильно зашумлены, избыточны или неполны. По сравнению с классическими методами, ИНС обнаруживают значительное сходство в получаемых результатах с естественным интеллектом, характерным для биологических объектов. По всей видимости, указанные свойства являются следствием массового параллелизма при обработке информации. Приведенные здесь рассуждения, а также быстрый прогресс в области информатики и компьютеростроения позволяют авторам надеяться на реализуемость в дальнейшем указанных положений.

1 Арзамасцев А. А., Зенкова Н. А., Неудахин А. В. Технология построения медицинской экспертной системы на основе аппарата искусственных нейронных сетей // Информационные технологии. 2009. № 8. С. 60-63.

98

2.2. Прогнозирование временных рядов на основе ИНС-моделей и практические применения1

Задачи прогнозирования временных рядов на основе математических моделей возникают в различных областях: естественных и технических науках, экономической сфере, социологических и других исследованиях.

Наиболее часто для решения указанных проблем используются методы математической статистики и различные типы авторегрессионных моделей.

Недостатками таких методов являются:

–отсутствие в модели представлений о структуре и системе связей реального объекта, что вносит субъективизм в выбор как самой модели, так и ее структуры;

–трудность построения моделей при условии, что данные хранятся в разных временных рядах и (или) имеют временные сдвиги относительно друг друга;

–недостаточная точность прогноза;

–значительная чувствительность получаемых результатов к недостатку информации и (или) ее зашумленности;

–потребность в высокой квалификации математиков-програм-

мистов;

–зависимость результата прогноза от квалификации аналитика в конкретной предметной области.

Указанные недостатки приводят к необходимости постановки и решения научной задачи, которая заключается в разработке новых математических моделей на основе систем искусственного интеллекта, алгоритмов

испециализированного программного обеспечения, повышающих надежность и точность прогнозов, способных работать в условиях недостатка информации и (или) ее зашумленности, позволяющих получить результат за короткое время (что особенно важно для задач оперативного управления). Программные реализации данных алгоритмов должны иметь дружественный интерфейс для пользователя, позволять специалисту конкретной предметной области моделировать процесс самостоятельно, без участия специалиста-математика.

Одним из методов решения научной задачи является применение для прогнозирования временных рядов математических моделей, основанных на использовании аппарата искусственных нейронных сетей (ИНС), включающего в себя развитую методологию структурного моделирования и методов обучения, базируемых на хорошо развитой теории нелинейного программирования. Однако использование ИНС для решения задач прогнозирования временных рядов до настоящего времени развито в недостаточной степени.

1 В разработке данного раздела принял участие Козадаев А. С.

99

По этой причине следует считать актуальной тему научного исследования, направленную на разработку специализированных ИНС-моделей, соответствующих алгоритмов и программного комплекса, предназначенных для решения задач анализа и прогнозирования временных рядов.

2.2.1. Теоретические основы

Приведем основные определения, используемые в данном разделе.

Под искусственной нейронной сетью будем понимать адекватную в некотором смысле компьютерную модель биологической нейронной сети, отличающуюся от аналога в количественном отношении, но использующую базовые принципы устройства прототипа. В математическом плане ИНС – это набор определенных процедур, хорошо известных в различных областях математики (теория графов, численные методы, методы аппроксимации, методы нелинейного программирования и др.), объединенных с помощью компьютерной программы; универсальный аппроксиматор для функций многих переменных.

Временным рядом будем называть последовательность упорядоченных во времени числовых показателей, характеризующих развитие изучаемого явления или процесса.

Под обучением ИНС-модели будем понимать целенаправленный процесс изменения значений весовых коэффициентов, повторяемый до тех пор, пока сеть не приобретет необходимые свойства.

Рассмотрим порождающий объект и его временной ряд. Пусть объект, порождающий временной ряд, имеет следующую схему (рис. 2.26). Будем считать, что размерность вектора входных координат такого объекта задана и равна n. Выходной величиной объекта является лишь одна координата – y. Отметим, что таким образом представим широкий класс объектов встречающихся в различных областях знаний.

Рис. 2.26. Схема порождающего объекта. x1, x2,…, xn – входные координаты объекта, y – выходная координата объекта

Будем считать заданными временные изменения x1(t), x2(t),…, xn(t) на отрезке t [t0,tk]. Математическая модель такого объекта в операторной форме обычно имеет вид:

100

–вектор{y} и все векторы {x1},{x2},..,{xn } являются наблюдае-

мыми; назовем задачу оптимального выбора структуры и настроек ИНС для моделирования и прогнозов данного временного ряда задачей 2;

– наблюдаемыми является вектор {y} и часть векторов {x1},{x2},..,{xn}; в этом случае необходимо допустить, что вся информация от

ненаблюдаемых входных векторов также содержится в векторе {y}; назовем задачу оптимального выбора структуры и настроек ИНС для моделирования и прогнозов данного временного ряда задачей 3.

В соответствии с теоремами А.Н. Колмогорова о представимости функций нескольких переменных с помощью суперпозиций и сумм функций одного переменного, можно утверждать, что каждая непрерывная функция n переменных, заданная на единичном кубе n-мерного пространства, представима в виде:

где функции hq (u) непрерывны, а функции ϕqp (x p ), кроме того, еще и стан-

дартны, т. е. не зависят от выбора функции f. Так, например, функция 2-х переменных x1 и x2 может быть представлена в виде:

q=1

Сточки зрения схемотехники ИНС уравнение (2.7) может быть представлено с помощью следующей ИНС-модели (рис. 2.27).

Для функции n переменных число синаптических связей, соответствующее формуле (2.6) и общему принципу схемотехники ИНС (рис. 2.27), составит:

Очевидно, что число строк в обучающей выборке должно быть не меньше числа степеней свободы. Учитывая, что число строк в обучающей выборке можно выразить как P2 = k – n – h +1 (здесь k – общее число членов временного ряда, h – дальность прогноза по ИНС-модели, см. рис. 2.28, получим, что должно удовлетворяться следующее неравенство:

решением которого будет:

102

При этом обучающая выборка для произвольного, заданного числа входов ИНС для задачи 1 может быть задана матрицами:

При этом начальная структура1 сети ИНС-модели будет следующей: один слой из n входных нейронов, скрытый слой из n (2n +1) нейронов, реализующих преобразование в соответствии с функциями нейронов

ϕqp (x p ) , скрытый слой из (2n +1) нейронов, реализующих преобразование

всоответствии с функциями нейронов h (рис. 2.27) и выходной слой, состоящий из одного нейрона. Эта структура сети в дальнейшем может быть усложнена в соответствии с алгоритмом, описанным в главе 1.

Для определения оптимального числа входов ИНС – n для задачи 1 необходимо определить минимум функционала:

Вектор w определяется структурой сети S, которая, в свою очередь, связана с числом ее входов n так, что имеется однозначное соответствие n и w(S). Поэтому вектор w*, зависящий от структуры сети и минимизирующий функционал (2.13), соответствует оптимальной ИНС-модели данного

временного ряда {y} и может быть определен как:

где область Ω характеризует возможные значения векторов весовых коэффициентов, соответствующих структурам сетей, для которых выполняется условие (2.11). Необходимо отметить, что для минимизации функционала (2.13) и поиска аргументов, соответствующих его минимуму (2.14), в исследовании используются хорошо развитые в настоящее время методы нелинейного программирования. После определения оптимальной ИНС-мо-

дели временного ряда {y} ее структура является также определенной, что позволяет говорить и о нахождении оптимального числа входов такой модели – n*. На рис. 2.28 показано, что количество обучающих векторов всегда будет меньше, чем размер исходного ряда на (n+h).

1 Теорема А. Н. Колмогорова не дает информации о виде нелинейностей ИНС-модели, поэтому ее рекомендации, соответствующие уравнению (6), можно рассматривать лишь как начальную структуру сети, которая в дальнейшем будет усложняться по специальному алгоритму, описанному в следующих разделах.

104

При рассмотрении множественных временных рядов необходимо рассчитать коэффициенты парной корреляции (2.15) для выявления необходимого смещения (2.16) при формировании обучающей выборки.

Тогда обучающая выборка с учетом временных сдвигов для решения задач 2 и 3 может быть задана матрицами:

2.2.2. Программный комплекс и вычислительные эксперименты

Программный комплекс для моделирования временных рядов разра-

ботан в среде Borland ® Turbo Delphi ® for Microsoft ® Windows TM Copyright © 2005 Borland ® Software Corporation. Структура данного комплекса продиктована постановкой задачи и включает в себя программные реализации алгоритмов предварительных преобразований (применение методов фильтрации и формирование обучающих выборок) и нейросетевого моделирования.

Программный комплекс состоит из двух подсистем: подсистемы предварительной обработки данных в задачах прогнозирования временных рядов и подсистемы нейросетевого моделирования.

Подсистема предварительной обработки данных состоит из четырех компонент: 1) модуль формирования обучающей выборки для одиночных временных рядов; 2) модуль формирования обучающей выборки для множественных временных рядов; 3) модуль фильтрации; 4) модуль анализа обучающей выборки.

Модуль формирования обучающей выборки позволяет создавать последнюю для одиночных рядов с учетом требований, сформулированных в начале данного раздела.

С помощью модуля фильтрации производится удаление пропусков в исходном временном ряде. В программной реализации в качестве фильтров применены ортогональные вейвлеты (вейвлет Добеши) с использова-

105

нием быстрого вейвлет-преобразования (алгоритм Малла). Поскольку модуль формирования обучающей выборки для одиночного временного ряда и модуль фильтрации объединены в одно программное решение, допустимо формирование выборки из исходного или преобразованного множества (по выбору пользователя). На данное программное решение получено свидетельство о государственной регистрации программы для ЭВМ1.

Модуль формирования обучающей выборки для множественных временных рядов предназначен для формирования выборки сучетом задач 2 и 3.

Модуль анализа обучающей выборки предназначен для оценки качества ранее сформированной (вне данного программного комплекса) выборки. Оценка качества ведется на основании выполнения основных требований к формированию обучающей выборки – принципов повторяемости и непротиворечивости.

Рис 2.29. Корреляция эмпирических данных по плотности популяции креветки в Индийском океане и расчетов по ИНС-модели

1 Свидетельство о государственной регистрации программы для ЭВМ 2008611022 Российская Федерация. Программа вейвлет-анализа и предварительной обработки данных для обучения искусственной нейронной сети / А. С. Козадаев, А. А. Арзамасцев. (RU); правообладатели А. С. Козадаев, А. А. Арзамасцев. № 2008611022; заявл. 28.12.07; зарегистрировано в реестре программ для ЭВМ 26.02.08. – 1 с.

106

Подсистема нейросетевого моделирования представлена эмулятором искусственной нейронной сети, в основу которого положена ИНС – многослойный персептрон, обучаемый по модифицированному алгоритму обратного распространения ошибки. Модификация состоит в дополнении алгоритма автоматической конфигурацией на этапе структурного синтеза, что позволяет получить адекватную ИНС-модель временного ряда с минимальными затратами времени.

Программный комплекс проверяли при прогнозировании реальных временных рядов по: температуре воздуха в г. Тамбове, 2000–2005 гг., численности популяции креветки в Индийском океане, 1996–1998 гг., значениям котировок на рынке Forex, 2003–2004 гг.

Так, на рис. 2.29 показан результат моделирования временного ряда, содержащего данные о популяции креветки в Индийском океане, с заданной дальностью прогноза h = 1, что соответствует реальной продолжительности в 10 суток. За счет выбора оптимальной структуры сети и параметрической идентификации ИНС-модели была достигнута средняя относительная погрешность обучения 0,03 %, что позволило получить прогноз

спогрешностью в 0,08 %.

2.3.Системы распознавания речи

Ученые, инженеры, писатели и другие творческие работники, а также и политические деятели значительную часть своего рабочего времени обычно посвящают написанию различных текстов: статей, книг, описаний, документов и т. д. Подготовка таких материалов требует много сил и энергии. В то же время, подготовка этих же материалов в виде устного доклада, сообщения или рассказа требует значительно меньших ресурсов. Поэтому актуальными являются следующие желания.

Желание 1. Автор диктует компьютеру текст, лёжа на диване, а на выходе принтера появляется красиво отпечатанная книжка, диссертация или дипломная работа!

Желание 2 (более скромное). Автор диктует, а компьютер записывает сказанное в текстовый файл.

Основная идея: найти в образах звуков (слов) некоторые существенные различия и использовать их при идентификации этих образов и записи их текстовых вариантов в файл. Так, мы должны иметь библиотеку образов и их текстовых аналогов. Образы различаем, а аналоги пишем в файл. Позже файл еще можно проверить на наличие ошибок.

Главный вопрос: Что может выступать в качестве таких образов?

107

2.3.1. Существующие подходы

Рассмотрим изображение нашей речи в амплитудно-временной области (рис. 2.30). Именно такой сигнал мы увидим, если проведем визуализацию сигнала со звуковой карты компьютера или микрофона.

Может показаться, что изображения отдельных слов значительно различаются. Поэтому, первые идеи, которые обычно приходят к разработчику системы распознавания речи следующие:

–данная задача не такая уж трудная, если отдельные слова различаются их графическими образами весьма существенно (рис. 2.30);

–совсем не трудно придумать какой-либо алгоритм, способный различать такие образы, которые представлены на рисунке.

Однако на деле все обстоит куда более сложно, о чем косвенно свидетельствует и тот факт, что до настоящего времени так и не разработано эффективных программ не только для русского, но и для английского языков.

Приведем здесь лишь некоторые причины сложности данной проблемы:

–образы слов, фонем, звуков, аналогичные, приведенным на рис. 2.30, существенным образом зависят от диктора, что делает результаты работы системы, основанной на распознавании подобных образов, пригодной лишь для одного диктора, для которого и была получена библиотека образов;

Рис. 2.30. Изображение (амлитудно-временная характеристика) речи – диктор произносит цифры «раз, два, три, четыре, …, десять» – a). По оси абсцисс – время, по оси ординат – амплитуда сигнала. Моно, частота 44100 Hz, битовая глубина 16 bit. Слово «один» – b) и слово «девять» – c) с лучшим разрешением по времени

108

–часто графические образы различных слов и фонем очень похожи друг на друга (как для различных, так и для одного диктора), что делает малоэффективными любые алгоритмы их распознавания;

–некоторые слова очень похожи в произношении; их можно различить исключительно по контексту;

–человеческая речь часто не является правильной;

–громкость звука, тембр голоса, наличие звукового фона, эха и задержек усложняет распознавание речи.

Несмотря на указанные сложности, механизм распознавания речи человека и высших животных работает исключительно надежно! Это позволяет надеяться, что подобные алгоритмы, в конце концов, будут созданы!

К наиболее распространенным алгоритмам, которые уже сейчас широко используются, но не принесли пока ожидаемого успеха можно отнести следующие идеи.

Простой коррелятор. В соответствие с этой идеей предполагается построить коррелятор, т. е. программу, которая определяет взаимокорреляционные функции двух объектов: временного ряда, соответствующего некоторому заданному образу (библиотека образов) и идентифицируемому образу; образ считается соответствующим заданному, если его коэффициент корреляции самый высокий среди всех образов библиотеки:

Данный алгоритм тестировался одним из первых. Он оказался вполне приемлемым для распознавания ограниченного (несколько сотен) набора слов, произнесенных одним диктором. При смене диктора алгоритм не обеспечивает должное качество распознавания.

Метод моментов инерции. В соответствие с этой идеей предполагается, что моменты инерции, рассчитанные для различных образов, различаются между собой «сильнее», чем, например, их взаимокорреляционные функции (2.18). Кроме того, предполагается, что в этом случае зависимость от диктора является более «слабой». Моменты инерции для A(t) могут быть рассчитаны по следующим формулам (рис. 2.31):

a

109

Здесь, уравнение (2.19) представляет собой момент инерции дуги однородной кривой, а уравнение (2.20) момент инерции однородной плоской фигуры (рис. 2.31).

Рис. 2.31. К расчету моментов инерции геометрических фигур. В качестве y(x) может быть выбрана зависимость A(t) – рис. 2.30

При тестировании данного алгоритма оказалось, что он имеет все недостатки, присущие коррелятору.

Методы распознавания, базируемые на спектральном анализе. В

настоящее время наибольшее распространение в системах распознавания речи нашли методы спектрального анализа (Преобразование Фурье).

В задачах распознавания образов бывает необходимо заменить периодическую функцию f(x) с периодом T точно или приближенно следующей тригонометрической суммой:

где, ω = 2π/T. Приближение sn(x) к f(x) является наилучшим, если за коэффициенты ak и bk (k = 0,1,2,…) выбраны коэффициенты Фурье данной функции:

110

Если, для некоторой совокупности значений x, sn(x) при n→∞ стремится к определенному пределу s(x), то для этих x мы имеем сходящийся ряд Фурье данной функции f(x):

s(x) = a20 +a1 cosωx +a2 cos2ωx +... +an cosnωx +... + +b1 sin ωx +b2 sin 2ωx +... +bn sin nωx +...

Ряд Фурье может быть также записан в виде:

s(x) = a20 + A1 sin(ωx +ϕ1) + A2 sin(2ωx +ϕ2 ) +... + An sin(nωx +ϕn ) +..., (2.25)