2.3. Имитационное моделирование обучения системы управления решению некоторых задач

“Рефлекс цели имеет огромное жизненное значение, он есть основная форма жизненной энергии каждого из нас” И.П.Павлов. “Рефлекс цели”

2.3.1. Имитационное моделирование процесса обучения поиску заданного предмета

Обучаемые системы управления позволяют использовать в процессе обучения не все возможные ситуации, общее количество которых может быть огромным, а только те, которые характерны для достижения поставленной перед роботом цели и необходимы по мнению обучателя. Прежде всего, в обучаемую выборку входят, очевидно, целевые ситуации, количество которых в каждой отдельной задаче невелико. Например, в задачах поиска, уклонения и в некоторых случаях автоматического регулирования (при одноэкстремальной оптимизации) используется по одной целевой ситуации, а в задачах раскладки-сортировки предметов и сборки узлов количество целевых ситуаций соизмеримо с числом обрабатываемых предметов. Кроме целевых ситуаций в обучаемую выборку должны входить некоторые другие дополнительные, опорные ситуации. Обучаемые системы управления не предъявляют жестких требований ни к выбору дополнительных ситуаций, ни к их количеству: дело обучателя – какие ситуации вводить в обучаемую выборку, а какие нет, т.е. реализуется активный метод обучения. Представляется возможным, в качестве дополнительных принимать не только конкретные ситуации, взятые из живого опыта, но и собирательные или обобщенные ситуации [68, 73]. Рассмотрим пример использования в обучаемой выборке обобщенных ситуаций и оценим их эффективность.

Допустим, требуется обучить робот поиску предмета (ключа), произвольно расположенного среди прочих предметов. Совместим технический глаз робота с его схватом. Такая схема расположения глаз, кстати, широко распространена в животном мире, особенно у хищников, которым приходится преследовать и хватать подвижную добычу. Роль схвата при этом играет пасть животного, заданной цели – его жертва. Имитационное моделирование обучения поиску цели проведем используя вычислительную модель обучаемой системы управления. Примем, что система очувствления робота включает 25 фотоэлектрических рецепторов сетчатки технического глаза и один датчик команды на поиск. Будем считать, что возбуждение фотоэлектрического рецептора прямо пропорционально зависит от степени затемнения его окна изображением предмета и может изменяться в пределах b_1...25= (0 , . . . , 10,0). Датчик наличия искомого предмета – двоичный: b₂₅ = (0; 1). Технический глаз может перемещаться по относительным координатным осям x и y и вращаться вокруг своей оси. Двигатели по всем координатным осям (x, y,  ) управляются по скорости, т.е. сигналы управления E(x), E(y) и E( ) определяют скорость движения технического глаза по соответствующей оси. Примем ограничения, продиктованные относительной системой координат. Платформа, на которой располагаются предметы, имеет ограждения для предотвращения выхода технического глаза за ее пределы. Стержень ключа должен быть направлен вправо. Исходное положение глаза – слева от искомого предмета. Принятые ограничения примерно соответствуют тем, которые используются в задаче поиска и человеком. Целевой ситуацией данной задачи является положение, когда сетчатка технического глаза совмещена с искомым ключом, при этом стержень ключа направлен вдоль оси x (рис.2.14,а). В этой ситуации обучатель, очевидно, должен задавать сигналы управления по всем координатным осям равными нулю: E(x) = 0; E(y) = 0; E( ) = 0. В пассивном режиме обучения в качестве дополнительных ситуаций обучаемой выборки необходимо было бы “проиграть” все возможные ситуации при различном наборе посторонних предметов и при различном их расположении на платформе. С появлением некоторого опыта обучения обучаемую выборку можно сократить за счет использования наиболее характерных дополнительных ситуаций. Но наиболее эффективным методом обучения является метод с использованием обобщенных ситуаций. К ним можно отнести прежде всего ситуацию, когда в поле зрения технического глаза нет никаких предметов, т.е. возбуждения всех рецепторов сетчатки равны нулю (рис.2.14,б,слева). Обобщенной ситуацией, отражающей попадание в поле зрения глаза любого предмета, кроме искомого, является полное перекрытие поля зрения, когда максимально возбуждены все рецепторы сетчатки (рис.2.14,б,справа). И в том и в другом случаях скорость движения по оси x можно задать любой положительной. По оси y смещение глаза должно быть всегда в сторону любого предмета, попавшего в его поле зрения (рис.2.14,в). Технический глаз должен поворачиваться вокруг своей оси, если обобщенный продолговатый предмет расположен в его поле зрения повернутым на некоторый угол (рис.2.14,г).

Рис.2.14. Ситуации обучаемой выборки для обучения поиску ключа

Допустимые отклонения на сигналы управления E(x), E(y) и E( ) в целевой ситуации должны быть малыми с тем, чтобы обеспечить точный захват предмета. В дополнительных ситуациях требования к точности сигналов управления могут быть снижены вплоть до обеспечения лишь заданного направления движения. Такое снижение требований к точности способствует сокращению длительности обучения. Важное значение имеет соотношение номинальных величин сигналов управления E(x), E(y) и E( ) во всех дополнительных ситуациях, которое должно выбираться таким, чтобы предотвратить проскакивание глаза мимо искомого предмета. Из этих же соображений должна выбираться ширина платформы. Целью обучения является формирование весовых коэффициентов c_i(k) отдельно по каждой координатной оси k. Обучение сводится к согласованию сигналов управления E_j(k) с соответствующими ситуациями обучаемой выборки. В обучаемых системах управления коррекция весовых коэффициентов c_i(k) на каждом шаге обучения (при предъявлении очередной ситуации обучаемой выборки) производится автоматически и одновременно. Величина поправки  c_i(k) определяется возбуждением соответствующего рецептора b_i и общей командой на коррекцию, задаваемой обучателем из соображений устранения рассогласований  E_j(k). При этом все рецепторы оказываются обезличенными, т.е. обучатель не имеет дела с каждым рецептором в отдельности. При использовании вычислительной модели обучаемой системы управления (формула 2.5) коррекция каждого весового коэффициента осуществляется отдельно. После завершения процесса обучения (при достижении заданной точности сигналов управления в каждой ситуации обучаемой выборки) получены следующие значения весовых коэффициентов c_i(k) (табл. 2.):

Таблица 2

Весовые коэффициенты рецепторов
Номер рецептора	По оси X	По оси Y	Поворот 
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26	0,0913176 0,0913176 0,0913176 0,0913176 0,0913176 – 0,0445715 – 0,1193106 – 0,0139965 0,0913176 0,0913176 – 0,0785438 – 0,2484054 – 0,2484054 – 0,1804608 – 0,1668719 – 0,0445715 – 0,1193106 – 0,0139965 0,0913176 0,0913176 0,0913176 0,0913176 0,0913176 0,0913176 0,0913176 10,000000	0,1363635 0,1363635 0,1363635 0,2727271 0,2727271 0,1363640 0,1363642 0,1363639 0,2727271 0,2727271 0,0000005 0,0000010 0,0000010 0,0000008 0,0000008 – 0,1363627 – 0,1363625 – 0,1363628 – 0,2727263 – 0,2727263 – 0,1363631 – 0,1363631 – 0,1363631 – 0,2727263 – 0,2727263 0,0000001	– 0,6923000 – 0,6923000 0,0000067 0,6923135 0,6923135 – 0,6923061 – 0,3461527 0,0000087 0,3461635 0,6923135 – 0,0000008 – 0,0000017 – 0,0000017 0,0000012 – 0,0000048 0,6923074 0,3461540 0,0000087 – 0,3461432 – 0,6923000 0,6923135 0,6923135 0,0000067 – 0,6923000 – 0,6923000 – 0,0000001

На рис.2.15 представлена стробоскопия движения технического глаза при поиске ключа. Построение выполнено следующим образом. В любом положении технического глаза определяются возбуждения b_ij фоторецепторов сетчатки, вычисляются по формуле 2.1 значения сигналов управления E_j по всем осям k , и после этого технический глаз смещается на соответствующие расстояния в определенном направлении. Движение начинается с исходного, крайнего левого положения при наличии на платформе искомого предмета (b₂₆ = 1). Для усложнения поиска на платформе находятся посторонние предметы, площадь изображения которых равна, больше или меньше площади изображения ключа.

Рис.2.15. Стробоскопия движения технического глаза при поиске ключа 1 – сетчатка рецепторов; 2 – датчик наличия искомого предмета; 3 – искомый предмет; 4 – посторонние предметы; 5 – платформа; 6 – коридор движения технического глаза

Как видно из рис.2.15, технический глаз реагирует на каждый предмет, попадающий в его поле зрения: смещается в его сторону, замедляет свою скорость при приближении к нему и ориентируется относительно его продольной оси, однако не останавливается ни на одном из искомых предметов. Только при попадании в поле зрения ключа, после необходимой ориентации, глаз останавливается. Цель достигнута. Поиск можно повторить при ином взаимном расположении предметов, при наличии других посторонних предметов, при иной ориентации ключа, и всегда он будет успешным при условии правильного обучения. Обучаемые системы управления могут обучаться в пассивном режиме, когда обучатель, методом “понукания” или “вождения за руку”, “натаскивает” объект управления на достижение поставленной цели в условиях реальной обстановки. Так, в рассмотренном примере поиска ключа, обучатель должен был бы в процессе обучения использовать ситуации с различными положениями искомого и посторонних предметов, с различным набором посторонних предметов и т.д. Другими словами, в обучаемую выборку должно было бы войти большое число конкретных ситуаций. При этом появление на платформе после завершения обучения иных посторонних предметов вынуждало бы обучателя в общем случае продолжать процесс обучения. Иное дело – обучение в активном режиме, когда ситуации обучаемой выборки формируются такими, чтобы каждая из них отражала целый класс конкретных ситуаций, процесс обучения при этом значительно упрощается. Использованные в данном примере обобщенные ситуации, за исключением, может быть, обобщенного совокупного изображения посторонних предметов, не могут быть рекомендованы на все случаи жизни, однако пример их использования говорит о целесообразности создания своего рода сборника обобщенных ситуаций и рекомендаций по их применению. Часть из этих обобщенных ситуаций может оказаться всеобъемлющей и пригодной в большинстве случаев обучения, другие же будут использоваться реже, и обязательным может оказаться включение в обучаемую выборку конкретных (не только целевых) ситуаций. Такой вывод следует из того, что процесс обучения системы в принципе не имеет конца, и причиной того могут оказаться изменение характеристик и выходы из строя элементов системы, что требует дообучения (вместо ремонта), а также возникновение в процессе работы ситуаций, непредвиденных на этапе обучения. Возможность обучения с использованием обобщенных ситуаций говорит об адаптивности обучаемых систем, выражающейся в неоднозначности поведения при сохранении способности к достижению поставленной при обучении цели. Частными случаями решения задачи поиска можно считать решения задач отслеживания траектории (рис.2.16), преследования подвижного предмета (рис.2.17), уклонения от препятствий (рис.2.18).

Рис.2.16. Стробоскопия движения технического глаза при отслеживании траектории 1 – сетчатка 5х5 ячеек; 2 – след траектории

Рис.2.17. Стробоскопия движения технического глаза при преследовании подвижного объекта 1 – сетчатка 5х5 ячеек; 2 – подвижный объект

Рис.2.18. Стробоскопия движения технического глаза при уклонении от препятствий 1 – сетчатка 5х5 ячеек; 2 – препятствия

Обучение выполнению задач поиска, уклонения, отслеживания и преследования, позволяет решать более сложные задачи, состоящие из различных комбинаций рассмотренных действий, например поиск и преследование цели или поиск цели с одновременным уклонением от препятствий.