3188

ВВЕДЕНИЕ

Современный период развития экономики промышленно развитых стран характеризуется переходом ко второму этапу научнотехнической революции — научно-технологическому, на основе компьютеризации и информатизации всего общественного производства. Для реализации этого этапа во всем мире приняты широкие программы разработки компьютеров пятого и роботов третьего поколений. Последние представляют собой адаптивные системы, гибко программируемые, снабженные средствами, очувствления для получения информации об окружающей среде и предметах производства. Перед обществом встают задачи комплексной механизации и автоматизации всего хозяйства, освобождения человека от тяжелого физического и многих аспектов умственного труда с предоставлением широких возможностей для творческой деятельности. Полная автоматизация позволит перейти к безлюдным технологиям, решить проблемы качества продукции, улучшения условий работы, нехватки рабочих рук.

За двадцать лет своего развития автоматизированные системы первых поколений стали широко применяться при автоматизации процессов обработки металлов, окраске химически активными веществами или легковоспламеняющимися красителями, на сборочных и монтажных работах, при контроле ряда процессов ядерной энергетики и химической промышленности, процессов опасного и вредного производств.

Проблема автоматизации промышленного производства характеризуется новыми требованиями, основные из которых — гибкость (возможность быстрого перепрограммирования системы для внесения изменений в технологический процесс), универсальность (возможность применения системы с минимальными изменениями в различных отраслях промышленности), очувствленность (возможность реагировать на изменения условий, оптимальным образом перестраивая порядок конкретных действий). Еще одно важное требование, которому должны удовлетворять системы автоматизации, — невысокая стоимость. Решение любой конкретной задачи автоматизации должно быть экономически оправданным.

В современном производстве наиболее распространены системы

3

с жесткой программой, используемые в условиях полной определенности. Такие системы не имеют средств анализа изменений параметров внешней среды и внутреннего состояния и применяются для реализации многократных однотипных операций. Однако уже в условиях современного производства возникают задачи, в которых создание детерминированной внешней среды (точное положение деталей на конвейере, строго определенная последовательность операций) требует затрат, сравнимых с затратами на производство всей системы.

Допущение недетерминированного характера рабочей обстановки приводит к необходимости разработки средств анализа состояния и внешней среды в автоматизированных системах, т. е. средств очувствления, позволяющих в зависимости от конкретной ситуации управлять ходом технологического процесса.

Дальнейшее развитие средств автоматизации связано с широким применением роботов и робототехнических комплексов. В роботах и робототехнических комплексах наличие средств очувствления играет важную роль. Очувствление — это преобразование соответствующих характеристик или свойств объекта в информацию, требуемую для выполнения устройством заданной целевой функции. На рисунке показана последовательность восприятия окружающей среды. Она включает два этапа: 1) преобразование (в аппаратуре) соответствующих свойств объекта в сигналы; 2) обработку, т. е. превращение сигнала в информацию, необходимую для планирования и выполнения роботом целевой функции. Обычно 2-й этап содержит стадии предварительной обработки (улучшения сигнала) и интерпретации (анализа улучшенного сигнала и извлечения требуемой информации).

Средства очувствления по принципу их действия можно разделить на контактные и бесконтактные. К контактным системам относятся силомоментные и тактильные системы очувствления. Бесконтактные системы условно можно разделить на системы технического зрения и локационные системы очувствления.

В таблице приведены данные о том, какой процент информации получает человек с помощью различных органов чувств. Полной аналогии между датчиками очувствления и органами чувств нет и быть не может. В качестве доказательства достаточно привести тот факт, что техническая система может анализировать информацию,

4

недоступную человеческому ощущению (рентгеновское излучение, радиоволны и др.). И поэтому следует ожидать, что в развитых адаптивных автоматизированных системах будущего аналогичная таблица будет выглядеть иначе. Нельзя не учесть, однако, что в результате природной эволюции человека и его органов чувств 90,6 % информации о внешней среде он получает с помощью зрения. Это позволяет предположить, что системы технического зрения будут играть важнейшую роль в промышленности. Уже в настоящее время реализация этих систем в некоторых развитых странах во многих случаях приводит к более дешевым и надежным решениям по сравнению с другими средствами очувствления.

Т а б л и ц а 1

Зрение является самым мощным из наших органов чувств. Оно снабжает нас поразительно большим объемом информации о том, что нас окружает, и дает возможность свободно взаимодействовать с внешним миром, причем все это без непосредственного физического контакта. Благодаря нему мы узнаем расположение объектов, идентифицируем их, соотносим, их друг с другом и потому ощущаем значительное неудобство, если лишены этого чувства. Поэтому неудивительно, что, как только цифровые вычислительные машины оказались достаточно доступными, начали предприниматься попытки наделить их способностью «видеть».

В то же время зрение является самым сложным из органов чувств. Накопленные нами знания о том, как функционируют биологические зрительные системы, до сих пор фрагментарны и

5

ограничены в основном теми этапами переработки информации, которые следуют непосредственно за поступлением сигналов от сенсоров. Что мы действительно знаем, так это то, что биологические зрительные системы сложны. Поэтому не является неожиданным тот факт, что многие попытки наделить машины способностью «видеть» окончились неудачей. Тем не менее, удалось достичь значительного прогресса, и сейчас можно найти зрительные системы, которые включены в состав машинных комплексов и успешно функционируют в условиях изменяющейся окружающей среды.

Сфера применения СТЗ включает три основных аспекта: 1) визуальный контроль; 2) управление и регулирование; 3) измерения и определение положения. Визуальный контроль решает важнейшую задачу проверки качества продукции автоматического производства. Рабочий, производящий такую продукцию, иногда осуществляет «неявную» визуальную проверку, т. е. следит, чтобы производственный процесс шел без нарушения технологии. В других случаях рабочий осуществляет «явную» проверку, т. е. производит специальный анализ продукции для определения ее качества. Оба эти аспекта могут быть автоматизированы с помощью СТЗ. Задачи управления возникают часто в процессе сборки или сортировки, складывания или извлечения со склада. В этом случае необходимо уметь разглядеть и обойти препятствие, не задеть при переносе другие детали и т. д. Эта задача является одной из сложнейших при реализации СТЗ.

Задачи измерения и определения положения решаются в робототехнических системах, в частности, для правильного подвода манипулятора (например, при необходимости перенести обнаруженную деталь в другое место).

Основными являются следующие функции СТЗ: получение изображения в поле зрения;

определение наличия требуемых объектов; распознавание и выделение заданного объекта на

изображении; определение координат объекта или его характерных точек

относительно координатной системы датчика изображения; формирование сигналов управления.

Значительный прогресс был, достигнут в промышленных

6

применениях, где окружающую среду можно контролировать, а задание, стоящее перед системой машинного зрения, четко обозначено. Типичным примером может служить зрительная система, предназначенная для управления рукой робота при захвате деталей с ленты конвейера (рис. 1.).

Не столь значителен успех в тех областях, где компьютеры использовались для извлечения плохо определенной информации из изображений, которые нелегко интерпретировать даже человеку. Особенно это относится к изображениям, полученным с помощью средств, отличных от обычных оптических приборов, работающих в видимом диапазоне спектра. Типичной задачей подобного рода является интерпретация рентгеновских снимков человеческого легкого.

Рис. 1. Наличие системы машинного зрения придает манипулятору существенно больше гибкости и позволяет ему работать в условиях, когда положения и ориентации деталей могут изменяться. В некоторых случаях подходящими для этой цели оказываются простые бинарные системы обработки изображений.

Как это всегда бывает при изучении какой-либо сложной области, некоторые первоначальные идеи постепенно отмирали, а их место со временем занимали новые. Все это, несмотря на случающиеся порой неизбежные разочарования, составляет часть увлекательнейшего процесса поиска решения. Некоторые,

7

например, считают, что понимать подробности процесса формирования изображения необязательно. Другие слишком увлекаются специальными вычислительными методами довольно узкого круга применения. Несомненно, что часть изложенных здесь идей также будет в свое время пересмотрена или отброшена. Слишком уж быстро развивается область, чтобы такого не произошло.

В настоящий момент мы не можем создать «универсальную» зрительную систему. Вместо этого мы обратим внимание либо на системы, выполняющие какое-либо конкретное задание в контролируемой окружающей среде, либо на отдельные модули, которые со временем могут стать частью системы общего назначения. Естественно, нам нельзя также забывать о практических соображениях, связанных со скоростью обработки и стоимостью системы. Ввиду огромного объема данных и характера требуемых вычислений часто трудно достичь удовлетворительного компромисса между этими факторами.

Система машинного зрения анализирует изображения и выдает описание изображения. Эти описания должны содержать те характеристики изображенных объектов, которые нужны для выполнения некоторого определенного задания. Тем самым мы рассматриваем систему машинного зрения как часть более общей системы, взаимодействующей с окружающей средой. Ее можно считать элементом контура обратной связи, относящегося к восприятию, в то время как другие элементы предназначены для принятия и исполнения решений.

В дальнейшем это описание можно использовать для контроля взаимодействия робота с окружающей средой. В некотором смысле задачу зрительной системы можно рассматривать, как обращение процесса формирования изображения

Входом системы машинного зрения служит одно или несколько изображений, а выходом — описание, которое должно удовлетворять двум условиям:

-оно должно быть как-то связано с тем, что изображено;

-оно должно содержать исчерпывающую информацию, необходимую для выполнения некоторого конкретного задания. Первое условие обеспечивает определенную зависимость описания от визуального входа, а второе — что полученная информация

8

небесполезна. Описание объекта неоднозначно; мы можем представить себе множество уровней детализации и точек зрения. Невозможно исчерпывающим образом описать объект. К счастью, концентрируясь на том задании, для которого предназначено описание, мы можем избежать потенциально возникающего логического противоречия, т. е. мы не нуждаемся просто в каком-то описании, а только в таком, которое даст возможность произвести соответствующее действие.

Простой пример поможет лучше уяснить сказанное. Рассмотрим снова задачу захвата деталей с ленты конвейера. Ориентация и положение деталей на конвейере могут быть случайными. Допустим, имеется несколько различных типов деталей, причем установочные позиции для каждого типа деталей различны. Изображения объектов попадают в зрительную систему по мере того, как объекты проходят под камерой, расположенной над лентой конвейера. В этом случае описания, которые должна выдавать система, просты. Необходимо лишь определить положение, ориентацию и тип каждого объекта. Описание может состоять всего лишь из нескольких чисел. В других задачах может потребоваться гораздо более подробное символическое описание.

Случается, что обратная связь замыкается не через машину, а через человека, и тогда полученное описание предъявляется ему для интерпретации. Приведенные выше требования должны соблюдаться и здесь, хотя разобраться в том, насколько успешно система справилась с поставленной перед ней зрительной задачей, в этом случае труднее.

Машинное зрение тесно соприкасается с тремя областями: обработкой изображений, классификацией образов и анализом сцен.

Обработка изображений в основном касается получения новых изображений по уже имеющимся. Большинство применяемых здесь методов заимствовано из теории линейных систем. На новом изображении можно подавить шум, устранить размывание или подчеркнуть границы. Окончательный результат представляет собой изображение, которое, как правило, предназначено для интерпретации человеком. Как мы увидим далее, некоторые методы обработки изображений оказываются полезными для понимания ограничений, существующих

в системах формирования изображений, и для создания модулей

9

предварительной обработки в системах машинного зрения. Основной задачей классификации образов является отнесение

«образа» к тому или иному классу, причем образ обычно представляется в виде набора чисел, соответствующих измеренным характеристикам объекта (высоте, ширине). Хотя на вход классификатора подается не изображение, сами методы классификации образов оказываются иногда полезными и для анализа изображений, получаемых с помощью зрительной системы. Распознать объект - это значит отнести его к одному из известных классов. Однако нужно подчеркнуть, что распознавание -это лишь одна из многих задач, стоящих перед зрительной системой Исследователи, занимавшиеся распознаванием, разработали много простых методов получения характеристик по изображениям. Однако

Рис. 2. В анализе сцен символическое описание низкого уровня (контурные рисунки) используется для составления описания высокого уровня. Последнее может содержать информацию о пространственных отношениях между объектами, об их форме и тождественности.

в этих методах изображения обычно рассматриваются как двумерные распределения яркости, а объекты не могут занимать произвольное положение.

В анализе сцен рассматривается задача перехода от простых описаний, полученных непосредственно по изображениям, к более сложным, представленным в форме, которая более приспособлена для выполнения определенного задания. Классической иллюстрацией этого служит интерпретация контурных рисунков

10

изображений в другие с помощью линейных операторов. Обычно смысл подобных манипуляций состоит в том, чтобы уменьшить влияние помех, сузить динамический диапазон изображения или подчеркнуть некоторый его аспект. Зато на последующих этапах работы зрительной системы изображение становится более доступным для анализа. Подобные методы фильтрации часто применяются в системах выделения краев объектов в качестве шагов предварительной обработки.

.

В некоторых случаях для оценки свойств, присущих изображаемым поверхностям, можно попробовать обратить этот процесс.

Выделение краев, представляющее собой как бы дополнение к сегментации изображения. Представляющие интерес особенности сцены (граница, по которой один объект загораживает другой) часто приводят к разрывам в функции яркости или в ее градиенте. Методы выделения краев позволяют локализовать подобные участки изображения. Именно с этого места мы начинаем подчеркивать ту идею, что одной из важных сторон машинного зрения является оценка свойств изображаемых поверхностей. Задача оценки отражательных и цветовых характеристик поверхности, которая оказывается удивительно трудной.

Наконец, мы вплотную подходим к центральной проблеме машинного зрения: получение описания сцены на основе одного или нескольких изображений. Одна из точек зрения, которой придерживаются некоторые исследователи, состоит в том, что назначение системы машинного зрения заключается в обращении операции проектирования, на основе которой формируется

13

Рис. 4. Чтобы уметь по изображениям восстанавливать информацию о мире, необходимо понимать процесс формирования

изображения.

изображение. Это не совсем верно, поскольку нам нужно получить символическое описание сцены, а не восстановить картину реального мира. Все же сделанное замечание заставляет нас серьезно отнестись к изучению процесса формирования изображения (рис. 4). Главной темой становится вопрос о том, как свет отражается от поверхности. Видимая яркость поверхности зависит от трех факторов: микроструктуры поверхности, распределения падающего света, ориентации поверхности по отношению к наблюдателю и источникам света. На рис. 5 приведены изображения двух сферических поверхностей, одна из которых покрыта краской, обладающей матовой или рассеивающей отражательной способностью, а другая — металлическая, обеспе-

14

чивающая зеркальное отражение. Во втором случае мы видим реальную картину окружающего сферу мира. Ясно, что микроструктура поверхности сильно влияет на распределение яркости изображения.

Рис. 5. Наблюдаемое изображение объекта очень сильно зависит от отражательных свойств его поверхности. Абсолютно матовая и

абсолютно зеркальная поверхности представляют собой два крайних случая.

При разработке методов восстановления формы поверхности часто рассматривают поверхность в виде совокупности небольших участков, каждый из которых можно считать плоским. Если плоский участок освещается светом точечного источника, то отражение от него определяется тремя углами (рис. 6). Систематический подход, основанный на анализе яркости изображения, проводится для восстановления информации по изображениям, изменяющимся во времени и полученным с помощью камер, расположенных в различных точках пространства. На основе этих методов, можно восстановить форму поверхности, движение объекта и другую информацию, координат камеры, должны быть преобразованы в систему координат связанную с наблюдателем.

Рис. 6. Характеристики отражения света точечного источника участком поверхности объекта.

/, е, g — углы падения, излучения и фазы соответственно; N— нормаль; S, V — направления на источник света и на наблюдателя

соответственно.

ГЛАВА 1 1. ПРИНЦИПЫ ПОСТРОЕНИЯ И СТРУКТУРА СИСТЕМ

ТЕХНИЧЕСКОГО ЗРЕНИЯ РОБОТОВ

1.1. Структура и особенности систем технического зрения роботов

1.1.1.Основные функциональные задачи систем технического зрения в робототехнике

Роботы, снабженные СТЗ, достаточно широко и успешно при меняются во многих отраслях промышленности на таких операциях, как контроль и отбраковка различных деталей и изделий по внешнему виду, загрузка обрабатывающих станков деталями с конвейеров или из бункеров, сортировка и ориентированная укладка в кассеты деталей и заготовок, в том числе неупорядоченно движущихся по конвейеру или поступающих в таре навалом, сборка и комплектация узлов, сварка, окраска, упаковка изделий, монтаж электронных схем и других СТЗ используют также для обеспечения условий техники безопасности на роботизированных рабочих местах, организации учета и складирования предметов производства, маршрутизации материалопотоков в гибких производственных системах, управления мобильными транспортными роботами.

Роль адаптивных роботов с техническим зрением и элементами искусственного интеллекта еще более возрастает при расширении процесса роботизации в таких областях, как горнодобывающая промышленность, строительство, сельское и лесное хозяйство, коммунальные службы, быт, где рабочая среда носит сложный, плохо структурированный характер. СТЗ необходимы роботам, предназначенным для исследования космического и подводного пространства, используемым для тушения пожаров и при других стихийных бедствиях. В подобных приложениях СТЗ должна обеспечивать не только данные для непосредственной выработки сигналов обратной связи при

управлении движениями робота и передачу сведений об окружающей среде человеку-оператору, но и информацию для формирования роботом модели рабочей среды в целях автоматического планирования действий.

Функциональное назначение СТЗ робота в зависимости от области и конкретных условий его применения довольно многообразно. Наиболее типичными функциями, выполняемыми СТЗ в робототехнике, являются следующие: регистрация наличия объекта в поле зрения датчика внешней (по отношению к роботу) видеоинформации — видеосенсора; подсчет числа объектов, находящихся в поле зрения или прошедших перед видеосенсором; считывание и расшифровка меток (цветовых или штриховых кодов, буквенно-цифровых символов, этикеток и других маркеров); обнаружение препятствий, мешающих движениям робота; измерения геометрических и физических параметров объектов; контроль изделий на наличие видимых дефектов, полноту комплектации, соответствие эталонам; классификация (распознавание) объектов; определение местоположения и ориентации объектов в рабочей зоне робота; поиск нужных объектов на рабочей сцене; измерение скорости движущихся объектов; слежение за перемещениями и изменениями скорости объектов; визуальное определение изменений во времени наблюдаемых физических и технологических процессов; обеспечение информации для задания и коррекции траекторий рабочего органа робота в адаптивном режиме; навигация

инаведение мобильных роботов; визуальный контроль правильности выполнения операций роmботом; калибровка геометрических параметров манипулятора, привязка его системы координат к системе координат рабочего пространства; обеспечение требований техники безопасности.

Функциональные задачи СТЗ, характерные для робототехнических приложений[1,2,3], можно условно разделить по уровню их относительной сложности. К элементарным задачам обычно относят: обнаружение наличия объекта; измерение расстояния до объекта, его линейных или угловых перемещений, скорости! измерение геометрических параметров объекта (линейных

иугловых размеров, площади и т. п.); определение физических характеристик излучения от объекта (интенсивности, спектрального состава и пр.); подсчет числа объектов и др.

Более сложный круг задач выполняет, например, СТЗ, которая снабжает систему управления манипуляционного робота информацией, необходимой для захватывания неупорядоченных объектов. В число этих задач входят: обзор рабочей сцены (плоской или пространственной) для поиска представляющего интерес объекта одиночного или одного из нескольких, лежащего изолированно от других или соприкасающегося (перекрывающегося) с ними» определение местоположения и ориентации этого объекта; его классификация (если имеется несколько различных классов объектов). При этом объекты могут различаться не только размерами и формой (силуэтом), но и текстурой, цветом и т. п., покоиться или находиться в движении. Этот пример иллюстрирует тот факт, что относительная сложность функциональных задач СТЗ характеризуется целым рядом признаков, среди которых можно выделить следующие:

Размерность рассматриваемой сцены. Пространственные за-

дачи, требующие анализа трехмерных сцен, как правило, намного сложнее «плоских» задач, в которых достаточно обработки изображения одной двумерной проекции сцены на картинную плоскость. Промежуточное положение занимают квазиплоские задачи («размерности 2,5»), где рассматривается картинная плоскость с добавлением информации о «глубине» (дальности) видимых точек изображения.

Степень изолированности объектов. По этому признаку за-

дачи СТЗ классифицируются так (в порядке возрастания сложности): задачи с одиночным объектом; задачи с несколькими изолированными (т.е. несоприкасающимися) объектами на изображении; задачи с соприкасающимися (но не перекрывающимися) изображениями объектов; задачи с перекрытием одних объектов рабочей сцены другими.

Однородность объектов. Этот признак характеризует сложность задач классификации, стоящих перед СТЗ. Если все объекты, которые могут быть предъявлены СТЗ, идентичны, эта проблема вообще не возникает. При наличии ряда неодинаковых объектов задача их классификации тем сложнее, чем более «похожи» друг на друга их изображения, т. е. чем больше классифицирующих признаков необходимо для однозначного описания отличий каждого объекта от всех остальных.

18

Стационарность рабочей сцены. Изображения покоящихся объектов обрабатывать и анализировать проще, чем изображения объектов, которые перемещаются относительно видеосенсоров (например, при движении деталей по конвейеру, зрительном очувствлении мобильного робота, работе СТЗ типа «глаз на руке»).

Число элементов изображения. Чем больше размеры поля зрения и чем выше требуемая разрешающая способность СТЗ, тем сложнее задача, поскольку приходится обрабатывать больше элементов получаемого изображения (пикселов).

Число градаций яркости. Задачи, в которых достаточно анализировать силуэтные очертания объектов, т. е. работать с двухградационными (бинарными) изображениями, как правило, решаются проще задач, требующих анализа многоградационных (полутоновых) изображений.

Спектральный состав видеосигнала. Наделить робот способ-

ностью воспринимать цветные изображения, вообще говоря, сложнее, чем снабдить его монохроматическим зрением.

Кроме того, на сложность тех или иных задач СТЗ существенное влияние оказывают такие факторы, как качество освещения рабочей сцены, его стабильность, уровень оптических и электрических помех, контрастность объектов относительно фона, отражающие свойства их поверхности, и др.

Чем более сложные задачи с учетом всей совокупности описанных критериев способна решать СТЗ, тем выше уровень функциональной гибкости («интеллекта») робота может быть обеспечен с ее помощью.

Для выполнения своего функционального назначения СТЗ робота в общем случае должна обеспечивать: восприятие оптического сигнала и формирование изображения предварительную обработку изображения в целях ослабления влияния шумов, улучшения контрастности, коррекции искажений, сжатия информации и т. д.; сегментацию изображения сцены на составные части — выделение нужных объектов, их фрагментов или характерных особенностей; описание изображений — расчет их геометрических и иных характеристик, вычисление классифицирующих признаков, определение местоположения и ориентации; анализ изображения с распознаванием образов или классификацией объектов и интерпретацией сцен на основе модели проблемной среды;

2019