Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Компьютерное зрение. Практикум
.pdf
Министерство науки и высшего образования Российской Федерации
Федеральное государственное бюджетное образовательное учреждение
высшего образования
«Оренбургский государственный университет»
П. А. Болдырев, И. З. Каскинов, А. В. Енин, А. А. Белый
КОМПЬЮТЕРНОЕ ЗРЕНИЕ
Практикум
Рекомендовано ученым советом федерального государственного бюджетного
образовательного учреждения высшего образования «Оренбургский
государственный университет» для обучающихся по образовательным программам
высшего образования по направлению подготовки 09.04.02 Информационные
системы и технологии
Оренбург
2024
2
УДК 004.93(076.5)
Болдырев, П. А.
Б63
Компьютерное зрение : практикум / П. А. Болдырев, И. З. Каскинов, А. В.
Енин, А. А. Белый; Оренбургский гос. ун-т. – Оренбург: ОГУ, 2024. – 105 с.
УДК 004.93(076.5)
ББК 16.63я73
© Болдырев П. А.,
Каскинов И. З.,
Енин А. В.,
Белый А. А.,2024
© ОГУ,2024
ББК 16.63я73
Б63
Рецензент – доцент, кандидат физико-математических наук А.Н. Павленко
ISBN
В практикуме рассмотрены указания по выполнению лабораторных работ по
дисциплине «Компьютерное зрение». Теоретический материал дополнен примерами
решения типовых задач, вариантами лабораторных работ.
Практикум предназначен для обучающихся по образовательным программам
высшего образования по направлению подготовки 09.04.02 Информационные
системы и технологии, при изучении дисциплины «Компьютерное зрение».
ISBN
2
Содержание
Введение…………………………………………………………………………………...4
1 Предобработка и аугментация .................................................................................. ….6
1.1 Лабораторная работа № 1. Предобработка изображений и аугментации………16
2 Сверточные нейронные сети………………………………………………….............29
2.1 Лабораторная работа №2. Сверточные нейронные сети………………………...35
3 Детекция объектов на изображении………………………………………………….57
3.1 Лабораторная работа № 3. Задача детекции ........................................................ .59
4 Сегментация объектов на изображении……………………………………………...67
4.1 Лабораторная работа № 4. Сегментация изображений……………....................71
5 Алгоритмы отслеживания……………………………………………………………..93
5.1 Лабораторная работа № 5. Алгоритмы отслеживания…………………………100
Список использованных источников ........................................................................ ...104
3
Введение
Компьютерное зрение – это научное направление в рамках искусственного
интеллекта, направленное на обработку цифровой графической информации
(фотографии, рисунки, видео, мультипликация и т.п.) с помощью вычислительной
техники посредством программных алгоритмов. Проще говоря, компьютерное
зрение призвано научить компьютер «видеть» то, что видит человек.
Компьютерное зрение отвечает за анализ и обработку изображений с целью
распознавания объектов, выделения признаков, измерения параметров,
классификации и сегментации, что предполагает его применение в различных
отраслях: медицине, промышленности, сельском хозяйстве, космонавтике и многих
других. В течение последних трех-четырех десятилетий компьютерное зрение
постепенно превратилось в полноценный научный предмет со своей методологией
и областью применения. На самом деле у него так много областей применения, что
трудно перечислить их все. Среди наиболее известных – распознавание объектов,
наблюдение (включая подсчет людей и распознавание номерных знаков),
роботизированное управление (включая автоматическое управление транспортным
средством), сегментация и интерпретация медицинских изображений,
автоматический осмотр и сборка в заводских условиях, распознавание отпечатков
пальцев и лиц, интерпретация жестов и многое другое. Для работы компьютерного
зрения необходим поток данных из различных источников изображений, включая
каналы видимого и инфракрасного спектра, трехмерные датчики и ряд жизненно
важных медицинских устройств визуализации, таких как компьютерные и магнитнорезонансные томографы. К тому же данные должны включать положение, позу,
расстояние между объектами, движение, форму, текстуру, цвет и многие другие
аспекты.
При таком разнообразии данных и изобилии действий и методов,
используемых для их обработки, будет трудно обрисовать общую картину в рамках
одного пособия: следовательно, выбор материала неизбежно будет ограничен; тем
не менее, мы будем стремиться обеспечить прочную основу и дидактический
4
подход к предмету.
В данном пособии мы рассмотрим задачи компьютерного зрения,
составляющие основу данной технологии и имеющие наибольшую практическую
ценность: предобработку, аугментацию, детекцию, сегментацию, отслеживание,
работу со сверочными нейросетями. Эти задачи логически поделены на 5 глав, к
каждой из которых прилагается задание в рамках лабораторной работы. Выполнив
все лабораторные работы, вы получите крепкую базу в создании прикладных
программ на основе компьютерного зрения.
5
1 Предобработка и аугментация
Сбор и подготовка изображений для анализа с помощью компьютерного
зрения требует учета ряда особенностей и соблюдения определенных условий,
которые определяют качество и достоверность получаемой информации. Одна из
таких особенностей – это аккуратное обращение с реальным активом, который
будет служить как основой для обучающей выборки при последующем обучении
нейронных сетей, так и будет использоваться для непосредственного анализа в
качестве готового экземпляра. Под реальным активом (ассетом, референсом) здесь
подразумевается любой объект окружающего мира, изображение которого
фиксируется любым устройством – от обычного цифрового фотоаппарата, до
цифровых микроскопов, рентген-аппаратов и другого подобного оборудования.
Для наглядности будем использовать примеры, имеющие практическую
реализацию в рамках проектов, реализуемых в Оренбургском государственном
университете. Первый пример будет касаться анализа изображений микроструктур
металлических образцов в рамках фрактографического исследования. Второй
пример, как наиболее наглядный, относится к автоматизации учета транспортного
потока с разделением его по категориям. Подобная разность в примерах хороша для
понимания дифференциации сложностей, возникающих в процессе сбора,
предобработки и аугментации графической информации с целью дальнейшей ее
обработки алгоритмами компьютерного зрения.
Так, при анализе микроструктур металлов используется цифровой микроскоп,
который снимает металлические образцы, подготовленные особым образом.
Образцы проходят ряд процедур, занимающих продолжительное время, при этом
они не должны быть повреждены, или иметь измененную структуру материала
воздействием механическими или химическими средствами. Здесь же возникает еще
одна особенность подготовки изображений – это подбор метода получения
изображения, который должен соответствовать таким факторам, как разрешающая
способность прибора, глубина резкости изображения, возможность
стереоскопического или трехмерного воспроизведения поверхности металлического
6
образца. Как правило, такие параметры регулируются нормативными документами,
а) неразмеченное изображение
б) размеченное изображение
в частности ГОСТом. Кроме того, необходимо настроить параметры измерительного
прибора таким образом, чтобы обеспечить максимальную четкость и контрастность
изображения, а также минимизацию искажений и отражений от поверхности.
При анализе транспортного потока используются стандартные видеокамеры
наружного наблюдения, принцип действия и результат работы которых аналогичен
любым другим широко доступным видеокамерам, в т.ч. встроенным в современные
смартфоны. Это позволяет не обращать внимание на аппаратную часть,
сосредоточившись на таких важных вопросах, как выбор экспозиции, разнообразие
ракурсов для каждой категории транспортного средства, отсутствие значимых
препятствий и помех, не позволяющих отметить важные отличительные признаки.
Проблематика получения корректного датасета изображений. Одной из
важнейших проблем, требующих адекватного решения является получение
качественного датасета. База данных всегда предваряет любые алгоритмы
машинного обучения, так как лежит в фундаменте обучения и тестирования
нейросетей, апробирования компьютерного зрения, выявления закономерностей и
построения экспертных систем поддержки принятия решений.
Рассмотрим на рисунках 1.1 и 1.2, каким образом должны выглядеть
предобработанные данные для разработки информационной системы (ИС)
фрактографического анализа.
Рисунок 1.1 – Корректно предобработанные данные для ИС
фрактографического анализа
7
Рисунок 1.2 – Корректно предобработанные данные для ИС анализа
транспортного потока
В процессе получения изображения особую ценность представляют задачи
корректной его предобработки и грамотной разметки, в результате которых
формируются базы данных (парная в задаче семантической сегментации:
оригинальная фотография микроструктуры металла и размеченная по определенным
классам маска или же одинарная, с разметкой ограничивающей рамкой для анализа
транспортного потока). Полученный в результате такой предобработки датасет
позволяет правильно обучить нейросетевую модель с высокими показателями
точности и минимальной ошибкой.
Предварительные этапы подготовки образцов. На современных
промышленных предприятиях можно выделить следующие этапы подготовки
металлических образцов для металлографического анализа: выборка и вырезка,
запрессовка, шлифовка и полировка, травление поверхности. Все эти этапы
способны значительно повлиять на качество последующего микроскопического
изучения поверхности образцов, при котором снимается цифровое изображение
поверхности металла. Так, образцы должны быть достаточно маленькими для
удобства обработки и достаточно большими для характеризации структуры,
необходимо исключить термическое воздействие в процессе вырезания куска
металла из конструкции (это приведет к искажению микроструктуры, что даст
8
неверную интерпретацию металлографического анализа), при получении
а) Выборка детали
б) Разрезание детали
в) Фиксация в эпоксидной
микрошлифа нужно сохранять его от механических повреждений, воздействия
жидкостей и коррозийного воздействия. Важным также является корректный выбор
травителя в процессе травления, иначе могут возникнуть искажения компонентов
структуры металла, не позволяющих выделить контуры его зерен, границы фаз.
Наглядно рабочий процесс подготовки образцов продемонстрирован на
рисунке 1.3.
смоле, шлифовка,
полировка, травление
Рисунок 1.3 – Типовой рабочий процесс подготовки образцов для
металлографического анализа
Правила формирования датасета металлографических изображений. В
процессе непосредственного фотографирования также важно выбрать
репрезентативные области поверхности разрушения, которые отражают основные
механизмы и характеристики разрушения материала. После снятия изображения
необходимо сохранить его в подходящем формате файла, который обеспечивает
высокое качество изображения при минимальном размере файла. Наконец, при
обработке изображения необходимо применять соответствующие алгоритмы и
методы для достижения желаемого результата, а также проверять достоверность и
точность полученных данных. При сохранении изображения нужно использовать
подходящий формат файла, который обеспечивает высокое качество изображения
при минимальном размере файла.
9
При разработке ИС фрактографического анализа в качестве «сырых» данных
собирались изображения, полученные электронно-растровым микроскопом
JEOLJCM 6000 NeoScope, с кратностью увеличения по ГОСТу х500, который по
умолчанию сохраняет снимки в сером градиенте, в формате JPEG разрешением
1280х960.
Характер предобработки данных предопределяется видом данных,
формирующих базу данных для обучения нейросети. Так как фрактографический
анализ опирается в основном на изображения, то и характер предобработки данных
будет основан именно на работе с этим форматом.
Во-первых, для выбранной архитектуры нейросети (U-Net) необходимым
условием является наличие неразмеченных изображений и точно таких же файлов,
но с разметкой в определенной цветовой схеме. При этом, хотя и выбор цветов
принципиального влияния на результат не оказывает, для исключения путаницы и,
как следствие, ошибок «человеческого фактора» стоит сразу принять следующие
условия:
– количество цветов равно количеству различных классов признаков, которые
должна «видеть» нейросеть. В нашем случае это три класса: вязкая структура
металла, хрупкая структура и сторонние включения (примеси);
– цвета должны быть контрастными, насыщенными, противоположными друг
другу на цветовом круге. Для нашей ИС достаточно соблюдать т.н. «триаду», когда
три цвета (зеленый, синий и красный) являются равноудаленными друг от друга;
– вся площадь размеченного изображения должна быть закрашена, т.е. не
должно оставаться незаполненных каким-либо из 3 цветов пространств;
– не допускается использование полутонов, более одного оттенка каждого
цвета, настроек прозрачности и других лишних элементов. Это же касается
технической информации, например, автоматически генерируемой микроскопом.
Основные ошибки предобработки датасета изображений. В качестве примера
приведем рисунки 1.4 и 1.6, на котором можно наблюдать сразу несколько
недопустимых для качественного обучения нейросети элементов. На рисунке 1.4
размеченное фрактографическое изображение не годится для последующего
10
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]