Аннотация

на выпускную квалификационную работу студента ____________________________

(ФИО)

на тему ”Разработка системы позиционирования объектов на основе стереоскопического компьютерного зрения”_________________________

Вид работы

Выпускная квалификационная работа бакалавра по специальности 09.03.02 «Информационные системы и технологии».

Цель работы

Разработка системы позиционирования объектов на основе стереоскопического компьютерного зрения

Краткое содержание

Работа состоит из введения, четырёх разделов, заключения и списка использованных источников и приложения.

В первом разделе проводится анализ предметной области на основании которого формулируются требования к разрабатываемому приложению.

Во втором разделе обосновывается выбор технологического стека для разработки системы.

В третьем разделе выполняется проектирование архитектуры и моделирование системы.

Четвёртый раздел посвящён реализации и тестирования спроектированной системы

Работа содержит 55 страниц текста, 7 рисунков, 5 таблиц и 20 источников.

Содержание

ВВЕДЕНИЕ 7

1. Анализ предметной области 10

1.1 Принципы построения систем трехмерного позиционирования на базе двух камер 10

1.2 Обнаружение движущихся объектов 11

1.3 Алгоритмы вычитания фона в OpenCV 12

1.4 Геометрическая модель простой триангуляции в стереосистеме 15

1.5 Особенности получения и синхронизации видеопотоков в IP-сетях 17

1.6 Требования к системе 18

Выводы по первому разделу 20

2. Выбор средств разработки 22

2.1 Выбор языка программирования для серверной части 22

2.2 Библиотеки компьютерного зрения 24

2.3 Протоколы обмена: WebSocket и JSON 24

Выводы по второму разделу 25

3. Моделирование системы 28

3.1 Архитектура системы 28

3.2 Среда виртуализации стереопары 29

3.3 Модель вычитания фона для стереопары 32

3.4 Архитектура двухканального вычитания фона 32

3.8 Вычисление центра ограничивающего квадрата 33

3.9 Адаптивное управление параметрами 35

3.10 Математическая модель простой триангуляции 37

3.11 Математическая модель простой триангуляции 38

3.12 Модель данных 38

Выводы по третьему разделу 39

4. Разработка приложения 43

4.1 Структура проекта 43

4.2 Реализация модуля захвата видеопотоков 44

4.3 Реализация вычитания фона и детекции объекта 45

4.4 Реализация триангуляции 46

4.5 Реализация клиента визуализации 47

4.6 Тестирование 49

Выводы по четвёртому разделу 49

ЗАКЛЮЧЕНИЕ 52

Список использованных источников 54

Введение

Современная российская индустрия переживает масштабную цифровую трансформацию — процесс, охватывающий промышленность, логистику, робототехнику и управление беспилотными системами. В 2024–2025 годах, согласно данным РУССОФТ, объем экспорта отечественного программного обеспечения превысил 7,2 млрд долларов, что на 12 % выше показателей 2023 года [3]. Эта динамика отражает не только рост рынка, но и качественные изменения в архитектуре решений — переход к отечественным технологиям компьютерного зрения, стереоскопических систем и средств геометрической реконструкции сцен.

Стереоскопическое компьютерное зрение, впрочем, остается областью, где импортные решения пока доминируют. Коммерческие SDK от Stereolabs (ZED Camera), Intel RealSense, структурированный свет от Microsoft (Azure Kinect) — активно применялись до 2022 года. Указ Президента РФ № 166 от 30.03.2022 и последующее Постановление Правительства № 1502 от 14.09.2023 ускорили переход на отечественные аналоги [2]. Задача трехмерного позиционирования объектов с использованием двух IP-камер, выполняемая на базе открытых библиотек OpenCV и собственных алгоритмов триангуляции, соответствует этой стратегии. Разработка таких систем обеспечивает технологический суверенитет в критически важных отраслях — от контроля качества на производственных линиях АО «КАМАЗ» до навигации автономных роботов в складских комплексах Wildberries.[15]

Объектом исследования является процесс трёхмерного позиционирования движущихся объектов с использованием стереоскопической пары камер.

Предметом исследования являются методы и алгоритмы синхронизации видеопотоков, вычитания фона, стереосопоставления, триангуляции, а также протоколы передачи данных и средства визуализации.

Целью выпускной квалификационной работы является разработка программной системы для позиционирования объектов в трёхмерном пространстве на основе стереоскопического компьютерного зрения.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Исследовать принципы построения систем трёхмерного позиционирования на базе двух камер, геометрические модели простой триангуляции и методы синхронизации видеопотоков в IP-сетях; проанализировать существующие решения и сформулировать требования к разрабатываемой системе.

2. Выбрать языки программирования, необходимые библиотеки и фреймворки, средства визуализации и протоколы обмена данными для реализации проекта.

3. Спроектировать архитектуру программной системы, разработать математическую модель триангуляции, модель синхронизации видеопотоков на основе временных меток RTCP и модель данных для обмена информацией между сервером и клиентом.

4. Реализовать спроектированную систему: модуль приёма видеопотоков с многопоточным захватом RTP, модуль вычитания фона и детекции объекта, модуль триангуляции, WebSocket-сервер с поддержкой JSON-RPC 2.0, а также клиент визуализации на платформе Godot 4.

5. Выполнить тестирование и оценку достигнутой точности и производительности.

Практическая значимость работы состоит в создании работоспособной системы, который может быть использован на российских промышленных предприятиях, в логистических центрах и робототехнических системах для трёхмерного позиционирования объектов. Открытость архитектуры (использование стандартных IP-камер, протоколов и библиотек с открытым исходным кодом) обеспечивает независимость от зарубежных поставщиков и возможность адаптации под конкретные технологические задачи. Разработанные модули захвата, синхронизации, триангуляции и визуализации представляют собой готовую к внедрению и модификации основу для систем технического зрения.

Работа состоит из введения, четырёх разделов, заключения, списка использованных источников.

В первом разделе проводится анализ принципов построения систем трёхмерного позиционирования на базе стереопар, рассматриваются методы синхронизации видеопотоков в IP-сетях, алгоритмы вычитания фона и геометрические модели триангуляции; выполняется анализ существующих решений и формулируются функциональные и нефункциональные требования к разрабатываемой системе.

Во втором разделе обосновывается выбор технологического стека: языка программирования (Python 3.11), библиотеки компьютерного зрения (OpenCV 4.8), средства визуализации (Godot 4), а также протоколов обмена данными (WebSocket, JSON, JSON-RPC 2.0); проводится сравнение с альтернативными вариантами.

В третьем разделе выполняется проектирование архитектуры системы и её подсистем: модуля захвата и синхронизации видеопотоков, модуля вычитания фона и детекции объекта, модуля триангуляции, WebSocket-сервера, а также клиента визуализации; разрабатываются математическая модель триангуляции, модель синхронизации и модель данных.

Четвёртый раздел посвящён реализации спроектированной системы: разработке многопоточного модуля захвата RTP-потоков, реализации алгоритмов вычитания фона MOG2 и детекции объекта, программной реализации триангуляции, созданию WebSocket-сервер, а также разработке клиента визуализации на Godot 4.