- •Лекция 1. Введение в компьютерное зрение
- •1. История фотографии
- •2. Что такое цифровая фотография, пзс матрица
- •3. Характеристики объектива
- •Цветовое пространство lab, зачем нужна метрика ciede2000?
- •3. Особенности восприятия света человеком, цветовое пространство xyz
- •8. Цветовое пространство cmyk
- •9. Что такое цветовой охват
- •10. Что такое OpenCv
- •6. Цветовое пространство hsv
- •7. Цветовое пространство yuv
- •8. Что такое размытие изображения, какие виды размытия бывают и где их применяют
- •9. Что такое оператор Собеля и зачем он нужен
- •10. Что такое оператор Лапласа и зачем он нужен
- •11. Что такое нелинейные фильтры, приведите примеры
- •12. Что такое медиана в контексте операций над изображениями
- •13. Что такое билатеральный фильтр и зачем он нужен
- •14. Что такое компоненты связности и морфология в контексте операций над изображениями
- •Лекция 4. Манипуляции с изображениями
- •1. Что такое свертка
- •Преобразование Фурье в контексте манипуляции с изображениями
- •4. Свойства преобразования Фурье, применение теоремы о свертке в контексте манипуляции с изображениями
- •5. Что такое спектр изображения и частотные фильтры? Дайте примеры их применения. Какая связь между частотными фильтрами и свертками?
- •Фильтры низких частот.
- •Высокочастотные фильтры.
- •1. Абсолютный фильтр
- •9. Увеличение изображения - билинейная и бикубическая интерполяция
- •10. Уменьшение изображения - оператор уменьшения
- •11. Что такое пирамида изображений. Что такое пирамида Гаусса и пирамида Лапласа? Как делается блендинг изображений
- •Геометрические преобразования.
- •Лекция 5. Особые точки и выделение границ Особые точки, интуитивное понятие особой точки.
- •3. Алгоритм Харриса для нахождения углов
- •Sift детектор особых точек.
- •Surf-дескриптор.
- •Brief дескриптор.
- •Orb алгоритм
- •Сопоставление дескрипторов
- •Алгоритм выделение границ Canny.
- •Лекция 6. Сверточные нейронные сети Что такое нейронная сеть: слои, функции активации
- •Что такое нейронная сеть: слои, функции активации
- •Объясните терминологию обучения нейронных сетей: что такое эпоха, шаг, скорость обучения и размер батча? Что такое функция потерь и какие они бывают?
- •Алгоритм стохастического градиентного спуска для обучения нейронных сетей
- •Как инициализируют веса в нейронных сетях? Что такое проблема затухающих и взрывающихся градиентов? Что такое инициализация Хе (Кайминга) и Ксавье?
- •Что такое сверточный слой? Как он работает и какие параметры имеет?
- •Размеры входного и выходного изображения
- •Что такое нормализация по мини-батчам (batch normalization) и как она работает
- •Что такое дропаут и как он работает
- •Задача классификации и функции потерь для этой задачи в контексте обучения нейронных сетей
- •Опишите типичную архитектуру сверточной нейронной сети
- •Слой свёртки
- •Слой активации
- •Пулинг или слой субдискретизации
- •Полносвязная нейронная сеть
- •Перечислите несколько архитектур сверточных нейронных сетей, разберите одну подробно, например ResNet
- •Что такое transfer learning и как его осуществляют в контексте классификации изображений?
- •Лекция 7. Сегментация и детекция Что такое задача сегментации? Какие бывают виды сегментации?
- •Опишите что такое полносверточная нейронная сеть (fully convolutional neural network)
- •Что такое транспонированная свертка и для чего она нужна? Какие у нее есть альтернативы?
- •Что такое u-net? Опишите архитектуру и приведите примеры ее современных вариаций. Как обучают u-net?
- •Что такое задача детекции объектов на изображении? Опишите архитектуру yolo. Как обучают yolo?
- •Что такое якоря в контексте архитектур yolo, Faster и Mask rcnn?
- •Алгоритм nms (non maximum suppression) в контексте нейросетевых архитектур детекции
- •Что такое задача детекции объектов на изображении? Чем одностадийная детекция отличается от двухстадийной? Опишите архитектуру Mask rcnn. Чем она отличается от Faster rcnn?
- •Что такое RoI pooling и чем он отличается от RoI align в контексте архитектур Faster rcnn и Mask rcnn?
10. Уменьшение изображения - оператор уменьшения
Для уменьшения изображения применяют такие же методы интерполяции, только в слегка модифицированной форме.
Заблюрить - Пройтись гаусовским фильтром, после чего уменьшать изображение
По сути это просто уменьшение изображением с оператором уменьшения (это вроде как просто коэффициент уменьшения (каждый второй/третий/четвертый и тд пиксель))
Варик из лекции (сказал использовать лучше как основной) – применить гауссово размытие и выборочно взять пиксели.
11. Что такое пирамида изображений. Что такое пирамида Гаусса и пирамида Лапласа? Как делается блендинг изображений
Модель представления изображений, представленная набором масштабируемых копий (увеличенных) исходного изображения. На каждом уровне пирамиды изображение уменьшается в два раза. Можно задать количество уровней или минимальное разрешение для остановки.
Построение пирамиды происходит повторением:
1. Фильтрация методом Гаусса
2. Прореживание (уменьшение).
Пирамида Гаусса хранит все масштабированные копии исходного изображения. Вся пирамида занимает исходного изображения. Применяется для поиска шаблона на фото. После фильтра низких частот (Гаусса) в каждом новом уровне пирамиды уменьшается количество высоких частот.
Пирамида Лапласа основывается на данном свойстве. На каждом своем уровне она хранит разность текущего уровня пирамиды Гаусса со следующим, тем самым сохраняя высокочастотный сигнал определенной частоты в узкой полосе. При комбинировании крайнего уменьшенного изображения со всеми уровнями пирамиды Лапласа получим исходное изображение (используется для сжатия изображений).
Блендинг изображений. Сначала строятся пирамиды Гаусса и Лапласа для каждого изображения. На каждом уровне пирамиды Лапласа происходит наложение изображений по маске (область, необходимая для вставки в исходную). На последнем этапе полученные изображения последовательно расширяются и сглаживаются. В силу того, что глубина пирамиды задается небольшой, происходит плавное наложение двух изображений.
Геометрические преобразования.
Параллельный перенос — все точки изображения смещаются в одном направлении на одинаковое расстояние (2 степени свободы).
Изометрия — сохраняет расстояния между точками фигуры (3 степени свободы).
Подобие — расстояния между любыми соответственными точками изменяются в одно и то же число раз (уменьшается или увеличивается расстояние в К раз) (4 степени свободы).
Афинное преобразование — существуют две афинные системы координат, что координата любой точки в первой системе совпадает с координатами ее образа во второй. Это преобразование дает хорошее приближение искажений, претерпеваемых небольшим плоским фрагментом объекта при изменении ракурса (5 степеней свободы).
Проективное преобразование — заключается в перспективном преобразовании плоскости, при котором сохраняются прямые линии. Объекты, находящиеся ближе, становятся крупнее, находящиеся дальше — меньше (6 степеней свободы).
Проблемы преобразований.
В процессе геометрических преобразований изображения новые координаты не всегда ровно встают в растровую сетку. Поэтому необходимо делать округление этих значений. Но из-за этого в некоторых участках могут возникать промежутки или наложения нескольких пикселей (обратное преобразование, интерполяция).
Для решения этой проблемы используют следующие методы:
1. MIP-текстурирование — метод текстурирования, использующий несколько копий одной текстуры с разной детализацией. Создается MIP-пирамида — последовательность текстур с разрешением от максимального до 1 x 1. Каждая из этих текстур называется MIP-уровнем или уровнем детализации (используется в проективных изображениях, вблизи ставятся текстуры высокого качества, а в дали низкого качества).
2. Сглаживание — технология, используемая для устранения эффекта «зубчатости». Решает проблему округления границ фигур при преобразованиях
3. Анизотропная фильтрация — метод улучшения качества изображения текстур на поверхностях, сильно наклоненных относительно камеры. Вносит меньше размытия и поэтому позволяет сохранить лучшую детализацию изображения. Оперирует несколькими уровнями MIP-пирамиды и в зависимости от отдаленности обрабатываемого пикселя строит результирующее значение.