Оглавление
Лекция 1. Введение в компьютерное зрение 3
1. История фотографии 3
2. Что такое цифровая фотография, ПЗС матрица 3
3. Характеристики объектива 4
4. Что такое светочувствительность 5
5. Что такое динамический диапазон 5
6. Что такое HDR 5
7. Как работает поляризационный фильтр и зачем он нужен 5
8. Что такое разрешающая способность и от чего она зависит 6
9. Что такое аберрации, какие виды аберраций бывают 6
10. Что такое муаровый узор 6
Лекция 2. Цветовые пространства 6
1. Что такое видимый спектр 6
2. Строение человеческого глаза 6
Цветовое пространство LAB, зачем нужна метрика CIEDE2000? 6
3. Особенности восприятия света человеком, цветовое пространство XYZ 7
8. Цветовое пространство CMYK 8
9. Что такое цветовой охват 8
10. Что такое OpenCV 8
6. Цветовое пространство HSV 8
7. Цветовое пространство YUV 9
Лекция 3. Основные операции с изображениями 9
1. Какие типы операций с изображениями бывают? 9
2. Что такое поточечные операции? Приведите примеры 9
3. Что такое автоматическая коррекция изображения? 9
4. Что такое выравнивание гистограммы и как оно работает? 9
5. Что такое локальное выравнивание гистограммы и как оно работает? 9
6. Что такое проблема границы и как ее решают? 9
7. Что такое линейный фильтр, как он работает и зачем нужен 10
8. Что такое размытие изображения, какие виды размытия бывают и где их применяют 10
9. Что такое оператор Собеля и зачем он нужен 10
10. Что такое оператор Лапласа и зачем он нужен 10
11. Что такое нелинейные фильтры, приведите примеры 10
12. Что такое медиана в контексте операций над изображениями 10
13. Что такое билатеральный фильтр и зачем он нужен 10
14. Что такое компоненты связности и морфология в контексте операций над изображениями 11
Лекция 4. Манипуляции с изображениями 11
1. Что такое свертка 11
Преобразование Фурье в контексте манипуляции с изображениями 11
4. Свойства преобразования Фурье, применение теоремы о свертке в контексте манипуляции с изображениями 12
5. Что такое спектр изображения и частотные фильтры? Дайте примеры их применения. Какая связь между частотными фильтрами и свертками? 13
Фильтры низких частот. 14
Высокочастотные фильтры. 14
9. Увеличение изображения - билинейная и бикубическая интерполяция 15
10. Уменьшение изображения - оператор уменьшения 16
11. Что такое пирамида изображений. Что такое пирамида Гаусса и пирамида Лапласа? Как делается блендинг изображений 16
Геометрические преобразования. 17
Лекция 5. Особые точки и выделение границ 18
Особые точки, интуитивное понятие особой точки. 18
3. Алгоритм Харриса для нахождения углов 18
SIFT детектор особых точек. 20
SURF-дескриптор. 22
FAST. 24
BRIEF дескриптор. 25
ORB алгоритм 25
Сопоставление дескрипторов 26
Алгоритм выделение границ Canny. 27
Лекция 6. Сверточные нейронные сети 27
Что такое нейронная сеть: слои, функции активации 27
Объясните терминологию обучения нейронных сетей: что такое эпоха, шаг, скорость обучения и размер батча? Что такое функция потерь и какие они бывают? 29
Алгоритм стохастического градиентного спуска для обучения нейронных сетей 30
Как инициализируют веса в нейронных сетях? Что такое проблема затухающих и взрывающихся градиентов? Что такое инициализация Хе (Кайминга) и Ксавье? 31
Что такое сверточный слой? Как он работает и какие параметры имеет? 33
Что такое нормализация по мини-батчам (batch normalization) и как она работает 34
Что такое дропаут и как он работает 36
Задача классификации и функции потерь для этой задачи в контексте обучения нейронных сетей 37
Опишите типичную архитектуру сверточной нейронной сети 38
Перечислите несколько архитектур сверточных нейронных сетей, разберите одну подробно, например ResNet 40
Что такое transfer learning и как его осуществляют в контексте классификации изображений? 41
Лекция 7. Сегментация и детекция 42
Что такое задача сегментации? Какие бывают виды сегментации? 42
Опишите что такое полносверточная нейронная сеть (fully convolutional neural network) 42
Что такое транспонированная свертка и для чего она нужна? Какие у нее есть альтернативы? 43
Что такое U-net? Опишите архитектуру и приведите примеры ее современных вариаций. Как обучают U-net? 43
Что такое задача детекции объектов на изображении? Опишите архитектуру YOLO. Как обучают YOLO? 44
Что такое якоря в контексте архитектур YOLO, Faster и Mask RCNN? 46
Алгоритм NMS (non maximum suppression) в контексте нейросетевых архитектур детекции 46
Что такое задача детекции объектов на изображении? Чем одностадийная детекция отличается от двухстадийной? Опишите архитектуру Mask RCNN. Чем она отличается от Faster RCNN? 47
Что такое RoI pooling и чем он отличается от RoI align в контексте архитектур Faster RCNN и Mask RCNN? 49
Лекция 1. Введение в компьютерное зрение
1. История фотографии
1725 — обнаружили, что соли железа светочувствительны.
1727 — обнаружили, что хлористое серебро светочувствительно.
1777 — обнаружили, что с помощью аммиака можно делать готовые снимки не устойчивыми к свету.
1826 — первая фотография, Франция, вид из окна, экспозиция 8 часов (не устойчива к воздействию света).
1837 — фотография с экспозицией в 30 минут (не устойчива к воздействию света).
1840 — первое фотоателье (Нью-Йорк).
1861 — Максвелл сделал первую цветную фотографию (3 светофильтра RGB).
1888 — первый фотоаппарат KODAK.
2. Что такое цифровая фотография, пзс матрица
Технология фотографии, преобразование света светочувствительной матрицей и получение цифрового файла, используемого для дальнейшей обработки и печати.
1969 — исследователи из Bell Laboratories сформулировали идею прибора с зарядовой связью (ПЗС) для регистрации изображений.
1975 — компания KODAK создала первый цифровой фотоаппарат на основе ПЗС-матрицы, весом около 3 килограмм. Он позволял записывать снимки размером 100х100 пикселей на магнитную ленту компакт-кассеты.
1981 — Sony выпускает видеофотоаппарат Sony Murvica, 570х490 пикселей. С этой даты принято отсчитывать историю беспленочной фотографии.
Объектив — оптическая система, являющаяся частью оптического прибора, обращенная к объекту наблюдения или съемки, и формирующая его действительное или мнимое изображение.
3. Характеристики объектива
Фокусное расстояние показывает, насколько сильно мы можем приблизить фотографируемый объект, или насколько широко мы можем охватить фотографируемую зону (угол обзора по сути). Фокусное расстояние обозначается числами в миллиметрах.
Светосила и диафрагма — Светосила объектива измеряется понятием относительного отверстия. Свет проходит через отверстие, и чем это отверстие больше, тем больше пройдет света, поэтому отверстие и называется относительным. Светосила объектива измеряется понятием относительного отверстия. Свет проходит через отверстие, и чем это отверстие больше, тем больше пройдет света, поэтому отверстие и называется относительным.
Глубина резко изображаемого пространства (эффект боке)
4. Что такое светочувствительность
Светочувствительность (ISO) — свойство светочувствительного материала, на котором формируется изображение (пленка или матрица), указывает на то, как быстро материал «впитывает свет». (100 - сильно).
Экспозиция — выдержка, ISO, диафрагма.
экспозиция - это количество света, попадающего на сенсор вашей камеры (матрицу).
5. Что такое динамический диапазон
Динамический диапазон — это способность камеры к распознаванию и одновременной передачи светлых и темных деталей снимаемой сцены.
6. Что такое HDR
HDR состоит в получении серии фотографий с различной степенью экспозиции, которые комбинируются в одно изображение.
7. Как работает поляризационный фильтр и зачем он нужен
Поляризационный фильтр хорошо использовать для съемки при солнечном свете, так как он уменьшает блики от неметаллических поверхностей и придает насыщенность цветам.
Поляризационный фильтр - это кусок стекла, который закрывает объектив камеры и уменьшает дымку, отражения и блики. Он также может затемнить голубое небо.
8. Что такое разрешающая способность и от чего она зависит
Разрешающая способность — способность светочувствительного слоя раздельно воспроизводить детали объекта съемки. Разрешающая способность определяется максимальным числом параллельных черных штрихов и белых промежутков, равных по ширине. Способность давать раздельные изображения двух близких друг к другу точек объекта. (Вероятнее это просто макросъемка). Естественно зависит от расстояния
9. Что такое аберрации, какие виды аберраций бывают
Аберрация — когда происходит преломление света через линзы объектива, лучи могут собираться на матрице не в одной точке, тем самым искажая изображение.
Монохроматические аберрации — Монохроматические аберрации – погрешности, присущие любой реальной оптической системе. Возникновение связано с тем, что поверхности, преломляющие лучи неспособны собрать в точку широкие пучки лучей, падающие на них под большими углами. Монохроматические аберрации приводят к искажению изображения точки в некоторую фигуру рассеяния, что снижает четкость изображения и нарушает подобие изображения и предмета
Хроматические аберрации —это искажение, которое получается, когда свет проходит через линзу объектива. Обычно это цветные ореолы или полоски, которых не было в фотографируемой сцене. Чаще всего хроматические аберрации проявляются на стыке контрастных границ
Дифракционная аберрация — Дифракция света — физическое явление, при котором лучи отклоняются от прямолинейного направления при прохождении через малое отверстие (диаметром 0,1 — 1,0 мм). При этом кроме лучей, прошедших через отверстие прямолинейно появляются еще и лучи, отклонившиеся от этого направления.
10. Что такое муаровый узор
Муаровый узор — узор, возникающий при наложении двух периодических сетчатых рисунков.
Лекция 2. Цветовые пространства
1. Что такое видимый спектр
Видимое излучение — электромагнитные волны, воспринимаемые человеческим глазом, которые занимают участок спектра с длиной волны приблизительно от 380 (фиолетовый) до 780 (красный) нм.
2. Строение человеческого глаза
Строение глаза:
1. Роговица — защищает глаз.
2. Радужная оболочка — диафрагма.
3. Хрусталик — фокусирует свет от объектов (действительное перевернутое уменьшение).
4. Стекловидное тело — проводит свет от хрусталика до сетчатки (дает необходимое фокусное расстояние).
5. Сетчатка — содержит фоторецепторные клетки, обеспечивающие восприятие и преобразовани электромагнитного излучения видимой части спектра в нервный импульс, обеспечивает их первичную обработку.
6. Цилиарная мышца — отвечает за фокусировку.
7. Зрительный нерв — проводит импульс от сетчатки к мозгу.
8. Склера — каркас для организации структуры глаза.
Палочки – чб свет - яркость
Колбочки – цветной (3 типа, иногда 4, воспринимают разные длины волн)
Различают три вида колбочек:
— S-типа (short) чувствительны к фиолетово-синим оттенкам.
— M-типа (medium) чувствительны к желто-зеленым оттенкам.
— L-типа (long) чувствительны к желто-красным оттенкам.
Дальтонизм — отсутствие одного из типов колбочек.
Тетрахроматия — четыре типа колбочек, больший диапазон цветов (из ультрафиолета)
Восприятие человеческим глазом окружающего мира заключается в различении яркости и цвета.