МОСКОВСКИЙ АВИАЦИОННЫЙ ИНСТИТУТ

(ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ) «МАИ»

Специальность 0719.01- Информационные системы и технологии

Максимов Н.А.

Методы обработки аудио- и видеоинформации

(Конспект лекций)

Объем лекций: 10 семестр - 32 часа.

Москва, 2005

Содержание

Стр

Тема 1	Лекция 1 Введение	3
Тема 2	Лекция 2 Цифровые изображения	35
Тема 3	Лекция 3 Точечные (локальные операции с изображениями	60
Тема 4	Лекция 4 Преобразования Фурье	81
Тема 5	Лекции 5,6 Фильтрация изображений	100
Тема 6	Лекция 7 Сегментирование и распознавание изображений	123
Тема 7	Лекции 8,9 Границы и линии на изображениях	173
Тема 8	Лекции 10 Цвет и задачи, решаемые с цветными изображениями	195
Тема 9	Л Лекции 11,12 Сжатие изображений	222
Тема 10	Техническая реализация комплексов обработки информации	273
Тема 11	Лекции 14,15 Обработка аудиоинформации	297
Тема 12	Лекция 16 Распознавание речи	342
	Рекомендуемая литература	361

1. Введение

1.1. Применение методов обработки изображения

Геофизические наблюдения

Дистанционное обнаружение

Сейсмология

Применение в медицине

Электрокардиография

Анализ крови

Анализ глазного дна

Транспорт

Распознавание автомобилей

Распознавание самолетов

Криминалистика

Анализ дактилоскопических изображений

Робототехника

1.2. Зрительная система и восприятие изображения

Строение зрительной системы

Адаптация к освещенности и контрастная чувствительность

Разрешающая способность зрительной системы в пространстве

Инерционность зрения

Восприятие движения

Восприятие цвета

Функциональная модель зрения

Методы оценки качества воспроизведения изображения

1.3. Состав и функции систем обработки изображения

1.4. Ссылки и литература для дальнейшего изучения

1.5. Задание

Изображения служат для представления информации в визуальном виде. Эффективность восприятия этой информации человеком зависит от многих факторов. Максимальный учет их влияния возможен при условии изучения целой цепочки вопросов, связанных со способами формирования, свойствами зрительного восприятия и преобразования изображений.

Существует много разных подходов к визуализации. Возникают новые методы, но они не заменяют уже существующие, а только дополняют их. К традиционным методам формирования изображений относятся - рентгеновский, ультразвуковой, радиоизотопный, ядерного магнитного резонанса и др.

Во многих визуальных, фотографических и иных приборах наблюдения глаз человека является конечным звеном, которое воспринимает информацию для анализа. От зрительных особенностей глаза оператора, его работы зависит успешное выполнение поставленной задачи. Поэтому проблему улучшения изображений нужно решать комплексно, рассматривая систему “глаз - изображение”.

Зрение обладает еще одним очень важным биологическим свойством - адаптацией к различным режимам работы. Благодаря этому зрительная система человека работает в широком диапазоне яркостей: 10^-6 - 10⁵ кд/м². При изменении уровня яркости поля зрения автоматически включается целый ряд механизмов, что и обеспечивает адаптационную перестройку зрения. Адаптацию следует рассматривать как развитие процесса перехода от одного уровня яркости к другому во времени.

Исследование механизмов и создание теоретических концепций восприятия света человеком имеют давнюю историю. Одним из первых исследователей этой проблемы считается П.Бугер, который исследовал реакцию глаза человека на световое возбуждение в 1760 г. Он пытался установить зависимость реакции глаза от светового возбуждения и количественно ее оценить. На основании проведенных опытов Бугер предложил выражение дифференциального порога (порогового контраста). На первых порах считалось, что пороговый контраст - величина постоянная. Но Вебер в 1834 г. доказал, что эта характеристика неизменна лишь в некотором интервале яркостей (закон Вебера). Развивая исследования в этом направлении, Фехнер в 1858 г. предложил считать единицей видимой яркости восприятие порогового различения между двумя световыми полями, которое часто называют едва заметным различением или дифференциальным порогом. Детальные исследования чувствительности человеческого глаза проводились Кенингом и Бродхуном в 1903 г., а также Штайнхардтом в 1936 г. Ими было установлено, что постоянным разностный порог является лишь в областях средних яркостей. Для яркостей, которые находятся на краях диапазона, порог значительно больше. Поиски более точного соотношения между "светлотой" и яркостью продолжались и в дальнейшем. На практике “светлоту" часто вычисляют за формулой Вышецкого. Контрастный закон восприятия света, предложенный В.Ф.Нестеруком и Н.Н.Порфирьевой в 1970 г., включает в себя закон Вебера-Фехнера как первое приближение и характеризуется ограниченностью изменения контраста на промежутке [0, 1] и безграничным количеством условий достижения его максимума. С целью устранения многозначности условий, при которых достигается максимальное значение контраста, неравноправности влияния яркостей на контраст, Р.А.Воробель в 1999 году предложил линейное описание локальных контрастов, это позволяет находить числовое значение обобщенного контраста изображения по гистограмме распределения яркостей его элементов. Обобщенный контраст, выраженный конкретным числом, является важной характеристикой изображения.

Результаты работы той или иной системы обработки изображений анализирует человек. Поэтому чем лучше информация на изображении согласована со свойствами зрительной системы восприятия, тем выше будет вероятность принятия правильного решения по результатам его анализа. При разработке эффективных алгоритмов обработки изображений необходимо учитывать основные законы зрительного восприятия:

1. закон контрастного восприятия света;

2. закон формирования уровня адаптации;

3. закон константности зрительного восприятия;

4. закон зрительного восприятия сюжетного изображения;

5. закон экстремальности зрительного восприятия информации.

Эксперименты, исследование и поиск аналитических выражений зрительного восприятия света человеком длятся и поныне. Эти выражения должны быть корректными во всем диапазоне внешних воздействий и обладать достаточной общностью для учета свойств физиологических объектов и состояний их адаптации от пороговой к предельно допустимой. Целесообразно использовать принцип реакции зрительной системы на яркостной стимул как основу анализа изображений и построения методов их обработки.

В настоящее время значительная часть задач обработки информации и анализа данных связана с изображениями. Примерами могут служить обработка и анализ данных дистанционного зондирования Земли со спутников, объемные изображения объектов, полученные с помощью голографических устройств, результаты применения методов неразрушающих исследований и контроля в промышленности, разработка “органов зрения” роботов и современных медицинских систем диагностики (рентгенография, машинная томография, эндоскопия и т.д.). Для успешного решения задач поиска и идентификации объектов, определения различного рода их количественных характеристик необходимо, чтобы первичные изображения характеризовались высоким визуальным качеством, которое теряется из-за неудовлетворительных условий получения изображений, несовершенства систем передачи видеоинформации и ее отображения, влияния помех и т.п. Поэтому актуальной является задача преобразования изображений с целью улучшения их визуального качества и повышения информативности.

Современное развитие технологий автоматической обработки визуальной информации позволяет применять их в системах технического зрения при выполнении широкого ряда производственных операций, контроля продукции и др. Промышленные роботы, снабженные компьютерным зрением позволяют сравнительно быстро и дешево производить переналадку производства на выпуск новой продукции, а транспортные роботы благодаря зрению обеспечивают надежную ориентацию в пространстве. Экспертные системы, опирающиеся на базы данных, включающие изображения, для поиска и распознавания заданных объектов требуют быстрого и надежного анализа оцифрованной видеоинформации в специализированных архивах изображений либо в базах Интернет.

ГЕОФИЗИЧЕСКИЕ НАБЛЮДЕНИЯ Дистанционное обнаружение

В настоящее время огромную роль играют наблюдения за поверхностью Земли и других планет — это и различные спутники, и корабли многоразового использования, и орбитальные станции, и многое другое. Каждая из этих систем, наполненных различными приборами и устройствами восприятия, выдает огромные потоки информации. Поскольку число потенциальных потребителей этой информации быстро возрастает, представляется необходимым выполнять автоматическую классификацию наблюдений за минимальное время, согласованное со срочностью запросов. Идеальным было бы обрабатывать каждое изображение по мере его восприятия, т.е. в реальном масштабе времени, и выдавать результаты непосредственно заинтересованным пользователям.

Перечень областей, для которых требуется выполнять орбитальные наблюдения, можно продолжать почти неограниченно. Это обнаружение облачных образований и наблюдение за их изменениями, обнаружение выбросов и загрязнения водных пространств, наблюдение за снежным покровом и ростом сельскохозяйственных культур, оценка ущерба от стихийных бедствий, обнаружение пожаров и засушливых зон, определение изменений береговой линии, обнаружение обильных снегопадов и т.д. К этому можно добавить многочисленные и разнообразные применения в военном деле.

Предварительная обработка данных, выполняемая на борту спутника, необходима для уменьшения влияния атмосферных или иных помех. Такие же операции повторяются на Земле после приема информации с орбиты, наряду с другими операциями (обработки, распределения и др.). В перспективе, по мере развития космической техники, особенно в целях навигации (наземной, морской и воздушной), будут разрабатываться методы обнаружения движущихся объектов, наведения датчиков и отслеживания траекторий, которые могли бы выполняться на борту летательного аппарата.

Одна из наиболее важных задач, примыкающих к этой области, это обнаружение облаков и выработка признаков для автоматического различения их от снегового покрова. Такая операция необходима для устранения ошибок при наведении навигационных приборов.

Применение в сейсмологии

Сейсмические волны можно наблюдать и записывать в любой точке земной поверхности. Для этого предназначены сейсмографы — приборы, обладающие чрезвычайно высокой чувствительностью к механическим колебаниям Земли. Автоматическое дешифрирование этих записей представляет огромный интерес для понимания явлений, происходящих в толще земной коры. В частности, проводились работы по выявлению различий в сейсмограммах, вызванных различными причинами — землетрясениями и ядерными взрывами.

Поскольку сейсмограммы имеют достаточно большую продолжительность, то было предложено отображать их в форме фраз, слов, символов. Такой же метод используется при описании биологических сигналов, в частности, электрокардиограмм и электроэнцефалограмм. Первая и наиболее серьезная трудность на этом пути — представление исходной информации.

Очень важно правильно выбрать параметры первичного разбиения сигнала на отдельные отрезки. Чем они короче, тем более простым оказывается их представление, но в то же время тем длиннее становится время распознавания, так как оно растет пропорционально числу исследуемых отрезков. Кроме того, чем короче отрезки, тем они более чувствительны к шумам. Типичные примеры записи сейсмограмм для глаза могут иметь сходство между кривыми, хотя в каждой из них представлены записи, вызванные разными источниками. Это доказывает, что задача классификации не так проста, как кажется на первый взгляд. Кроме того, чем дальше размещен сейсмограф от эпицентра землетрясения или от места взрыва, тем больше визуальное сходство между сигналами.

Для решения задачи автоматической классификации в частотной области можно было бы использовать аппарат спектрального анализа. Однако она решается и более простыми средствами, при помощи всего двух признаков, характеризующих каждый отрезок. Это соответственно энергия сигнала за время длительности отрезка и число переходов сигнала через нуль. Множество этих значений и представляет массив исходных данных. Каждый отрезок представляется двухкомпонентным вектором: х_г (энергия) и х₂ (число переходов через нуль). Можно использовать и другие признаки, но это приводит лишь к усложнению вычислений.

Следующий этап – классификация, устанавливающая связь со словами, входящими в словарь описаний. Для классификации сейсмических волн была разработана грамматика, реализуемая на детерминированном конечном автомате.

ПРИМЕНЕНИЕ В МЕДИЦИНЕ Электрокардиография

Электрокардиография представляет собой один из методов исследования работы сердца, основанный на записи разности электрических потенциалов, возникающей в процессе сердечной деятельности. Диагностические возможности метода исключительно широки. Разность потенциалов снимается с определенных участков поверхности кожи с помощью электродов, изготовленных из соответственно подобранного металла. Поскольку снимаемые сигналы имеют амплитуду порядка милливольт, они поступают на вход усилителя, после которого подаются на регистрацию.

Схематически сердце может быть представлено в виде электрического диполя переменной длины, зависящей от сердечного ритма. Форма электрического сигнала, изменяющегося во времени, и его амплитуда зависят от точки съема. Обычно расположение электродов стандартно. Так, ЭКГ ДП соответствует разности потенциалов между правой рукой и левой ногой. Буквы PQRST, предложенные Эйнтховеном, позволяют в удобной форме описывать отдельные особенности этой непрерывной кривой. Периодический сигнал ЭКГ имеет сравнительно простую структуру, поэтому уже достаточно давно была предложена процедура его автоматического распознавания на основе грамматического описания.

Используемая здесь сегментация несколько отлична от той, которая была предложена Эйнтховеном. Описание ЭКГ составляется из четырех символов — р, r, b, t, каждый из которых соответствует определенному участку кривой. Символ р соответствует волне Р, r — RS-переходу, b — относительно плоской части, разделяющей экстремумы S и Т (около 0,1 с), t — волне Т. Если за начало отсчета принять волну Р, то в таких обозначениях нормальная ЭКГ может быть описана последовательностями символов: prbtb, prbtbb, prbtbbb и т. д.

Такой тип распознающего автомата весьма примитивен: он способен обнаруживать лишь грубые отклонения от нормы. В действительности анализ аномальной ЭКГ представляет собой серьезную задачу, которая выполняется квалифицированным специалистом.

Анализ препаратов крови

Задачу анализа препаратов крови можно пред­ставить как совокупность ряда подзадач. Рассмот­рим одну из них: расчет концентрации эритроцитов.

Основные проблемы, возникающие при анализе указанного класса изображений, – это повышение качества введенного изображения, отделение час­тиц заданного класса от всей совокупности микро­частиц изображения, подсчет их геометрических характеристик.

Обработка изображения препарата крови, со­держащего эритроциты (см. рис. 1.1.а), представляет собой совокупность следующих задач:

• удаление импульсного и аддитивного шумов,

• пороговая обработка,

• медианная фильтрация,

• построение гистограммы площадей.

Недостаточная контрастность и неравномерное распределение яркости по полю изображения явля­ются существенной помехой для обнаружения час­тиц. Разработанный и реализованный метод вырав­нивания с контрастированием позволяет избавиться от этих недостатков (рис. 1.1.б). В данном методе исходное изображение сканируется "окном" про­извольного размера. Внутри "окна" производится линейное преобразование яркости, которое при­водит диапазон яркостей поля изображения к диа­пазону [0; 255].

Для сокращения информационной избыточнос­ти полутоновое изображение преобразуется в ре­зультате пороговой обработки в графический пре­парат (двухградационное изображение) (рис. 1.1.в). Для удаления мелких шумовых наложений на графическом препарате используется медианный фильтр (рис. 1.1.г).

Рис. 1.1. Изображение препарата крови, содержащего эритроциты (а), выравнивание с

контрастированием (б), пороговая обработка (в) и медианная фильтрация (г).

Специфика изображения препарата крови, со­держащего эритроциты, состоит в том, что оно со­держит как одиночные, так и слившиеся частицы. Поэтому для определения концентрации эритро­цитов осуществляется разбиение слившихся час­тиц. Разбиение производится по средней площади частицы. Графический интерфейс пользователя, содержащий гистограмму площадей и реализую­щий диалоговый режим работы системы, пред­ставлен на рис. 1.2.

Увеличение концентрации розеток свидетельст­вует об усилении иммунной реакции организма, на­пример, при инфекциях или аллергии.

Рис. 1.2. Графический интерфейс пользователя при решении задачи подсчета эритроцитов.

Анализ изображения глазного дна

Диагностическое изображение глазного дна представляет собой сеть каналов (вен и артерий), расположенных на фоне с плавно меняющейся яр­костью, значение которой существенно больше яр­кости сосудов. Аномальными проявлениями на изображении глазного дна служат сгустки черных и белых пятен, сильная извилистость сосудов, обиль­ное ветвление капилляров (см. рис. 1.3.).

Рис. 1.3. Изображения глазного дна, соответствующие нормальному состоянию сетчатки (а)

и патологическим изменениям (б).

Наименее заметным и в то же время важным критерием пато­логии глазного дна является состояние сосудистой системы. К диагностике широкого спектра заболе­ваний имеют отношение такие характеристики, как ширина вен и артерий, отношение их ширины, из­менение ширины по длине сосуда, динамика изме­нения направления сосудов, углы ответвления со­судов (рис. 1.4.).

Рис. 1.4. Оцениваемые элементы патологической картины глазного дна:

неравномерность диаметра по длине сосуда (а), извилистость сосуда (б) и разветвление сосудов (в).

Автоматическая трассировка отдельного сосуда производится с помощью задания пользователем начальной и конечной точки сканирования и с уче­том найденного направления сосуда в текущей точ­ке. За ширину сосуда принимается число ненулевых отсчетов, лежащих на перпендикуляре к направлению сосуда. После определения ширины исходная точка смещается на некоторый заданный шаг трас­сировки в направлении, которое выбирается из вы­численных ранее как наиболее близкое к прямому направлению к конечной точке. В результате трассировки формируется последовательность параметров, характеризующих состояние сосудистой системы и используемых при оценке патологии.

На рис. 1.5. представлен графический интерфейс, позволяющий пользователю визуализировать процесс предварительной обработки изображения глазного дна и процесс трассировки сосудов. Интерфейс дает возможность пользователю анализировать накапливающиеся значения параметров сосудистой системы.

Рис. 1.5. Графический интерфейс пользователя для анализа изображений глазного дна.

ПРИМЕНЕНИЕ НА ТРАНСПОРТЕ Распознавание автомобилей

Работы по совершенствованию дорожного движения требуют изучения транспортных потоков. Для того чтобы сведения о частоте движения автомашин были достоверными, необходимо проводить измерения при прохождении автомобилями одного и того же отрезка пути. Одно из возможных решений состоит в том, чтобы характеризовать каждую машину на входе контролируемого участка, а затем распознавать машины на выходе с помощью одних и тех же средств. Обработка данных, полученных таким способом, позволяет получить информацию о плотности и средней скорости движущегося потока.

Известны различные методы распознавания автомашин. Один из них основан на анализе издаваемого ими шума, другие — на изучении их теплового портрета. Однако опыт показывает, что для данной задачи эти методы слишком сложны. Хорошие результаты можно получить при помощи значительно более простых средств — подземных датчиков в виде индукционной петли, несложных в изготовлении и обслуживании.

Принцип действия индукционного датчика достаточно прост. На проезжей части, под дорожным покрытием, расположена проволочная петля, связанная с устройством обработки данных. В результате прохождения автомашины импеданс петли изменяется (явление взаимной индукции), вызывая изменение напряжения в схеме, с которой петля соединена. Полученный сигнал после аналого-цифрового преобразования используется для обработки в ЭВМ (осциллограммы сигналов, вызванных прохождением автомашин). Формы сигналов от легковой машины и от грузовика сильно отличаются друг от друга. Для удобства дальнейшей обработки сигналы приводят к нормализованному виду путем введения коррекции, зависящей от скорости и траектории движения.

Путем распознавания этих сигналов можно получить данные о средней скорости и количестве машин в единицу времени. Этот метод может быть использован и в других областях, где приходится наблюдать за линейным перемещением как дискретных объектов, так и движущихся непрерывно (листовой прокат, проволока и т.п.).

Распознавание самолетов

Автоматическое распознавание летательных аппаратов (в том числе самолетов) представляет собой исключительно важную задачу для управления воздушным движением. Разумеется, хорошо известны специальные системы активного распознавания с помощью автоответчиков, принцип которых состоит в том, что автоматический приемопередатчик (автоответчик), установленный на борту самолета, излучает определенный код по запросу с Земли. Однако его использование не всегда возможно, поэтому были предложены и другие методы, в частности классификация самолетов по их контурам.

Были разработаны метод грамматического описания контура и грамматика, объем которой должен учесть все разнообразие положений самолета относительно наблюдателя. Однако продолжительность обработки информации этим методом слишком велика и не дает возможности создания прибора, который действовал бы в реальном масштабе времени, по крайней мере, в процессе сближения с самолетом.

Другой метод распознавания основан на использовании инвариантных характеристик контура самолета. В качестве таких инвариант рассматриваются центральные моменты, Были исследованы несколько моментов. Эти моменты являются составляющими многомерного вектора, описывающего каждый контур. Группирование выполняется по правилу ближайшего соседства. Однако при такой классификации несколько различных моделей самолетов могут попасть в один и тот же класс, а такое совпадение во многих задачах недопустимо.

Третий метод заключается в представлении самолета вектором, составляющими которого являются коэффициенты разложения контура в ряд Фурье. Поскольку контур, как правило, замкнут, то его разлагают в ряд как периодическую функцию. В противном случае разомкнутый контур рассматривают как один период периодической функции.

Достоинство этого метода состоит в том, что при соответствующей нормировке такое описание не зависит от изменения масштаба, угла поворота и сдвига.

Для распознавания необходимо составить библиотеку контуров всех возможных типов самолетов, подлежащих классификации. Разделение на классы выполняется по принципу минимального расстояния от границы раздела классов.

ПРИМЕНЕНИЕ В КРИМИНАЛИСТИКЕ Анализ дактилоскопических изображений

В криминалистике одним из часто используе­мых способов установления личности является идентификация по отпечаткам пальцев. В связи с этим представляется важной задача автоматизиро­ванного сличения изображений отпечатков пальцев.

Сличение отпечатков проводится сравнением их характеристик: глобальных и локальных особен­ностей. Глобальными особенностями являются та­кие конфигурации узора, как дельта, спираль, пет­ля. Обнаружение глобальных особенностей проще производится не по исходному изображению, а по полю направлений. Каждому типу особенности со­ответствует определенная конфигурация поля на­правлений вблизи особой точки (рис. 1.6.а — в).

Рис. 1.6. Соответствие поля направлений и глобальных особенностей дактилоскопических изображений: дельта (а), спираль (б), петля (в).

Полученное в результате вычислений поле на­правлений в силу наличия шума на изображении и неидеальности полос папиллярного узора неустойчиво, что проявляется в виде ряби на изображении поля. Поэтому требуется его фильтрация.

На рис. 1.7. показаны исходное и фильтрованное поля направлений.

Рис. 1.7. Сглаживающая фильтрация изображения поля направлений: исходная картина поля направлений отпе­чатка пальца (а) и результат фильтрации (б).

Использование поля направлений вместо исходных дактилоскопических изображений позволяет в десятки раз повысить эффективность распознавания отпечатков.

ПРИМЕНЕНИЕ В сфере компьютерного зрения

Разработки в сфере компьютерного зрения, в основном, ориентированы на следующие области:

Управление производством

• Распознавание/определение расположения электронных компонентов.

• Системы управления роботом.

• OCR (распознавание символов).

Применение в медицине

• Анализ/распознавание объектов на рентгеновских снимках.

• Инструментарий анализа видео/фото/рентген данных.

• Применение в фармакологических исследованиях.

Видеонаблюдение

• Обнаружение/анализ движения.

• Распознавание/отслеживание объектов.

• Распознавание жестов.

• Идентификация.

• Распознавание номеров автомобилей.

Векторизация изображений

• Получение векторного представления растрового изображения.

• Разложение изображения на цветовые слои.

В связи с нарастающей значимостью использования цифровых изображений в различных сферах человеческой деятельности является актуальным развитие и модернизация функциональных возможностей систем компьютерного зрения. С их помощью решается огромный круг задач, описанных ниже. Компаниями, занимающимися в сфере компьютерного зрения, ведутся разработками по следующим направлениям.

Классификация изображений – важная задача проектирования реальных технических систем компьютерного зрения. Подходы, реализованные в пакете CVision Libraries для решения подобных задач, позволяют в кратчайшие сроки и с минимальными затратами проектировать как несложные пользовательские приложения, так и эффективные и высокоточные инженерные программные системы компьютерного зрения. Проекты:
Система сортировки писем Приложение MailSort было разработано для решения задачи классификации изображений почтовых конвертов. Задача заключается в поиске подпоследовательности почтовых конвертов одинакового типа в общем потоке конвертов и идентификации соответствующего почтового ящика с подобными конвертами.
Сортировка рентгеновских изображений Приложение XRaySort было разработано для классификации рентгеновских медицинских изображений. Обрабатываемые изображения классифицируются с помощью статистического классификатора, который предварительно обучается на представительной выборке данных изображений.

Восстановление состояния модели является важной исследовательской задачей и состоит в определении состояния объекта, которое меняется с течением времени. Решения этой задачи использоваться во многих областях науки и промышленности, таких как дистанционное управление роботами-манипуляторами, разработка систем поиска в специальных базах данных изображений и т.д. Проекты:
Распознавание жестов Приложение GestRec разработано с использованием пакета CVision Libraries для решения задачи распознавания жестов руки из определенного набора. Приложение обрабатывает видео данные из файла или непосредственно с камеры.
Восстановление состояния модели руки Приложение MP разработано для решения задачи идентификации состояния модели ладони и вычисления характеристик модели с использованием технологии, основанной на алгоритмах библиотек CVision Libraries. Входные данные - последовательность изображений от устройства измерения расстояния - дальномера.
Распознавание автомобильных номеров Приложение LPR (Licence Plate Reader) разработано для решения задачи распознавания номеров автомобилей. Приложение позволяет обрабатывать видео данные из файла или непосредственно с камеры.
Формирование поисковых запросов рентгеновских изображений Приложение XRaySortQuery было разработано для формирования запросов в базах данных рентгеновских снимков. Технология основана на векторном представлении изображений, определении и вычислении набора особенностей, которые гарантируют присутствие искомой части тела на изображении, и их анализе.
Обнаружение и анализ движения Приложение VSA (Video Scene Analyser) было разработано для решения задачи обнаружения и анализа движения и слежения за движущимися объектами. Задача поставлена следующим образом - отследить на последовательности видео кадров движущийся объект и зафиксировать изменения сцены местности в течение всего времени, когда объект находился в зоне видимости камеры и после того как объект покинул зону видимости. Приложение может работать как с данными из файла формата AVI, так и с данными, поступающими непосредственно с видео камеры.
Инструментарий проведения визуальных измерений Приложение Bubbles разработано для обнаружения различных объектов на изображении и измерения их геометрических свойств и характеристик формы. Приложение позволяет выделять на изображении множество объектов, удовлетворяющих заданным параметрам, и измерять или вычислять для них некоторые характеристики в зависимости от заданных параметров.

Распознавание образов и определение характеристик является приоритетной задачей компьютерного зрения. Подходы, реализованные для решения задач распознавания образов, включают в себя высокоэффективные и скоростные алгоритмы обработки и анализа изображений. Технология распознавания образов основана на генерации некоторого описания искомого объекта - шаблона, обнаружении/распознавании на изображении и вычислении характеристик/особенностей. Технологии, разработанные в пакете CVision Libraries, могут применяться для решения следующих задач: Распознавание символов. Идентификация и верификация денежных знаков/печатей/подписей. Обнаружение водяных знаков. Поиск изображений и видео. Обнаружение и идентификация лица. Обнаружение/локализация/прослеживание жестов. Промышленная инспекция качества. И т.п. Проекты:
Распознавание символов Приложение OCR разработано с использованием библиотек CVision Libraries для решения задачи распознавания символов на поверхностях различных объектов, в частности, для распознавания маркировки чипов на сборочной линии. Приложение применяет многоуровневый анализ изображения, что делает возможным фильтрацию шума и распознавание всех символов.
Определение местоположения электронных компонентов Приложение GGM, разработанное с использованием библиотек CVision Libraries, решает задачу распознавания электронных компонентов на изображении и определения их характеристик. Данная технология позволяет распознавать объекты как полностью, так и частично присутствующие на изображении, независимо от их угла вращения, смещения, масштаба, перспективной деформации, неравномерности фона, шума и т.д.
Обнаружение и слежение за объектами Приложение Items было разработано для распознавания объектов и слежения за ними. Приложение обрабатывает статические и динамические данные, которые могут быть получены из файлов или с видео камеры.
Распознавание объектов заданных шаблоном Приложение MPPS разработано с использованием пакета CVision Libraries для решения задачи распознавания жестов. Входные данные представляют собой последовательность изображений, поступающих от устройства измерения расстояния - дальномера, и анализируются в режиме реального времени.
Определение коллимационной области на рентгеновских снимках Приложение XRad разработано для решения задачи определения на рентгеновском изображении информативной части. Задача состоит в уменьшении изображения до размеров его коллимационной области и определении так называемых координат фотографического затвора - точек многоугольника коллимационной области рентгеновского снимка.
Система чтения этикеток с паллет Система распознавания этикеток предназначена для чтения текста (номера заказа и номера паллеты) с этикеток, прикрепленных к паллетам, и сохранения считанных с этикетки данных для последующего их использования системой учета. http://www.cvision.ru

ТЕПЛОВИЗИОННАЯ СИСТЕМА «СВИТ»
Характеристика Тепловизионная система «СВИТ» предназначена для получения высококачественных изображений различных объектов в виде отображения тепловых полей (термограмм). Принцип действия системы основан на регистрации собственного теплового излучения объекта в инфракрасной области спектра (ИК) в диапазоне 2,65-3,1 мкм и последующей компьютерной обработке полученной информации. Без применения дополнительных фильтров система позволяет определять температуру поверхности объекта в области выше 200С, с предельной чувствительностью 0,007 С. Время выхода на рабочий режим не более 15 мин. и время непрерывной работы при однократной заливке жидкого азота не менее 12 ч.	Рис. Тепловизионная камера системы «СВИТ» и примеры термограмм (сверху)
Технико-экономические преимущества Применение системы «СВИТ» в области медицины позволяет производить экспресс-диагностику и осуществлять раннее обнаружение различных заболеваний – воспалений, опухолей, поражений нервов и сосудов, других патологий без вмешательства в деятельность организма. Программное обеспечение системы позволяет задавать границы температурных зон при визуализации кадра и обеспечивает сохранение кадра как в специальном графическом формате, так и с включением в специальную «Карточку пациента». В технической области применение системы обеспечивает снятие термограммы в течение короткого времени (порядка 0,05 сек.), что дает возможность при изучении распределения тепловых полей в газах, жидкостях и других объектах исследовать как быстропротекающие, так и стационарные процессы. Преимуществом системы является полное управление ее работы через компьютер, при этом программное обеспечение системы позволяет определять числовое значение температуры объекта в любой точке, разницу температур между любыми двумя точками, вывод графика распределения температуры вдоль выбранного сечения теплограммы, получать представление термограмм в разных цветовых гаммах.
	Области применения Медицина. Теплоэнергетика. Экология. Научные исследования. Машиностроение. Транспорт.

Цифровой видеомагнитофон MS-X
	Автономное устройство (для записи не требуется компьютер) предназначена для долговременной (2-3месяца) записи видеоизображения от 4-х видеокамер. Носителем информации является сменный винчестер 3,5 дюйма. Сменный винчестер может быть использован как устройство долговременного хранения. Для просмотра записанной информации используется IBM совместимый компьютер. Программа просмотра предусматривает моментальный доступ к любому из записанных фрагментов. Привязка фрагментов осуществляется по дате и времени записи. Алгоритмы используемые для сжатия видео изображения обеспечивают более чем 200 кратное уменьшение цифрового потока. длительная автономная запись видео и регистрация событий схема сжатия видео ITU-T H.263+ схема сжатия фотографий JPEG (ITU-T T.81) 4 видеоканала с независимыми настройками гибкая настройка геометрии изображения (масштабирование, отсечение) встроенные часы реального времени регистрация событий от внешних датчиков (для каждого видеоканала) регистрация превышения порога движения в поле кадра регистрация пропадания/восстановления видеосигнала разъемы для подключения питания видеокамер жесткий диск в качестве носителя (до 64Гб), Rack воспроизведение видео на PC, подключение через параллельный порт ПО для PC, позволяющее оперативно работать с большими объемами видеоинформации
Основные параметры Среднее время автономной работы (носитель 20 Гб) 3 месяца Количество видеовходов 4 Формат входного сигнала PAL/SECAM Формат представления цвета ч/б (8 бит), YUV 4:2:0 (8 бит) Cжатие видео  Коэффициент масштабирования исходного кадра 1:2,75 ... 1:1 (128x96 ... 352x288 точек) Разрешение активной части кадра 128x96 ... 352x288 точек Суммарная частота кадров по всем каналам, цветное изображение, разрешение 325x288(*) 6 кадров/с Суммарная частота кадров по всем каналам, ч/б изображение, разрешение 325x288(*) 9 кадров/с Суммарная частота кадров по всем каналам, цветное изображение, разрешение 256x192(*) 12 кадров/с Суммарная частота кадров по всем каналам, ч/б изображение, разрешение 256x192 (*) 18 кадров/с Суммарная частота кадров по всем каналам, разрешение 176x144 и меньше (*) 25 кадров/с Суммарная скорость видеопотоков, среднее зачение(**) 30 кбит/с Суммарная скорость видеопотоков, пиковое зачение(***) 200 кбит/с Фотография  Коэффициэнт масштабирования исходного кадра 1:2,75 ... 2:1 (128x96 ... 704x576 точек) Разрешение активной части кадра 128x96 ... 704x576 точек Электрические и конструктивные параметры Скорость обмена EPP 500 кбит/c Потребляемая мощность 10 Вт, 220 В Питание видеокамеры (на каждый канал) 12 В, 100 мА Тип входных разьемов для видеосигнала BNC Габаритные размеры 240x160x100 мм
(*) Частота кадров зависит от количества движения в кадре, значения приведены для среднего движения 20% площади кадра. (**) Средняя скорость потока зависит от настроек, значение приведено для 325x288, 6 кадров/с, цвет, мало движения. (***) Пиковая скорость дана для большого движения в кадре - более 70%, значения настроек - 325x288, 6 кадров/с, цвет, мало движения.
Для воспроизведения записанной информации используется IBM-совместимый компьютер с программой просмотра. Программа просмотра обеспечивает быстрый доступ к любому из записанных фрагментов, поиск фрагментов по времени/дате записи, ведение базы видеоданных. Видеомагнитофон обеспечивает запись видео изображения с частотой до 10 - 15 кадров в секунду (в зависимости от формата изображения и интенсивности движения в поле наблюдения). На каждую из камер может быть подключен охранный датчик, который либо активизирует камеру, либо увеличивает скорость записи кадров с данной камеры. Срабатывание датчика отмечается меткой на записи. Настройка режим работы каждой камеры осуществляется при помощи программы просмотра, с использованием внешнего компьютера. В режиме настройке можно выбрать скорость записи кадров, поле кадра, и много других параметров для каждой камеры в отдельности. Возможно использование менее четырех камер в этом случае скорость записи и длительность записи соответственно возрастают. Встроенный блок питания позволяет дополнительно обеспечивать питанием +12В до четырех внешних видеокамер. Отличительной особенностью применяемых блоков питания является расширенный диапазон входных напряжений (140…270V АС), что позволяет применять изделия в условиях с нестабильным напряжением сети, например в загородных домах. Устройство предназначено для круглосуточной эксплуатации. Потребляемая мощность - не более 30 Вт. http://www.smp.aha.ru

AUTOSCAN – ИНТЕГРИРОВАННЫЙ ПРОГРАММНЫЙ КОМПЛЕКС ОБРАБОТКИ И АНАЛИЗА РАСТРОВЫХ ИЗОБРАЖЕНИЙ
НИИ прикладных физических проблем им. А.Н.Севченко Белорусского государственного университета
Назначение и область применения Программный комплекс AUTOSCAN предназначен для анализа растровых изображений, полученных при микрофотографировании различных поверхностей. Позволяет осуществлять количественные измерения и классификацию объектов, входящих в состав изображения, таких как размер, форма, положение, оптическая плотность идентифицируемых частей изображения.   Программный анализатор рекомендуется использовать в металлографическом анализе, рентгеноструктурном анализе, медицине. Программа может применяться при контроле качества продукции в металлургии, где необходимо проводить измерение коэффициентов отношения площадей различных фаз в сечении металлических изделий и оценку среднего размера различных зерен, которые входят в состав металлургических микроструктур. В порошковой металлургии анализатор может использоваться при контроле количественных характеристик исходного порошка, что является необходимым для обеспечения качества изготавливаемых изделий. Технические возможности Использование встроенных средств захвата изображения при помощи ПЗС видеокамеры позволяет проводить непосредственное наблюдение объектов анализа в окне программы и последующий захват и обработку нужного участка изображения. Программа обеспечивает возможность пакетной обработки набора изображений. Очень часто при анализе изображений приходится обрабатывать довольно значительное количество микрофотографий, полученных с одной поверхности в одних и тех же условиях. AUTOSCAN позволят проводить обработку всего пакета фотографий в автоматическом режиме. Оператор задает единые для всей группы условия анализа, и после этого обработка происходит без его участия. Количественные и статистические результаты выдаются для всей группы. Предусмотрена возможность ручного редактирования объектов анализа. В некоторых случаях необходимо вмешательство оператора в результаты работы программы. Для этого предусмотрен ручной режим редактирования, используя который можно внести корректировки в результаты анализа: удалять некорректные объекты, проводить операции разделения и объединения объектов, добавлять новые и т.п. Программа обеспечивает высокую точность измерений, автоматический расчет статистических величин, возможность пакетной обработки серии изображений. Возможна адаптация программы к нуждам потребителя, разработка и модернизация приборов для анализа (замена фотоаппарата на ПЗС камеру), поставка программы в комплексе с необходимым оборудованием. Программа работает в среде WINDOWS 95/98, ME, NT, 2000, XP http://www.icm.by/_private/developments/p133/indexr.html	- исходное изображение микроструктуры поверхности - выделение и классифика-ция компонентов структуры

СВЕДЕНИЯ О СТРОЕНИИ ЗРИТЕЛЬНОЙ СИСТЕМЫ

Оптика глаза. На рис. 1.8. показан разрез глаза.

Рис. 1.8. Разрез глаза: 1  склера; 2  роговая оболочка;