Задания к лабам / 4 / FromInet / Projects
.htmProjects > English version < Проблемы и технологии компьютерного зрения на этом сайте Семантическая сегментация Цветовая сегментация Анализ движения
Анализ узлов
3D-scanning Здесь формулируются ограниченные по своей постановке задачи: Проекты
в области семантической сегментации и разработки средств для внутрикадрового редактирования видео
О лаборатории применения наша группа проекты ссылки сотрудничество контакты Проекты - SI1, CS2, GM3 это научные проекты в области семантической сегментации. Проект AEP4 - это проект создания инструментов производства видеоэфектов, а именно, плагинов к Adobe After Effect и Adobe Premiere Проект SI1 Выделение объектов путем анализа узлов и границ на одном изображений
Цель: понять что и каким способом можно узнать о заслоняющих краях объектов из одного единственного цветного изображения сцены.
Метод: сначала исходное изображение разбивалось на области с помощью цветового сегментатора; затем определялись типы узлов их границ (Y-тип, T-тип, и пр.). Для различных предположений о геометрии и окрасках поверхностей объектов сцены (например, присутствие в сцене не более чем трехгранных углов, выполнение гипотезы об "общем положении" наблюдателя и пр.) определялись допустимые сочетания типов границ в тех или иных узлах. Границы делятся на типы, поскольку им соответствуют разные по своей природе кривые: края заслонения, перепады окраски, ребра и др. Далее вычислялись такие объединения цветовых областей, которые могли относится к одному объекту, то есть не возникало противоречий гипотезе о том, что внешний контур этого объединения порожден заслоняющем краем.
Состояние: завершён. Документация здесь
Проект CS2 Цветовой сегментатор
Цель: создание методов классификации точек изображения по принципу принадлежности к однородно окрашенным участкам поверхности. При этом не должны проявляться "лишние" границы, связанные с тенями и изменениями цвета на кривых поверхностях.
Метод: сначала исходное изображение подвергается предобработке (определение уровня шума, сглаживание с сохранением границ и т.д.), после чего происходит сегментация нулевого уровня методом разделения на бассейны цветового градиента. Затем, используя методику слияния областей по признаку близости в цветовом пространстве, области нулевого уровня объединяются с учетом возможных цветовых различий на изображении между различно освещёнными точками одинаковой окраски.
Состояние: функционально завершён, обновляется. Документация здесь Проект GM3 Вычисление глобальных движений и выделение объектов на нескольких кадрах видеоряда
Цель: пусть мы имеем дело с тем фрагментом обычного видеоряда, на котором изображения каждого объекта в кадре, а также изображение фона, могут быть пересчитаны из одного кадра в другой заданным преобразованием (например, аффинным). Предположим также, что разные объекты движутся по-разному. В этих условиях требуется вычислить параметры преобразований и определить области изображений, относящиеся к разным объектам, иными словами выделить объекты.
Метод: прежде всего каждый кадр подвергается разбиению на однородно окрашенные области с помощью цветового сегментатора (порождается несколько таких разбиений с разной степенью мелкости). Затем границы областей используются для вычисления двух или более движений, присутствующих в кадре. Сначала границам, а затем и областям, приписываются показатели принадлежности к вычисленным движениям. Эти показатели характеризуют относительное качество, с которым каждое из найденных движений "пересчитывает" границу или точки области на соседний кадр. В результате для многих областей сразу удается определенно указать, какому движению они следуют, а так как разные объекты движутся по-разному, то одинаково движущиеся области мы относим к одному объекту. Из-за особенностей геометрии границ или неточности вычислений часть областей может не получить надежного сопоставления с одним из движений. Такая неоднозначность устраняется процедурой согласования решений, полученных на многих кадрам. Эту процедуру мы называем трассировкой решений.
Состояние: завершён. Документация и демонстрационная программа здесь
Проект AEP4 Анализ движений и цифровые видеоэффекты
Цель:. создание двух инструментов для производства цифровых видеоэффектов и интерактивного модуля кодека MPEG4:
1. Анализатор параметрических движений. Предполагается, что пользователь выделяет область на изображении (об инструменте выделении области см. Проект CS2.), которая хорошо пересчитывается по кадрам некоторым параметрическим преобразованием (например аффинным). Такой участок может соответствовать, например, плоской грани объекта. Далее вычисляются параметры преобразования. Найденное преобразование используется для изменения текстуры поверхности объекта.
2. Трассировка маски. Инструмент для быстрого выделения маски на одном кадре описан здесь. Прослеживание или трассировка маски по серии кадров является узловой проблемой при создании видеоэффектов. Мы начали разработку инструмента трассировки с моделирования метода, в котором сначала все кадры подвергаются цветовой сегментации, а затем маска на каждом кадре "собирается" из областей полученных цветовым сегментатором. Планируется для решения проблемы исследовать и другие методы.
Состояние: начат в мае 2001 г. Страница с более подробным описанием здесь
Проект OS5 Группировка точек одного изображения принадлежащих указанному объекту
Цель: создание методов объединения точек изображения по принципу принадлежности к объекту, указанному пользователем или другим алгоритмом. Предполагается, что окраска поверхности объекта однородна или изменяется плавно.
Метод: для нахождения границ объекта строится линейная модель цветового распределения объекта. Первое приближение строится по малой окрестности точки, указанной пользователем. Истинные границы находятся методом итерационного уточнения модели по области, хорошо удовлетворяющей предыдущей итерации. Разработаны две версии алгоритма: с использованием и без использования цветового сегментатора CS2.
Состояние: функционально завершён, обновляется. Проект ED6 Анализатор границ
Цель: создание методов вычисления правдоподобного (с точки зрения пользователя) поведения цвета объекта в районе его границы при перенесении объекта в другое окружение. Имеется в виду преодоление эффекта смешения цвета приграничных областей на несфокусированных границах или при отсутствии чёткой границы на данном уровне детализации (например, граница между фоном и волосами).
Метод: моделирование поведения цвета точек в направлении «поперёк» границы взвешенной суммой двух цветов и вычисление значений весовых коэффициентов вдоль этого направления из условия минимальной вариации базовых цветовых векторов. Результатом является описание объекта с «альфа»-каналом, который при наложении на другое изображение смешается с ним тем же образом, что и с исходным, не перенося цвета исходного окружения на новое.
Состояние: Алгоритм разработан, но не реализован.