Разработка и исследование алгоритма поиска положения особых точек в системах технического зрения летательных аппаратов

Введение

Системы технического зрения (СТЗ) предна­значены для восприятия техническими сред­ствами визуальной информации об окружаю­щей среде в различных спектральных диапа­зонах, а также для обработки и анализа изо­бражений с целью дальнейшего решения зада­чи классификации объектов. Обработка визу­альной информации заключается в получении некоторого представления об окружающей сцене, ее изображении и в формировании опи­сания объекта наблюдения для дальнейшей классификации. Это в полной мере относится к СТЗ современных летательных аппаратов (ЛА). Описание должно, с одной стороны, содержать всю существенную информацию о наблюдаемом объекте, а с другой - обеспе­чивать качественную обработку изображений с минимальными временными затратами. При описании с помощью СТЗ изображения объек­та происходит частичное выделение искомой информации при некоторой общей потере. Ба­ланс этих двух процедур является важнейшей задачей СТЗ [1].

Рассмотрим основные особенности, опре­деляющие специфику разработки конкретных СТЗ для перспективных ЛА.

Во-первых, при разработке подсистем информационного обеспечения СТЗ требуется решать не общую проблему автоматического понимания изображения произвольной сцены, а гораздо более определенную и узкую задачу проблемно-ориентированной интерпретации изображения объекта. Часто эта задача сводит­ся к обнаружению и идентификации на изо­бражении объекта некоторого набора особых точек (ОТ), наличие которых может повлиять на формирование решения.

Во-вторых, к алгоритмам обработки изоб­ражений объектов в СТЗ предъявляются специ­альные требования, связанные с назначением и характеристиками разрабатываемой или уже существующей системы. Для ЛА характерно высокое динамическое изменение положения в пространстве. По этой причине в зависимости от специфики конкретной задачи к подсистеме анализа изображений предъявляются следу­ющие требования: робастность, локализация и вычислительная реализуемость в реальном масштабе времени в рамках заданной аппа­ратной архитектуры. Функционирование СТЗ обычно осуществляется в реальном масштабе времени и требует разрешения классического противоречия между требованиями высокого быстродействия системы и сокращения объе­ма памяти [2].

В процессе распознавания изображения объектов СТЗ одной из значимых проблем остается задача сопоставления изображения, выделенного из фотоснимка или видеокадра, с его эталонными образами, хранящимися в базе данных. Основной методикой решения этой задачи является установление соответствия между некоторым подмножеством ОТ изобра­жения (точечных особенностей) и соответству­ющими подмножествами ОТ эталонных обра­зов объекта. При работе средств распознавания изображений используют различные способы соотнесения объектов распознавания и их об­разов, хранящихся в базе данных.

Под ОТ понимается точка на изображении ЛА, которая имеет четко определенные пози­ции на соседних кадрах и может быть надежно обнаружена для последующей классификации объекта наблюдения. ОТ имеет ряд признаков, существенно отличающих ее от множества со­седних с ней точек объекта текущего изображе­ния. ОТ может представлять характерные ча­сти на изображениях объекта, например, углы, вершины геометрических фигур, небольшие окружности и круги, края плоскостей, резкие цветовые переходы, перепады яркости или кон­трастности. Фактически она может быть изо­лированной точкой локального максимума или минимума линии интенсивности или представ­лять собой наиболее простой элемент дискрет­ного представления функции описания объекта.

Несмотря на то что изображение ЛА в виде набора ОТ представляет собой простую структуру - матрицу двумерных чисел, которая содержит большое количество информации о наблюдаемой сцене. Извлечь структурирован­ную информацию из этой сцены - сложная задача. Если речь идет о последовательности изображений высокодинамичных объектов, то задача становится еще сложнее, так как по­являются пространственно-временные связи между кадрами. Требуется обоснование ал­горитма, который позволит осуществить бы­стрый поиск и определить местоположение ОТ в последовательности изображений объекта в реальном масштабе времени.

Целями данной статьи являются разра­ботка алгоритма быстрого поиска и опреде­ление положения особых точек в последова­тельности изображений высокодинамичных объектов в системах технического зрения ле­тательных аппаратов.

Сравнительный анализ алгоритмов описания и сопоставления дескрипторов ОТ

В процессе выделения ОТ на кадре изображе­ния необходимо с помощью детектора прове­сти поиск ОТ и для каждой найденной точ­ки задать вектор-дескриптор, описывающий структуру ее окрестности, выделяющей ее из остального множества найденных точек.

Множество дескрипторов ОТ определя­ют модель объекта на изображении, которая в дальнейшем используется для сопоставления объекта с его эталонными изображениями в базе данных. На основе анализа множества пар дескрипторов исходного объекта и его эта­лонных образов принимается решение о том, являются ли сопоставляемые изображения аналогами.

Сопоставление дескрипторов осущест­вляется следующим образом. В пространстве классификации выбирается множество пар наиболее близких дескрипторов. Степень бли­зости рассчитывается как расстояние вектора дескриптора в пространстве изображений. Да­лее на основе отобранных пар наиболее близ­ких дескрипторов принимается решение о со­ответствии исходного изображения его образу путем сравнения расстояний относительно не­которого порогового значения.

В настоящее время разработано большое количество алгоритмов поиска ОТ с различ­ными детекторами и описанием окрестности найденной точки. Перечислим наиболее из­вестные из них.

1. АлгоритмSIFT (Scale Invariant Feature Transform). Дескрипторы окрестности точки инвариантны к масштабированию и поворо­там изображения, устойчивы к изменениям освещения, шумам и ракурсу наблюдателя. SIFT - один из наиболее часто используемых алгоритмов описания дескрипторов ОТ.
2. АлгоритмSURF (Speeded Up Robust Features). Дескрипторы окрестности точки также инвариантны к масштабированию и вра­щению, так как для описания окрестности най­денной точки используется матрица Гессе. При этом для каждой ОТ рассчитываются градиент максимального изменения яркости на данном участке и коэффициент масштабирования по матрице Гессе.
3. АлгоритмRIFF (Rotation Invariant Fast Features). Дескриптор, как и в предыдущих ал­горитмах, инвариантен к масштабированию, вращению и изменению освещенности. В ос­нову положены радиальное и тангенциальное разложение гистограмм градиента и последу­ющая обработка по кольцам.

Перечисленные выше алгоритмы имеют свои преимущества и недостатки. Основным недостатком алгоритмов SIFT и SURF являют­ся неустойчивость выделения ОТ при низком отношении сигнал/шум и низкий процент пра­вильного распознавания элементов изображе­ний объектов без ярко выраженной текстуры. Алгоритм RIFF имеет неустойчивость, вызы­ваемую размытием изображения вследствие наличия межкадрового рассогласования [3].

Теоретические исследования

Для СТЗ необходимо обрабатывать видеопо­следовательность в реальном масштабе вре­мени, поэтому избыточная вычислительная сложность алгоритмов SIFT, SURF и RIFF является нежелательным моментом. В связи с этим предложен алгоритм быстрого поиска и определения положения ОТ в последователь­ности изображений ЛА за счет значительно­го уменьшения количества входной инфор­мации. Предложенный алгоритм основан на анализе статистического распределения точек бинарного изображения ЛА.

При получении последовательности изо­бражений проводится предварительная об­работка, целью которой является подготовка последовательности кадров ЛА для их даль­нейшей обработки и анализа. Алгоритм пред­варительной обработки включает фильтрацию изображений, для повышения резкости изобра­жения, бинаризации с анализом полученных данных и последующей морфологической об­работки (рис. 1).

Обычно изображения, сформированные различными информационными системами, ис­кажаются под действием помех. Это затрудняет их визуальный анализ человеком-оператором и автоматическую обработку в ЭВМ. При реше­нии некоторых задач обработки изображений помехами могут быть те или иные компоненты этого изображения. Например, при анализе кос­мического снимка земной поверхности может быть поставлена задача определения границ между ее отдельными участками (лесом и по­лем, водой и сушей и т. п.). Отдельные детали изображения внутри разделяемых областей, со­гласно поставленной задаче, являются помехой.

Ослабить действия высокочастотных и импульсных помех можно с помощью линейной пространственной фильтрации. При фильтра­ции яркость (сигнал) каждой точки исходного изображения, искаженного помехой, заменя­ется некоторым другим значением яркости, которое признается в наименьшей степени искаженным помехой.

Бинаризация изображения является клю­чевым моментом, от которого зависит качество работы алгоритма поиска ОТ. Использование этой операции позволит разделить изображе­ние на ряд составляющих его смысловых обла­стей. Результат бинаризации принято представ­лять в виде изображения, имеющего столько же элементов, сколько их содержит исходное изображение. Таким образом, в общем случае видеопоследовательность является исходными данными для бинаризации.

Существует немало подходов к решению задачи бинаризации, имеющих свои преиму­щества и недостатки [4]. Б0льшая часть из них основана на анализе признаков точек изобра­жения. Признаки точек - это скалярные или векторные величины, вычисляемые с помощью яркостного поля изображения, выбор которых решающим образом влияет на правильность бинаризации.

Общеизвестным [4] является тот факт, что успех задачи бинаризации объектов зави­сит от удачно выбранной для описания объ­ектов системы признаков. Существующие алгоритмы бинаризации [4] подразделяются на бинаризацию с нижним порогом, верхним по­рогом, двойным ограничением и др.

В предложенном алгоритме быстрого по­иска ОТ в качестве информации используется гистограмма распределения яркости пикселей растрового изображения. Строится гистограм­ма по значениям

p_i = n_i / N,

где n_i - это количество пикселей с уровнем яркости i;

N - общее количество пикселей на изо­бражении.

Диапазон яркостей делится на два класса с помощью порогового значения уровня ярко­сти к, которое имеет целое значение в диапа­зоне 0...L. Каждому классу соответствуют от­носительные частоты ω₀, ω₁:

где μ₀, μ₁ - средняя яркость всего изображе­ния.

Вычислим максимальное значение оцен­ки качества разделения изображения на две части:

где σ²_кл - межклассовая дисперсия;

σ²_кл  = ω₀ ω₁(μ₁ -μ₀)²;

σ²_общ - общая дисперсия всего изображе­ния целиком.

После выполнения бинаризации изобра­жений на области проводится их морфоло­гическая обработка. В первую очередь ма­тематическая морфология используется для извлечения некоторых свойств изображения, полезных для его представления и описания, например, контуров, остовов, выпуклых обо­лочек. Основными операциями математиче­ской морфологии являются наращивание, эро­зия, замыкание и размыкание. Полученные совокупности пикселей необходимо описать и представить в форме, удобной для последую­щей компьютерной обработки. Область пред­ставляется внутренними характеристиками (т. е. совокупностью элементов изображения, составляющих эту область). Обычно внутрен­нее представление выбирается, если пред­ставляют интерес свойства самой области, например цвет и текстура, в данном случае формирующие его вес. Вес объекта - это сум­ма точек, составляющих данный объект.

Анализ и поиск ОТ осуществляются на бинарных изображениях, на которых при этом должны быть определены все бинарные объек­ты. Составляются списки бинарных объектов и признаков каждого из них.

Пусть на текущем изображении M(x, у) присутствуют N бинарных объектов. По каж­дому объекту создается трехмерный вектор

A_N (х, y, z),

где х, у - координаты центра масс объекта;

z - вес объекта (один из признаков).

Далее на основе массива векторов опре­деляется матрица расстояний ||r_ij|| следующим образом:

Здесь евклидово расстояние между A_i и A_k составляет

где X_i, y, х_k, y_k - координаты ОТ на изобра­жении.

Затем преобразуем матрицу в вектор- строку, элементами которого будет математи­ческое ожидание вектора-столбца матрицы расстояний ||r_ij||:

На основании полученных значений ма­тематического ожидания проводим поиск трех контрольных точек с максимальными значени­ями математического ожидания. ОТ, у которой математическое ожидание будет максимальным, станет центральной, относительно нее будут определены все дальнейшие преобразования.

Точность определения координат ОТ яв­ляется наиболее значимым критерием для алго­ритмов оценки и компенсации геометрических преобразований поступающих изображений. Обеспечение высокой точности - один из клю­чевых вопросов, связанных с решением задач распознавания и сопоставления образов в СТЗ.

Экспериментальные исследования

Проведено сравнение предложенного алго­ритма быстрого поиска и определения поло­жения ОТ с наиболее часто используемым алгоритмом описания дескрипторов особых точек SIFT в среде MATLAB.

Исходными данными служили малокон­трастные изображения различных ЛА. Причем одно изображение подвергалось геометриче­скому преобразованию (повороту) относитель­но другого. Критерием эффективности явля­лось количество найденных ОТ.

Положим, что в первом опыте рассогласо­вание между двумя изображениями ЛА относи­тельно центра составило 1°. При использовании алгоритма SIFT на первом изображении найде­но 118 точек, на втором - 158 точек (рис. 2). Из найденных ОТ всего 43 точки сопряжения (т. е. с одинаковым дескриптором на двух раз­ных изображениях).

По результатам эксперимента можно за­ключить, что даже небольшой поворот изобра­жения ЛА дает большое количество ложных срабатываний при поиске с помощью алгорит­ма SIFT. На рис. 2 отчетливо видно появление точек сопряжения вне объекта наблюдения (самолета).

Результаты анализа и обработки исход­ных изображений с использованием разрабо­танного алгоритма приведены на рис. 3. Пред­ложенный алгоритм позволяет определить 15 точек на первом изображении (рис. 3, а) и 13 точек на втором (рис. 3, б), из которых ОТ сопряжения всего 3.

Во втором опыте рассогласование меж­ду двумя изображениями относительно цен­тра составило 10°. На первом изображении с помощью алгоритма SIFT найдено 118 ОТ (рис. 4, а), на втором - 248 ОТ (рис. 4, б). При­чем из найденного количества ОТ точек сопря­жения всего 16.

По результатам второго опыта установ­лено отчетливое уменьшение свойства инвари­антности алгоритма SIFT к повороту изображе­ния не более 10°. Таким образом подтверждены ограничительные возможности алгоритма SIFT при повороте изображения на 10°.

Подобным образом проведена апробация разработанного алгоритма быстрого поиска ОТ на двух изображениях, рассогласование между которыми составило 10° относительно центра.

На рис. 5, а предложенный алгоритм бы­строго поиска ОТ находит 15 точек, на рис. 5, б - 13 точек, из которых точек сопряжения най­дено 3.

В третьем опыте рассогласование между двумя изображениями относительно центра составило 90°. С помощью алгоритма SIFT на первом изображении найдено 118 точек, а на втором - 88 точек. При этом точки сопряжения отсутствуют.

При использовании предложенного алго­ритма быстрого поиска ОТ на первом изобра­жении (рис. 6, а) найдено 15 точек, на втором (рис. 6, б) - 15 точек, при этом всего 3 точки сопряжения.

Результаты сравнения временных затрат на вычисления при различном угловом рассо­гласовании приведены в таблице.

Данные таблицы служат подтверждени­ем того, что разработанный алгоритм имеет преимущество в скорости вычисления по срав­нению с алгоритмом SIFT.

Заключение

Проведен анализ существующих алгоритмов поиска ОТ в СТЗ, выявлены их основные преимущества и недостатки. Разработан ал­горитм быстрого поиска ОТ, основанный на анализе статистического распределения би­нарного изображения.

Проведен анализ эффективности поис­ка ОТ известным алгоритмом SIFT и предло­женным алгоритмом быстрого поиска ОТ на последовательности из двух кадров малокон­трастного изображения при разном угловом рассогласовании.

В результате подтверждены основные недостатки алгоритма SIFT [5, 6]: нечеткое выделение ОТ ЛА относительно фона; низкий процент правильного распознавания элементов изображений объектов без ярко выраженной текстуры; инвариантность к угловому рассо­гласованию на угол не более 10°. Полученные результаты показывают устойчивость пред­ложенного алгоритма поиска ОТ к повороту изображения. На основе экспериментальных исследований можно сделать вывод об инвари­антности предложенного алгоритма к угловому рассогласованию ЛА.

Обоснована возможность значительного уменьшения количества входной информации, что позволило уменьшить вычислительную сложность алгоритма и снизить требование к быстродействию аппаратного обеспечения. Это в свою очередь является основным критерием при выборе алгоритмов обработки информа­ции в СТЗ ЛА в реальном масштабе времени.

Полученные результаты могут быть ис­пользованы в интеллектуальных оптических системах обработки информации, распознава­ния образов и принятия решения применимо к классам оружия ПЗРК и ПТРК.