Обнаружение и классификация малоразмерных объектов на изображениях, полученных радиолокационными станциями с синтезированной апертурой

Введение

В последнее время наиболее развиваемыми методами обнаружения и распознавания объ­ектов на оптических изображениях являются глубокие сверточные нейронные сети (СНС). Основная идея таких сетей заключается в ис­пользовании множества аналогично устроен­ных сверточных слоев, каждый из которых по­зволяет выделять из двумерной матрицы при­знаков (выход предыдущего слоя) все более абстрактные признаки, вплоть до распозна­ваемых классов. Хотя концепция нейронных сетей известна достаточно давно, они широко не применялись вплоть до 2005-2006 гг., ког­да появились способы уменьшения размерно­стей нейронных сетей и вычислительных ре­сурсов, требуемых для обучения, приведшие к концепции сверточной нейронной сети.

Как известно, методы обработки радио­локационных изображений (РЛИ) имеют свои особенности (см., например, [1, 2]), поэтому новые методы, созданные для оптических изо­бражений, не сразу нашли свое применение при обработке РЛИ. Одна из первых работ по использованию СНС для распознавания объ­ектов на РЛИ [3] появилась в 2015 г. и сразу продемонстрировала преимущества СНС по сравнению с целым рядом ранее известных алгоритмов, применявшихся при обработке РЛИ из баз данных (БД) MSTAR и CARABAS - наборов РЛИ наземной техники, снятых на раз­ных высотах носителя, на разных дальностях, под разными углами и ракурсами [4, 5].

Очевидно, что задача одновременного обнаружения и распознавания объектов яв­ляется более сложной, однако и для нее СНС показывают хорошие результаты, в частно­сти, при обработке оптических изображений. В последнее время стали появляться подобные исследования и при обработке РЛИ [6]. Для ре­шения задачи одновременного обнаружения и распознавания на РЛИ чаще всего используют­ся СНС, являющиеся вариантом архитектуры GoogLeNet [7]. Сверточная нейросеть, осно­ванная на данной архитектуре, в 2014 г. позво­лила достичь точности распознавания, сравни­мой с человеческой, и выиграть соревнование по распознаванию изображений Image Net. В [8] предложен способ применения СНС, по­зволяющий обнаруживать на РЛИ корабли с малыми размерами. Важным отличием данной СНС от базового варианта является добавле­ние в качестве финального подэтапа обработ­ки алгоритма кластеризации предсказанных ограничивающих прямоугольников для полу­чения финального набора областей интереса с вычислением для данной области наиболее вероятного класса [9].

Как показала практика, использование вариантов архитектуры GoogLeNet для обна­ружения и распознавания наземных объектов из большого набора классов на РЛИ при малом размере классифицируемых объектов (например, при разрешении около 1x1 м/пиксель и менее [10]) позволяет достичь высоких веро­ятностей обнаружения, но не распознавания. В данной работе предложен двухэтапный ал­горитм, в котором этапы обнаружения и рас­познавания базируются на СНС различной архитектуры, что позволяет достичь высоких вероятностей на обоих этапах, в том числе для близко расположенных объектов малых разме­ров. Решение задачи обнаружения и распозна­вания групп объектов малых размеров на РЛИ, предложенное в данной статье, в определенной степени продолжает ранние работы авторов по данной тематике [11-13].

Описание алгоритма

Рассмотрим двухэтапный алгоритм, в котором модули, выполняющие обнаружение и распо­знавание объектов, базируются на СНС раз­личной архитектуры. При этом на втором эта­пе применяется СНС классификации, которая обучается и работает с изображениями более высокого разрешения, чем СНС обнаружения. Последовательность шагов при обработке РЛИ данным алгоритмом приведена на рис. 1.

На первом этапе на РЛИ в исходном (низ­ком) разрешении выполняется обнаружение областей с потенциальными объектами и про­водится предварительное распознавание объ­ектов. При этом на выходе генерируется набор областей фиксированного размера с координа­тами относительно исходного изображения, в которых имеются объекты. Далее для обна­руженных областей путем интерполяции по­вышается разрешение, причем интерполяция может быть как фиксированной (например, бикубическая), так и адаптивной [8]. На вто­ром этапе проводится распознавание объектов при повышенном разрешении. На выходе дан­ного этапа определяются координаты и класс объекта.

Предложенный алгоритм позволяет ис­пользовать для обучения СНС обнаружения и распознавания радиолокационные данные при различном разрешении. В результате данный алгоритм способствует обнаружению и клас­сифицированию объектов малых размеров с вероятностью более высокой по сравнению со случаем, когда вся обработка проводится только в низком разрешении.

Выбор вида интерполяции делает воз­можным применение варианта более быстро­го обучения (при фиксированной интерполя­ции) или более точной классификации (при адаптивной интерполяции).

Этап обнаружения

При реализации этапа обнаружения использо­валась СНС DetectNet [14]. Особенностью дан­ной архитектуры является активное примене­ние сети GoogLeNet с начальными (inception) слоями, которые позволяют объединять в од­ном векторе признаков информацию с разных уровней детализации входного изображения. Эта особенность позволяет СНС такого типа проводить эффективное обнаружение объ­ектов в нескольких масштабах одновремен­но, при этом уменьшается сложность сети и повышается точность обработки. Данные по предсказанным позициям обнаруженных объ­ектов с DetectNet далее подаются на алгоритм кластеризации с целью формирования списка обнаруженных объектов [9]. Гиперпараметры и структура исходной модели DetectNet (в том числе количество начальных слоев) настраи­вались так, чтобы более эффективно решать задачу обнаружения близко расположенных объектов, а также снизить сложность и число параметров модели.

В качестве исходных данных для обучения были использованы РЛИ из БД CARABAS [5] с разрешением 1x1 м/пиксель, содержащие объекты техники трех классов. Объекты на изображениях были получены в результате пролета носителя радара на высоте 6,36 км при удалении на 12 км от целевых объектов и под углами 225°, 135° и 230°. При этом ра­дар излучал под углами 135°, 45° и 140° со­ответственно. Всего оказалось доступно уни­кальных эталонов: по классу TGB11 = 166, по классу TGB30 = 144, по классу TGB40 = 126, с размерами объектов от 10*10 до 23*23 пик­селей.

Суммарное количество (436) уникальных эталонов оказалось недостаточным для каче­ственного обучения СНС, поэтому для увели­чения обучающей выборки был реализован генератор примеров. Генератор принимал на вход набор эталонов одного класса и фоновое РЛИ (взятое из БД CARABAS), очищенное от отметок исходных объектов, и генерировал изображение, содержащее некоторое множе­ство копий эталонов исходных объектов по­верх фонового РЛИ. Для «вставки» эталонов объектов в результирующее изображение эта­лона использовалось сглаживание по формуле

Out = Bg(5 - min ((Dist, 5))/5) + Obj min((Dist, 5))/5,

где Out - результирующее значение яркости пикселя;

Bg - яркость пикселя фонового изобра­жения;

Dist - расстояние в пикселях в пределах эталона от ближайшей границы изображения эталона до обрабатываемого пикселя;

Obj - яркость пикселя изображения объ­екта.

Исходные эталоны были разделены на обучающие (90 %) и проверочные (10 %). С помощью генератора было подготовлено 360 изображений для обучения, содержащих от 114 до 148 объектов. Для проверки было со­здано 360 изображений, содержащих от 14 до 18 объектов из проверочного набора эталонов. Обучение модуля обнаружения проводилось на спецвычислителе типа GTX1080 и занимало порядка одних суток.

Пример обработки реального РЛИ при­веден на рис. 2. Объекты, распознанные как класс TGB11, подсвечены синими прямоуголь­никами; класс TGB30 - большими окружностя­ми зеленого цвета, класс TGB40 - меньшими окружностями красного цвета. Вероятность правильной классификации и ошибки, свя­занные с перепутыванием классов для обна­руженных (табл. 1) объектов представлены, в табл. 2.

Таким образом, для объектов на РЛИ с элементом разрешения 1x1 м/пиксель была достигнута высокая вероятность обнаружения: 97,8...99.9 %. Для доступной выборки данных по объектам трех классов на проверочном на­боре вероятность предварительной класси­фикации обнаруженных объектов составляла 75,7...87.1 %.

Этап классификации

Для реализации этапа классификации объек­тов применялась СНС архитектуры «Остаточ­ная сеть» (ResNet) [15]. Данная архитектура использует модифицированный блок сверточ­ных слоев, в котором при обучении уменьша­ется не непосредственно ошибка на выходе блока, а остаток - разность между входом и ожидаемым выходом блока. Такая архитекту­ра позволяет быстрее обучать более глубокие сети и является одной из лучших архитектур для распознавания. Сеть обучалась на изобра­жениях объектов заданных классов фиксиро­ванного размера по данным с более высоким разрешением, чем сеть этапа обнаружения. В дальнейшем проверялось качество распозна­вания на изображениях низкого разрешения, а также варианты обучения на наборах данных смешанного типа.

В качестве исходных данных для обуче­ния были использованы РЛИ из БДMSTAR [5] набора данных PUBLIC_TARGETS_CHIPS с объектами трех классов: Т72, БМП2 и БТР70. Набор разделен на две части - тренировочную и проверочную. Количество объектов каждого класса приведено в табл. 3.

Примеры изображений объектов показа­ны на рис. 3.

Поскольку в исходном наборе данных со­держалось неравное число эталонов для каж­дого класса, а общее число эталонов было недостаточным, возникла необходимость до­полнительной генерации исходного набора данных перед обучением. Для генерации ис­пользовалась случайная выборка с возвратом, и для каждого выбранного изображения вы­резалась центральная область со случайным сдвигом в диапазоне [-7, 7] независимо по обе­им осям. Для каждого класса генерировалось по 1024 дополненных изображения.

Итоговая вероятность правильного рас­познавания по трем классам на проверочном наборе составила 99 %.

Для оценки точности работы модуля классификации в случае обработки объектов на РЛИ с низким разрешением проводилась проверка классификатора на примерах с ухуд­шенным разрешением. Для этого изображения проверочного набора прореживались в 2 раза, а затем восстанавливались до исходного раз­мера с помощью бикубической интерполяции и распознавались уже обученной сетью.

В табл. 4 приведены матрицы перепу­тываний для исходного (высокого) и низкого (уменьшенного) разрешения для этого случая с восстановлением с помощью бикубической интерполяции. Общая вероятность правиль­ного распознавания уменьшилась при этом до 88 %. Необходимо отметить, что при исполь­зовании для восстановления линейной интер­поляции общая вероятность правильного рас­познавания снизилась до ~ 60 %.

В процессе исследования также было по­лучено, что если во время обучения вместе с ин­терполированными использовать изображения с высоким разрешением, то в итоге вероятность правильного распознавания для восстановлен­ных изображений уменьшалась только до 95 %.

Заключение

В работе показано, что двухэтапный алгоритм обнаружения и классификации объектов на радиолокационных изображениях с использо­ванием сверточных нейронных сетей двух раз­личных архитектур обеспечивает более высо­кие результаты распознавания по сравнению с алгоритмами, применяющими одну сеть и для обнаружения, и для классификации.

Обучение модуля классификации на при­мерах с высоким разрешением позволяет ис­пользовать дополнительные данные (изобра­жения объектов в повышенном разрешении) и тем самым повысить вероятности правильного распознавания обнаруженных объектов.

Предложенная методика подготовки дан­ных дает возможность обучать сверточную нейросеть на обоих этапах алгоритма при от­носительно небольшом числе исходных радио­локационных изображений, применяя при этом имеющиеся изображения объектов в бо­лее высоком разрешении.

В дальнейшем предполагается отработка алгоритма и методики обнаружения и распо­знавания объектов на натурных радиолокаци­онных изображениях, полученных для боль­шого количества классов при работе в реаль­ном времени.