Preview

Вестник Концерна ВКО «Алмаз – Антей»

Расширенный поиск

Обнаружение и классификация малоразмерных объектов на изображениях, полученных радиолокационными станциями с синтезированной апертурой

Полный текст:

Аннотация

Исследована задача одновременного обнаружения и классификации (распознавания) объектов нескольких классов на радиолокационных изображениях с помощью сверточных нейронных сетей. Предложен двухэтапный алгоритм обработки, выполняющий обнаружение и распознавание объектов, с промежуточным подэтапом, который переводит участки с обнаруженными объектами из низкого в высокое разрешение. Показана возможность значительного повышения вероятностей обнаружения и распознавания за счет обучения модуля распознавания на данных с высоким разрешением. Этапы обнаружения и распознавания реализованы с применением подходов глубокого обучения сверточных нейронных сетей.

Для цитирования:


Казачков Е.А., Матюгин С.Н., Попов И.В., Шаронов В.В. Обнаружение и классификация малоразмерных объектов на изображениях, полученных радиолокационными станциями с синтезированной апертурой. Вестник Концерна ВКО «Алмаз – Антей». 2018;(1):93-99.

For citation:


Kazachkov E.A., Matyugin S.N., Popov I.V., Sharonov V.V. Detection and classification of small-scale objects in images obtained by synthetic-aperture radar stations. Journal of «Almaz – Antey» Air and Defence Corporation. 2018;(1):93-99. (In Russ.)

Введение

В последнее время наиболее развиваемыми методами обнаружения и распознавания объ­ектов на оптических изображениях являются глубокие сверточные нейронные сети (СНС). Основная идея таких сетей заключается в ис­пользовании множества аналогично устроен­ных сверточных слоев, каждый из которых по­зволяет выделять из двумерной матрицы при­знаков (выход предыдущего слоя) все более абстрактные признаки, вплоть до распозна­ваемых классов. Хотя концепция нейронных сетей известна достаточно давно, они широко не применялись вплоть до 2005-2006 гг., ког­да появились способы уменьшения размерно­стей нейронных сетей и вычислительных ре­сурсов, требуемых для обучения, приведшие к концепции сверточной нейронной сети.

Как известно, методы обработки радио­локационных изображений (РЛИ) имеют свои особенности (см., например, [1, 2]), поэтому новые методы, созданные для оптических изо­бражений, не сразу нашли свое применение при обработке РЛИ. Одна из первых работ по использованию СНС для распознавания объ­ектов на РЛИ [3] появилась в 2015 г. и сразу продемонстрировала преимущества СНС по сравнению с целым рядом ранее известных алгоритмов, применявшихся при обработке РЛИ из баз данных (БД) MSTAR и CARABAS - наборов РЛИ наземной техники, снятых на раз­ных высотах носителя, на разных дальностях, под разными углами и ракурсами [4, 5].

Очевидно, что задача одновременного обнаружения и распознавания объектов яв­ляется более сложной, однако и для нее СНС показывают хорошие результаты, в частно­сти, при обработке оптических изображений. В последнее время стали появляться подобные исследования и при обработке РЛИ [6]. Для ре­шения задачи одновременного обнаружения и распознавания на РЛИ чаще всего используют­ся СНС, являющиеся вариантом архитектуры GoogLeNet [7]. Сверточная нейросеть, осно­ванная на данной архитектуре, в 2014 г. позво­лила достичь точности распознавания, сравни­мой с человеческой, и выиграть соревнование по распознаванию изображений Image Net. В [8] предложен способ применения СНС, по­зволяющий обнаруживать на РЛИ корабли с малыми размерами. Важным отличием данной СНС от базового варианта является добавле­ние в качестве финального подэтапа обработ­ки алгоритма кластеризации предсказанных ограничивающих прямоугольников для полу­чения финального набора областей интереса с вычислением для данной области наиболее вероятного класса [9].

Как показала практика, использование вариантов архитектуры GoogLeNet для обна­ружения и распознавания наземных объектов из большого набора классов на РЛИ при малом размере классифицируемых объектов (например, при разрешении около 1x1 м/пиксель и менее [10]) позволяет достичь высоких веро­ятностей обнаружения, но не распознавания. В данной работе предложен двухэтапный ал­горитм, в котором этапы обнаружения и рас­познавания базируются на СНС различной архитектуры, что позволяет достичь высоких вероятностей на обоих этапах, в том числе для близко расположенных объектов малых разме­ров. Решение задачи обнаружения и распозна­вания групп объектов малых размеров на РЛИ, предложенное в данной статье, в определенной степени продолжает ранние работы авторов по данной тематике [11-13].

Описание алгоритма

Рассмотрим двухэтапный алгоритм, в котором модули, выполняющие обнаружение и распо­знавание объектов, базируются на СНС раз­личной архитектуры. При этом на втором эта­пе применяется СНС классификации, которая обучается и работает с изображениями более высокого разрешения, чем СНС обнаружения. Последовательность шагов при обработке РЛИ данным алгоритмом приведена на рис. 1.

 

Рис. 1. Последовательность шагов алгоритма обнару­жения и классификации

 

На первом этапе на РЛИ в исходном (низ­ком) разрешении выполняется обнаружение областей с потенциальными объектами и про­водится предварительное распознавание объ­ектов. При этом на выходе генерируется набор областей фиксированного размера с координа­тами относительно исходного изображения, в которых имеются объекты. Далее для обна­руженных областей путем интерполяции по­вышается разрешение, причем интерполяция может быть как фиксированной (например, бикубическая), так и адаптивной [8]. На вто­ром этапе проводится распознавание объектов при повышенном разрешении. На выходе дан­ного этапа определяются координаты и класс объекта.

Предложенный алгоритм позволяет ис­пользовать для обучения СНС обнаружения и распознавания радиолокационные данные при различном разрешении. В результате данный алгоритм способствует обнаружению и клас­сифицированию объектов малых размеров с вероятностью более высокой по сравнению со случаем, когда вся обработка проводится только в низком разрешении.

Выбор вида интерполяции делает воз­можным применение варианта более быстро­го обучения (при фиксированной интерполя­ции) или более точной классификации (при адаптивной интерполяции).

Этап обнаружения

При реализации этапа обнаружения использо­валась СНС DetectNet [14]. Особенностью дан­ной архитектуры является активное примене­ние сети GoogLeNet с начальными (inception) слоями, которые позволяют объединять в од­ном векторе признаков информацию с разных уровней детализации входного изображения. Эта особенность позволяет СНС такого типа проводить эффективное обнаружение объ­ектов в нескольких масштабах одновремен­но, при этом уменьшается сложность сети и повышается точность обработки. Данные по предсказанным позициям обнаруженных объ­ектов с DetectNet далее подаются на алгоритм кластеризации с целью формирования списка обнаруженных объектов [9]. Гиперпараметры и структура исходной модели DetectNet (в том числе количество начальных слоев) настраи­вались так, чтобы более эффективно решать задачу обнаружения близко расположенных объектов, а также снизить сложность и число параметров модели.

В качестве исходных данных для обучения были использованы РЛИ из БД CARABAS [5] с разрешением 1x1 м/пиксель, содержащие объекты техники трех классов. Объекты на изображениях были получены в результате пролета носителя радара на высоте 6,36 км при удалении на 12 км от целевых объектов и под углами 225°, 135° и 230°. При этом ра­дар излучал под углами 135°, 45° и 140° со­ответственно. Всего оказалось доступно уни­кальных эталонов: по классу TGB11 = 166, по классу TGB30 = 144, по классу TGB40 = 126, с размерами объектов от 10*10 до 23*23 пик­селей.

Суммарное количество (436) уникальных эталонов оказалось недостаточным для каче­ственного обучения СНС, поэтому для увели­чения обучающей выборки был реализован генератор примеров. Генератор принимал на вход набор эталонов одного класса и фоновое РЛИ (взятое из БД CARABAS), очищенное от отметок исходных объектов, и генерировал изображение, содержащее некоторое множе­ство копий эталонов исходных объектов по­верх фонового РЛИ. Для «вставки» эталонов объектов в результирующее изображение эта­лона использовалось сглаживание по формуле

Out = Bg(5 - min ((Dist, 5))/5) + Obj min((Dist, 5))/5,

где Out - результирующее значение яркости пикселя;

Bg - яркость пикселя фонового изобра­жения;

Dist - расстояние в пикселях в пределах эталона от ближайшей границы изображения эталона до обрабатываемого пикселя;

Obj - яркость пикселя изображения объ­екта.

Исходные эталоны были разделены на обучающие (90 %) и проверочные (10 %). С помощью генератора было подготовлено 360 изображений для обучения, содержащих от 114 до 148 объектов. Для проверки было со­здано 360 изображений, содержащих от 14 до 18 объектов из проверочного набора эталонов. Обучение модуля обнаружения проводилось на спецвычислителе типа GTX1080 и занимало порядка одних суток.

Пример обработки реального РЛИ при­веден на рис. 2. Объекты, распознанные как класс TGB11, подсвечены синими прямоуголь­никами; класс TGB30 - большими окружностя­ми зеленого цвета, класс TGB40 - меньшими окружностями красного цвета. Вероятность правильной классификации и ошибки, свя­занные с перепутыванием классов для обна­руженных (табл. 1) объектов представлены, в табл. 2.

 

Рис. 2. Результат обнаружения и предварительной классификации объектов на этапе обнаружения

 

 

Таблица 1

Вероятность обнаружения объектов трех классов для проверочного набора

Класс

Обнаружено целевых объектов

TGB11

1997 из 2040 (97,8 %)

TGB30

1794 из 1800 (99,6 %)

TGB40

1559 из 1560 (99,9 %)

 

Таблица 2

Вероятность предварительной классификации и ошибки перепутывания обнаруженных объектов

Класс

TGB11

TGB30

TGB40

TGB11

1677 (82,2 %)

285 (13,9 %)

35 (1,7 %)

TGB30

48 (2,6 %)

1364 (75,7 %)

478 (26,5 %)

TGB40

0 (0 %)

200 (12,8%)

1359 (87,1 %)

Таким образом, для объектов на РЛИ с элементом разрешения 1x1 м/пиксель была достигнута высокая вероятность обнаружения: 97,8...99.9 %. Для доступной выборки данных по объектам трех классов на проверочном на­боре вероятность предварительной класси­фикации обнаруженных объектов составляла 75,7...87.1 %.

Этап классификации

Для реализации этапа классификации объек­тов применялась СНС архитектуры «Остаточ­ная сеть» (ResNet) [15]. Данная архитектура использует модифицированный блок сверточ­ных слоев, в котором при обучении уменьша­ется не непосредственно ошибка на выходе блока, а остаток - разность между входом и ожидаемым выходом блока. Такая архитекту­ра позволяет быстрее обучать более глубокие сети и является одной из лучших архитектур для распознавания. Сеть обучалась на изобра­жениях объектов заданных классов фиксиро­ванного размера по данным с более высоким разрешением, чем сеть этапа обнаружения. В дальнейшем проверялось качество распозна­вания на изображениях низкого разрешения, а также варианты обучения на наборах данных смешанного типа.

В качестве исходных данных для обуче­ния были использованы РЛИ из БДMSTAR [5] набора данных PUBLIC_TARGETS_CHIPS с объектами трех классов: Т72, БМП2 и БТР70. Набор разделен на две части - тренировочную и проверочную. Количество объектов каждого класса приведено в табл. 3.

 

Таблица 3

Количество объектов по типам

Набор

БМП2

БТР70

T72

Всего

Тренировочный

698

233

691

1622

Проверочный

587

196

582

1365

Примеры изображений объектов показа­ны на рис. 3.

 

Рис. 3. Примеры изображений объектов: а - БМП2; б - БТР70; в - Т72

 

Поскольку в исходном наборе данных со­держалось неравное число эталонов для каж­дого класса, а общее число эталонов было недостаточным, возникла необходимость до­полнительной генерации исходного набора данных перед обучением. Для генерации ис­пользовалась случайная выборка с возвратом, и для каждого выбранного изображения вы­резалась центральная область со случайным сдвигом в диапазоне [-7, 7] независимо по обе­им осям. Для каждого класса генерировалось по 1024 дополненных изображения.

Итоговая вероятность правильного рас­познавания по трем классам на проверочном наборе составила 99 %.

Для оценки точности работы модуля классификации в случае обработки объектов на РЛИ с низким разрешением проводилась проверка классификатора на примерах с ухуд­шенным разрешением. Для этого изображения проверочного набора прореживались в 2 раза, а затем восстанавливались до исходного раз­мера с помощью бикубической интерполяции и распознавались уже обученной сетью.

В табл. 4 приведены матрицы перепу­тываний для исходного (высокого) и низкого (уменьшенного) разрешения для этого случая с восстановлением с помощью бикубической интерполяции. Общая вероятность правиль­ного распознавания уменьшилась при этом до 88 %. Необходимо отметить, что при исполь­зовании для восстановления линейной интер­поляции общая вероятность правильного рас­познавания снизилась до ~ 60 %.

 

Таблица 4

Матрицы перепутываний при разном исходном разрешении изображений

Класс

Предсказание

Класс

Предсказание

БМП2

БТР70

Т72

БМП2

БТР70

Т72

Высокое разрешение

Интерполяция с низкого разрешения

БМП2

581

4

2

БМП2

437

77

73

БТР70

2

194

0

БТР70

0

196

0

Т72

18

0

562

Т72

5

5

572

В процессе исследования также было по­лучено, что если во время обучения вместе с ин­терполированными использовать изображения с высоким разрешением, то в итоге вероятность правильного распознавания для восстановлен­ных изображений уменьшалась только до 95 %.

Заключение

В работе показано, что двухэтапный алгоритм обнаружения и классификации объектов на радиолокационных изображениях с использо­ванием сверточных нейронных сетей двух раз­личных архитектур обеспечивает более высо­кие результаты распознавания по сравнению с алгоритмами, применяющими одну сеть и для обнаружения, и для классификации.

Обучение модуля классификации на при­мерах с высоким разрешением позволяет ис­пользовать дополнительные данные (изобра­жения объектов в повышенном разрешении) и тем самым повысить вероятности правильного распознавания обнаруженных объектов.

Предложенная методика подготовки дан­ных дает возможность обучать сверточную нейросеть на обоих этапах алгоритма при от­носительно небольшом числе исходных радио­локационных изображений, применяя при этом имеющиеся изображения объектов в бо­лее высоком разрешении.

В дальнейшем предполагается отработка алгоритма и методики обнаружения и распо­знавания объектов на натурных радиолокаци­онных изображениях, полученных для боль­шого количества классов при работе в реаль­ном времени.

Список литературы

1. Кондратенков Г.С., Фролов А.Ю. Радиовидение. Радиолокационные системы дистанционного зондирования Земли / под ред. Г.С. Кондратенкова. М.: Радиотехника, 2005. 368 с.

2. Доросинский Л.Г. Оптимальная обработка радиолокационных изображений, формируемых в РСА. М.: Издательский дом Академии естествознания, 2017. 212 с.

3. Wang H., Chen S., Xu F., Jin Y.Q. Application of deep-learning algorithms to MSTAR data // International Geoscience and Remote Sensing Symposium (IGARSS). 2015. Рp. 3743-3745.

4. Moving and Stationary Target Acquisition and Recognition (MSTAR) Public Release Data // URL: https://www.sdms.afrl.af.mil/datasets/matar/ (data access 24.03.2018).

5. Hellsten H., Ulander L., Gustavsson A., Larsson B. Development of VHF CARABAS 11 SAR, Proc. SPIE. Vol. 2747 // Radar Sensor Technology, 8-9 April 1996. Рp. 48-60.

6. Long Y., Gong Y., Xiao Z., Liu Q. Accurate object localization in remote sensing images based on convolutional neural networks // IEEE Transactions on Geoscience and Remote Sensing. 2017. Vol. 55. No. 5. DOI:10.3390/rs10010131

7. Szegedy Ch., Liu W., Jia Y., Sermanet P., Reed S., Anguelov D., Erhan D., Vanhoucke V., Rabinovich A. Going Deeper With Convolutions // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. Рp. 1-9.

8. Kang M., Ji K., Leng X., Lin Z. Contextual Region-Based Convolutional Neural Network with Multilayer Fusion for SAR Ship Detection // Remote Sensing. 2017. Vol. 9. Р. 221.

9. OpenCV group Rectangles // URL: https://docs. opencv.org/3.4/d5/d54/group objdetect.html (data access 24.03.2018).

10. Внотченко С.Л., Достовалов М.Ю., Дьяков А.В., Дьяков И.В., Ермаков Р.В., Жаровская Е.П., Коваленко А.И., Мусинянц Т.Г., Нейман Л.С., Риман В.В., Суслов В.Е. Авиационные мобильные малогабаритные радиолокаторы с синтезированной апертурой семейства «Компакт» (принципы реализации и опыт применения) // Журнал радиоэлектроники. 2009. № 10. URL: http://jre.cplire.ru/jre/oct09/5/text.html (дата обращения 24.03.2018).

11. Матюгин С.Н., Чернигин А.А. Исследование применимости нейронных сетей для классификации объектов на изображениях // Нейрокомпьютеры: разработка, применение. 2007. № 11. С. 38-42.

12. Матюгин С.Н., Попов И.В. Решение модельной задачи классификации с использованием нейронной сети // Материалы IX Международной конференции «Радиолокация, навигация, связь». Воронеж, 2003. С. 1615.

13. Казачков Е. А., Матюгин С. Н., Попов И. В., Шаронов В. В. Результаты исследования методов обработки радиолокационных изображений // Тезисы докладов Международной выставки-конференции военных и двойных технологий «Новые технологии в радиоэлектронике и системах управления». Нижний Новгород: Электроника, 2002. С. 125

14. Tao A., Barker J., Sarathy S. DetectNet: Deep Neural Network for Object Detection in DIGITS // URL: https://devblogs.nvidia.com/parallelforall/ detectnet-deep-neural-network-object-detection- digits (data access 24.03.2018).

15. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. Рp. 770-778.


Об авторах

Е. А. Казачков
АО «ФНПЦ «ННИИРТ»
Россия


С. Н. Матюгин
АО «ФНПЦ «ННИИРТ»
Россия


И. В. Попов
АО «ФНПЦ «ННИИРТ»
Россия


В. В. Шаронов
АО «ФНПЦ «ННИИРТ»
Россия


Для цитирования:


Казачков Е.А., Матюгин С.Н., Попов И.В., Шаронов В.В. Обнаружение и классификация малоразмерных объектов на изображениях, полученных радиолокационными станциями с синтезированной апертурой. Вестник Концерна ВКО «Алмаз – Антей». 2018;(1):93-99.

For citation:


Kazachkov E.A., Matyugin S.N., Popov I.V., Sharonov V.V. Detection and classification of small-scale objects in images obtained by synthetic-aperture radar stations. Journal of «Almaz – Antey» Air and Defence Corporation. 2018;(1):93-99. (In Russ.)

Просмотров: 66


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 2542-0542 (Print)