Preview

Вестник Концерна ВКО «Алмаз – Антей»

Расширенный поиск

Распознавание радиолокационных изображений, полученных в миллиметровом диапазоне, с использованием нейронных сетей

https://doi.org/10.38013/2542-0542-2022-3-48-58

Полный текст:

Аннотация

В статье описан экспериментальный программно-аппаратный комплекс скрытого досмотра, использующий радиолокационный сигнал миллиметрового диапазона. Комплекс содержит модуль распознавания, использующий глубокую сверточную нейронную сеть в качестве классификатора.

Применяемые при разработке данного программно-аппаратного комплекса методы глубокого обучения нейронных сетей (deep learning), в частности технологии переноса модели обучения (transfer learning), позволяют произвести адаптацию полученных ранее моделей распознавания для решения новых поставленных задач.

Программно-аппаратный комплекс потенциально способен предоставить возможность производить скрытый досмотр людей и классификацию носимых ими предметов без остановки людского потока, что позволит существенно повысить скорость досмотра по сравнению с общепринятыми методиками.

Данная система может быть адаптирована для распознавания разных наборов объектов, представляющих интерес для различных заказчиков.

Научная новизна работы состоит в разработке методологии классификации радиоизображений миллиметрового диапазона на основе переноса модели обучения в глубоких нейронных сетях.

Применение технологии глубокого машинного обучения позволяет решить проблему с качеством распознавания, которая в течение длительного времени ограничивала практическое применение подобных систем.

Для цитирования:


Дудихин В.В., Иванов А.С., Межуев И.Ю., Шоков А.В., Якупов И.Ю. Распознавание радиолокационных изображений, полученных в миллиметровом диапазоне, с использованием нейронных сетей. Вестник Концерна ВКО «Алмаз – Антей». 2022;(3):48-58. https://doi.org/10.38013/2542-0542-2022-3-48-58

For citation:


Dudikhin V.V., Ivanov A.S., Mezhuev I.Yu., Shokov A.V., Yakupov I.Yu. Millimetre-wave radar image recognition using neural networks. Journal of «Almaz – Antey» Air and Space Defence Corporation. 2022;(3):48-58. https://doi.org/10.38013/2542-0542-2022-3-48-58

Введение

Вопросы радиолокационного распознавания скрытых предметов, в том числе и под одеждой человека, в настоящее время вызывают большой интерес [1][2]. Решение этой задачи позволит обезопасить различные социально значимые объекты от людей, обладающих потенциально опасными предметами.

Одним из основных недостатков систем досмотра скрытых предметов миллиметрового диапазона является низкая четкость изображений предметов. Это связано как с малой глубиной резкости вследствие узкой досмотровой зоны систем [1][3], так и с низким пространственным разрешением данного диапазона длин волн [4]. В данной работе предлагаются возможные пути решения данных проблем. Во-первых, для увеличения зоны досмотра в описываемой системе предусмотрена автоматическая система нацеливания и фокусировки, которая позволяет подстраивать зону досмотра под текущее положение предмета досмотра. Во-вторых, используются нейросетевые методы распознавания образов, что позволяет решать задачу идентификации опасных предметов.

Однако у систем досмотра данного класса остается ряд недостатков. Так, система не может обнаружить предметы, находящиеся внутри тела человека, а также предметы, скрытые за металлическими предметами, в том числе на одежде человека, или за сильно мокрой одеждой. Влажная одежда также является фактором, уменьшающим вероятность обнаружения и распознавания предмета под ней.

Распознавание таких предметов позволит скрытно производить досмотр без остановки людей, что может существенно повысить его скорость. Кроме того, это дает возможность снизить роль человеческого фактора, характерного для традиционных методик мониторинга с использованием металлодетектора.

Задача радиолокационного распознавания наблюдаемых объектов с использованием нейронной сети в общем случае сводится к задаче классификации – определению вероятностей принадлежности объектов к тому или иному классу.

Целью данной работы является разработка методов получения радиоизображений с использованием радиолокационного сигнала миллиметрового диапазона и методов классификации радиоизображений объектов сложной формы на основе нейронных сетей.

Описание установки

В ходе проведенных экспериментальных работ был создан экспериментальный программно-аппаратный комплекс, в состав которого входят приемные и передающие устройства, а также набор программных модулей, выполняющих задачи предварительной обработки изображений, распознавания с использованием предварительно обученной нейронной сети, управления аппаратной частью и реализации пользовательского интерфейса.

На рисунке 1 изображена функциональная схема экспериментального программно-аппаратного комплекса скрытого досмотра. Передающая часть имеет 5 излучателей, генерирующих микроволны длиной 3 мм. Они установлены на специальные стойки, обозначенные на схеме цифрами 1, 2 и 3, внутри которых можно изменять положение излучателей для более равномерного распределения излучения на объекте досмотра.

Рис. 1. Функциональная схема

Приемная часть содержит матрицу, установленную на позиционере. Радиоизображение на матрице фокусируется с помощью специальной фторопластовой линзы. Позиционер позволяет получить достаточно четкое радиоизображение вне зависимости от расстояния между матрицей и объектом досмотра.

Для повышения качества радиоизображений используется программная реализация функции шумоподавления. После подавления шумов сигнал, соответствующий полученному радиоизображению, поступает на вход нейронной сети, которая решает задачу классификации. Отображение результатов распознавания обеспечивается разработанным в рамках данного исследования программным интерфейсным модулем.

Выбор параметров излучения для создания экспериментальной установки обусловлен рядом факторов.

  • Использование диапазона миллиметровых волн уменьшает общие габаритные размеры радиосистемы, так как для них требуются значительно меньшие размеры антенн.
  • Волны такого диапазона, в отличие от оптического и инфракрасного излучения, имеют более высокую проникающую способность в большинство неметаллических объектов. Использование инфракрасного излучения не позволяет достичь достаточного уровня интенсивности отраженного сигнала после прохождения через одежду.
  • Радиоволны относятся к неионизирующему излучению. В частности, миллиметровые волны почти полностью задерживаются кожей и не причиняют вреда внутренним органам человека [5].
  • На радиоизображениях, получаемых в данном диапазоне волн, одежда на человеке обычно не визуализируется и становится невидимой, однако контуры тела человека отчетливо оттеняются, а находящиеся при нем предметы (монеты, пуговицы, ручки, ключи и др.) видны достаточно четко. Таким образом, становится возможным обнаружить скрытое под одеждой оружие, взрывчатые или наркотические вещества или другие запрещенные предметы, так как они мгновенно визуализируются [6].

Передающими элементами системы являются точечные источники непрерывного излучения с длиной волны 3 мм. Общая мощность излучателей – 400 мВт. Ширина спектра излучателей – не менее 50 МГц. Пространственное расположение источников обеспечивает равномерный подсвет объекта досмотра. В связи с малым временем когерентности источников (< 20 нс) и большим временем накопления приемной матрицы (~ 50 мс) интерференционные искажения в принятом сигнале значительно ниже уровня шумов. Таким образом, расположение приемников влияет на качество принятого сигнала только в рамках геометрической оптики.

В качестве приемного элемента в настоящее время используется матрица, произведенная компанией TeraSense. Она состоит из детекторов, созданных на основе высокомобильной гетероструктуры GaAs. Оптический сенсор матрицы произведен из единой полупроводниковой пластины. Данная матрица обладает высокой однородностью и повторяемостью параметров каждого детектора, так как разница в чувствительности между ее пикселями составляет менее 20%. Используемая матрица имеет разрешение 64х64 пикселя. Размер пикселя-детектора составляет 1,5 мм. Каждый детектор в матрице имеет чувствительность при комнатной температуре (25ºC) до 50 кВ/Вт со схемой вывода данных и имеет шумовой эквивалент в 1 нВт √Гц в частотном диапазоне от 10 ГГц до 1 ТГц. Механизм детекции матрицы основан на возбуждении осцилляций плазмы в двумерной системе электронов с последующим исправлением, которое производится на специальных дефектах системы электронов [7].

Система управления

В рамках данного проекта разработан алгоритм позиционирования приемной матрицы. Для получения изображения объекта на матрице используется специальная фторопластовая линза. Для получения сфокусированного на матрице изображения необходимо установить матрицу на определенном расстоянии от линзы. Расстояние определяется формулой тонкой линзы

1 / f + 1 / d = 1 / F,

где d – расстояние от линзы до объекта, f – искомое расстояние от линзы до матрицы, F – фокусное расстояние линзы, в данном случае равное 40 см. В экспериментальной установке для этой цели использовался позиционер, принцип работы которого основан на дельта-механизме. Для получения данных о расстоянии до объекта исследования применяется лидар со специальным ПО для выбора его поля зрения.

В качестве интерфейса обмена данными с аппаратной частью системы управления установки применяется широко распространенный интерфейс USB. Для обмена данными с лидаром используется специальная программная библиотека, реализованная на языке программирования (ЯП) Python. Схема определения расстояние от линзы до объекта представлена на рисунке 2.

Рис. 2. Схема определения расстояние от линзы до объекта. 1 – приемное устройство с линзой, 2 – лидар, 3 – главная ось приемного устройства, 4 – область зоны досмотра, 5 – исходные точки, полученные с лидара, 6 – точка с усредненными координатами, d – расстояние от линзы до объекта

Исходными данными, получаемыми от лидара (2), служат набор координат точек объектов (5) в собственной полярной системе координат. Из полученных данных отбираются точки в заданной области, соответствующей зоне досмотра (4), координаты которых усредняются. Путем проецирования усредненной точки (6) на предварительно откалиброванную ось (3) приемного устройства (1) определяется дальность до цели.

Взаимодействие с позиционером реализовано с использованием G-code [8]. Изменение положения матрицы по дальности происходит на основе данных о положении объекта досмотра, полученных с лидара. Помимо этого, матрица перемещается позиционером параллельно плоскости линзы таким образом, чтобы радиоизображение объекта находилось в центре кадра.

Система сбора и обработки данных Подключение приемной матрицы к компьютеру также происходит посредством COMпорта. Для получения данных используется библиотека для ЯП Python. Программный модуль, использующий данную библиотеку, позволяет асинхронно получать кадры и реализовывать их многопоточную обработку. Примеры радиоизображений представлены на рисунке 3.

Рис. 3. Примеры радиоизображений и фотографий пистолета (а, б) и ножа (в, г)

Зашумленность радиоизображений, поступающих непосредственно с матрицы, снижает качество распознавания объектов классифицирующей нейронной сетью. Для решения этой проблемы применяется система шумоподавления на основе отделения сигналов по минимальному уровню и удаления базовой шумовой засветки, которая всегда присутствует и не зависит от положения источников подсвета.

Для определения изображений, которые не содержат объектов, используется фильтрация по пороговому значению общей суммы всех пикселей матрицы. Подобные изображения не передаются в нейронную сеть для обработки, что позволяет увеличить точность классификации, а также повысить быстродействие комплекса.

К результатам классификации, выдаваемым нейронной сетью, применяется усреднение, что позволяет улучшить стабильность классификации нечетких изображений. Также возможна точная настройка параметров усреднения. Искомый результат в этом случае вычисляется на основе вероятностей принадлежности объекта к тому или иному классу или как наиболее часто встречаемый в n предыдущих кадрах.

Применение нейронных сетей

В литературе описаны примеры использования нейронных сетей для распознавания радиоизображений [9][10]. Особенность данной работы заключается в том, что для распознавания объектов на радиоизображениях применялись методы глубокого обучения с переносом моделей предварительно обученных нейронных сетей (transfer learning).

В ходе исследований были рассмотрены различные варианты построения нейронных сетей, потенциально пригодных для решения поставленных задач. В результате проведенного анализа были выбраны, обучены и опробованы на тестовых изображениях три различных варианта архитектуры классификатора, выполненных с использованием технологии transfer learning на основе предварительно обученных нейронных сетей MobileNet, ResNet и Inception. Полученные структуры позволяют определить вероятности принадлежности радиоизображения к тому или иному классу потенциально опасного объекта.

Для реализации архитектур нейронных сетей применялась библиотека Keras, хорошо зарекомендовавшая себя для работы с глубоким обучением нейронных сетей, написанная на ЯП Python и способная работать совместно с такими популярными программными библиотеками, как TensorFlow и Theano.

Основной алгоритм создания применяемых в работе нейросетей основывался на принципе глубокого обучения (deep learning) [11]. Для его реализации была создана база радиоизображений реальных объектов, обнаружение которых являлось целью данного проекта. Радиоизбражения для данной базы фиксировались экспериментальной установкой под различными ракурсами.

Для увеличения размера набора данных, использующихся для обучения нейронной сети, использовался метод аугментации, позволяющий синтезировать дополнительные изображения. В нашем случае он состоял:

  • во вращении реального объекта в пределах 40°;
  • его перемещение по двум осям в пределах 0,1 от размера изображения;
  • вращении с растяжением в пределах 40°;
  • приближении объекта в пределах 0,1 от размера изображения;
  • отражении объекта по двум осям;
  • перемешивании выборки.

Для трансформации радиоизображений использован созданный программный модуль, что позволило увеличить размер базы радиоизображений до 8019. Тем самым была достигнута достаточная сбалансированность выборки данных (размеры классов примерно равны), что позволило избежать эффекта смещения оценки.

Для реализации технологии машинного обучения из общей базы радиоизображений были сформированы три набора данных: обучающий, валидационный и тестовый. Исходные 8019 радиоизображений были поделены следующим образом: 70 % (5613 изображений) на обучающую выборку и по 15 % (1203 изображения) на валидационную и тестовую.

В ходе выполнения работ данного проекта созданы и протестированы 4 модели классификаторов. Первая модель выполнена на основе предварительно обученной сверточной нейронной сети MobileNetV2, она решает лишь задачу бинарной классификации. Архитектура модели реализует выделение признаков (feature extraction) предварительно обученной нейросетью и использует обучаемый персептрон на выходе, что сходится к одному нейрону в выходном слое с сигмоидальной функцией активации.

Остальные три модели решают задачу классификации с тремя классами. Их архитектуры содержат классификаторы на базе более массивных (с большим количеством нейронов) персептронов, которые на выходе имеют три нейрона с функцией активации softmax. Они также реализованы на основе различных предобученных сверточных нейронных сетей, входящих в состав библиотеки Keras.

Сравнительный анализ классификаторов

Рассматриваемые нейронные сети обладали следующими характеристиками:

  • MobileNetV2, 3045955 параметров всего, более быстрая, менее точная (представляется предпочтительной при решении задачи в реальном времени при условии обеспечения требуемого качества);
  • ResNet152V2, 59512835 параметров всего, менее быстрая, более точная (представляется вариантом, обеспечивающим наибольшую точность);
  • InceptionV3, 22983971 параметр всего, достаточно быстрая и точная (представляется компромиссным решением).

Для проведения тестирования моделей были созданы пять различных тестов, отражающие различные возможные режимы эксплуатации классификаторов.

Тест 1. Имеет 1203 изображения из тестовой выборки, прошедшие через генератор случайных искажений, аналогичный тому, что использовался при обучении и валидации.

Тест 2. Представляет собой выборку из 33 изображений 3 классов с худшим качеством и/или неудачным ракурсом, без случайных искажений.

Тест 3. Включает 1203 изображения из тестовой выборки без случайных искажений.

Тест 4. Представляет собой 1203 изображения из тестовой выборки, прошедших через генератор случайных искажений с менее агрессивными параметрами, чем те, что использовались при обучении и валидации:

  • вращение в пределах 20°;
  • перемещение по двум осям в пределах 0,05 от размера изображения;
  • вращение с растяжением в пределах 20°;
  • приближение в пределах 0,05 от размера изображения;
  • отражение по двум осям.

Тест 5. Имеет 1203 изображения из тестовой выборки, прошедшие через генератор случайных искажений с более агрессивными параметрами, чем те, что использовались при обучении и валидации:

  • вращение в пределах 80°;
  • перемещение по двум осям в пределах 0,1 от размера изображения;
  • вращение с растяжением в пределах 80°;
  • приближение в пределах 0,1 от размера изображения;
  • отражение по двум осям.

Результаты тестирования трех моделей на пяти тестах сведены в таблице 1 и продемонстрированы на рисунке 4.

Таблица 1

Результаты тестирования, метрика accuracy, %

После окончания теоретического этапа, заключавшегося в построении, обучении и тестировании различных вариантов нейросетей в статическом режиме на заранее полученных радиоизображениях, был проведен ряд экспериментальных работ по апробации разработанных моделей на реальном оборудовании при работе в режиме реального времени.

На рисунках 5 и 6 показаны примеры работы экспериментальной установки в бинарном режиме (опасно/неопасно). Контрольные объекты во время имитационных экспериментов скрытно размещались на манекене. Было проведено шесть серий экспериментов по 40 измерений в каждом. В зависимости от ракурса, на котором было получено радиоизображение, система распознавания давала правильный ответ о степени опасности скрытого объекта с точностью от 0,75 до 0,9.

Рис. 5. Распознавание скрытого опасного предмета

Рис. 6. Распознавание скрытого неопасного предмета

Заключение

Комплекс проведенных исследований подтвердил принципиальную возможность и целесообразность использования нейросетевых классификаторов для распознавания радиоизображений потенциально опасных объектов скрытого ношения.

Сделан вывод о необходимость увеличения разрешения приемной матрицы, так как возможности используемого в настоящий момент разрешения 64х64 пикселя находятся на границе допустимого.

Разработанный программный комплекс, использующий нейросети, обладает свойством масштабируемости. Уже имеющееся программное обеспечение при увеличении разрешения приемной матрицы может быть достаточно легко адаптировано для распознавания значительно большего количества классов объектов.

Это обстоятельство обусловлено тем, что в разработанных классификаторах используются структуры, предварительно обученные на большем объеме размеченных данных базы изображений ImageNet, содержащей 14 миллионов изображений, разбитых на 22 тысячи классов.

Для распознавания большего числа объектов необходимо большое количество качественных радиоизображений для обучения уже имеющихся нейронных сетей. Технология позволяет дообучить систему распознавания под набор объектов, интересующих заказчика.

Количество матриц, необходимое для распознавания радиоизображений объектов определяется требованиями к точности распознавания. Причем, точность зависит от качества набора данных, использующихся для обучения. Вопрос предсказания точности распознавания в настоящее время находится в процессе изучения.

Список литературы

1. Солдатов Д. П., Гладун В. В., Павлов Р. А., Пирогов Ю. А., Тищенко Д. А. Обнаружение потенциально опасных предметов с помощью системы пассивного радиовидения миллиметрового диапазона. Ученые записки физического факультета Московского университета, Московский государственный университет имени М. В. Ломоносова, 2012. № 1. – С. 67–72.

2. Сердюцкая Д. А., Максимова А. А. Моделирование процессов обнаружения оружия на теле человека при его импульсном облучении, Моделирование оптимизация и информационные технологии: Воронежский институт высоких технологий. № 3 (14), 2016.

3. Гладун В. В., Котов А. В., Криворучко В. И. Система ближнего пассивного радиовидения 3-мм диапазона // Журнал радиоэлектроники. 2010, №7.

4. H. Zhong, J. Xu, X. Xie, T. Yuan, R. Reightler, E. Madaras, and X.-Ch. Zhang, Nondestructive defect identification with terahertz time-of-flight tomography, IEEE Sensors Journal, vol. 5, no. 2, pp. 203–208 (2005).

5. Hitchcock, R. Timothy. Radio-frequency and Microwave Radiation. – American Industrial Hygiene Assn., 2004. – P. 1–3.

6. Sheen, D. M., McMakin, L. & Hall, T. E. 2001 Three-dimensional millimeter-wave imaging for concealed weapon detection. IEEE Trans. Microwave Theory Techn. 49, P. 1581–1592.

7. Terahertz imaging cameras. TeraSense Group, Inc. URL: https://terasense.com/products/sub-thz-imaging-cameras/ (дата обращения: 21.03.2022).

8. Oberg, Erik; Jones, Franklin D.; Horton, Holbrook L.; Ryffel, Henry H. (1996), Green, Robert E.; McCauley, Christopher J. (eds.), Machinery’s Handbook (25th ed.), New York: Industrial Press, – P. 1284–1287

9. Разевиг В.В., Ивашов С.И., Бугаева А.С., Нейросетевой метод восстановления радиоголограмм, успехи современной радиоэлектроники, Том: 74. № 12, 2020, – C. 5–16.

10. Назаров А. В., Благодыренко Е. В. Алгоритм идентификации радиоизображений, представленных многомерными групповыми точечными объектами, с использованием карты Кохонена – современные проблемы создания и эксплуатации вооружения, военной и специальной техники, III Всероссийская научно-практическая конференция. Военнокосмическая академия имени А. Ф. Можайского. Санкт-Петербург, 2016.

11. Николенко С., Архангельская Е., Кадурин А. Глубокое обучение. Погружение в мир нейронных сетей, Питер, 2020 г.


Об авторах

В. В. Дудихин
НТЦ-Т, Акционерное общество «НПК «НИИДАР»
Россия

Дудихин Виктор Владимирович – кандидат технических наук, начальник лаборатории.
Область научных интересов: информационные системы и технологии, системы искусственного интеллекта, нейронные сети, методы аналитической обработки информации, ОSINT-конкурентная и бизнес-разведка, методы аналитической обработки информации (Data mining и Text mining). 

Москва



А. С. Иванов
НТЦ-Т, Акционерное общество «НПК «НИИДАР»
Россия

Иванов Александр Сергеевич – инженер.
Область научных интересов: машинное обучение, компьютерное зрение.

Москва



И. Ю. Межуев
НТЦ-Т, Акционерное общество «НПК «НИИДАР»
Россия

Межуев Игорь Юрьевич – кандидат технических наук, начальник отдела.
Область научных интересов: проектирование линеек программных продуктов, разработка адаптируемого программного обеспечения, разработка систем.

Москва



А. В. Шоков
НТЦ-Т, Акционерное общество «НПК «НИИДАР»
Россия

Шоков Александр Владимирович – инженер.
Область научных интересов: машинное обучение, компьютерное зрение.

Москва



И. Ю. Якупов
НТЦ-Т, Акционерное общество «НПК «НИИДАР»
Россия

Якупов Игорь Юрьевич – начальник лаборатории.
Область научных интересов: радиовидение, разработка программного обеспечения управления, автоматизация систем научного исследования.

Москва



Рецензия

Для цитирования:


Дудихин В.В., Иванов А.С., Межуев И.Ю., Шоков А.В., Якупов И.Ю. Распознавание радиолокационных изображений, полученных в миллиметровом диапазоне, с использованием нейронных сетей. Вестник Концерна ВКО «Алмаз – Антей». 2022;(3):48-58. https://doi.org/10.38013/2542-0542-2022-3-48-58

For citation:


Dudikhin V.V., Ivanov A.S., Mezhuev I.Yu., Shokov A.V., Yakupov I.Yu. Millimetre-wave radar image recognition using neural networks. Journal of «Almaz – Antey» Air and Space Defence Corporation. 2022;(3):48-58. https://doi.org/10.38013/2542-0542-2022-3-48-58

Просмотров: 120


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 2542-0542 (Print)