Алгоритм распознавания летающих объектов в оптическом видеопотоке в условиях динамически изменяющегося фона

ВВЕДЕНИЕ

Успехи последних лет в разработке малогабаритных беспилотных летательных аппаратов (БПЛА) привели к повышению их доступности и, как следствие, широкому использованию в индустрии и коммерции. Актуальной задачей для разработки БПЛА является обеспечение безопасности во время полета. Эта проблема была успешно решена для управляемых автомобилей, и в настоящее время существуют коммерческие продукты, предназначенные для обнаружения и предотвращения движения как пешеходов, так и других автомобилей [1–5].

Разработка алгоритмов идентификации объектов для БПЛА отличается рядом проблем:

• окружающая среда трехмерна, что усложняет траекторию движения;
• летающие объекты имеют разные формы, и их можно увидеть на земле или на небе, что создает изменяющуюся обстановку;
• потенциально опасные объекты должны идентифицироваться на далеком расстоянии, что приводит к необходимости поиска мелких объектов без явно выделяющейся формы.

Решение задачи обнаружения объектов значительно малых размеров относительно всего исследуемого изображения приведено в ряде работ [6][7], в которых показана точная настройка глубоких сетей с расширенными сверточными слоями. Однако в данном случае их применимость ограничена за счет ограничений на вычислительные мощности и низкого качества изображений, связанного с размытием. Отсутствие резкости и четкости визуального образа объекта на изображении ограничивает применимость уже таких классических подходов к распознаванию образов, как Convolutional Neural Networks (сверточные нейронные сети, CNN) [8], Aggregate Channel Features (ACF) [9], Deformable Part Models (DPM) [10] и Random Forests (случайный лес) [11].

Сложная траектория и полная свобода движения летающих объектов в трехмерном пространстве не позволяют полагаться целиком на вычислительно эффективные методы, основанные на распознавании движения в видеопотоке, такие как Background Subtraction (вычитание фона) [12][24][25] или Optical Flow (оптический поток) [13][24][25], так как они могут увеличить ложные негативные результаты. Метод вычитания фона полагается на компенсацию движения самого фона, что проблематично из-за потенциально высокой скорости движения носителя. Вдобавок метод оптического потока в значительной степени зависит от качества восстановления вектора движения, что является проблемой из-за эффекта размытия и низкого качества получаемого изображения.

Так, в работе [24][25] авторы показали высокие результаты распознавания объектов в условиях дневной и ночной видеосъемки для различных погодных условий для статичного фона и движущихся объектов.

В последние годы становятся популярны гибридные методы [14–16], основанные на признаках внешнего образа и движении объекта. Данный подход хорошо показал себя в задаче по обнаружению и отслеживанию пешеходов в работе [16], где использовался оптический поток совместно с признаками внешнего вида, обрабатываемые ядром пересечения гистограмм (Histogram Intersection Kernel, HIK) совместно с методом опорных векторов (Support Vector Machine, SVM).

Таким образом, сигналы о движении объектов не являются критически важными для обнаружения. Однако их применение ограничено в условиях, когда изображение получено с помощью движущейся камеры и имеют динамически изменяющийся фон с движущимися объектами. Расширение гибридных методов в части оценки вектора движения объекта и объединения этих характеристик с внешним видом объекта, как это показано в работах [14–16][24][25], позволит существенно улучшить результаты в условиях динамически изменяющегося фона.

Данная работа посвящена разработке алгоритма распознавания летающих объектов в условиях динамически изменяющегося фона в режиме реального времени с летательного аппарата. Ключевая особенность работы заключается в разработке трехстадийного алгоритма «C-FO» обнаружения и сопровождения в реальном времени и оценке границ применимости разработанного алгоритма.

В работе приведено описание алгоритма «C-FO», стратегии подготовки данных для обучения и метода обучения алгоритмов. Разработан подход для оценки границ применимости алгоритма и приведены результаты численного моделирования.

ПОСТАНОВКА ЗАДАЧИ

Постановка задачи обнаружения и отслеживания может быть определена следующим образом. Для этого введем стохастический процесс Y(t):

(1)

где набор параметров Y_t описывает позицию отслеживаемого объекта, в данном случае ограничивающий прямоугольник в измерении изображения с вложенным в него участком этого изображения, в комбинированном пространстве M признаков движения, и пространства A признаков внешнего вида c дискретным временным шагом t. Несмотря на то, что точное математическое описание движения и изображения объекта возможно, в большинстве случаев оно является вычислительно трудноразрешимым, потому процесс является стохастическим.

«Отслеживающая функция» τ осуществляет отображение признаков объекта в пространство его положений Y:

(2)

В рассматриваемой нами задаче τ формируется как сложная функция:

(3)

где X(t) – последовательность изображений из пространства L_c:

(4)

обрабатываемая функцией:

(5)

С учетом предыдущих измерений, учитываемых «отслеживающей функцией», уравнение (3) представим в следующем виде:

(6)

Использование уравнения (6) предполагает значительное использование ресурсов вычислений, поэтому на практике вводится ограничивающий параметр n:

(7)

Суть данной работы заключается в поиске оператора δ, который является алгоритмом обнаружения и отслеживания объектов.

АЛГОРИТМ ОБНАРУЖЕНИЯ И ОТСЛЕЖИВАНИЯ

Структурная схема алгоритма приведена на рисунке 1. Алгоритм состоит из трех основных частей: оценка параметров движения, гибридный классификатор и сопровождение объекта. На первом этапе кандидаты объектов генерируются путем выделения параметров движения на двух последовательных видеокадрах. На следующем этапе предлагаемые объекты классифицируются как истинные или ложные путем применения гибридного алгоритма классификации. Сопровождение истинных объектов реализовано на основе фильтра Калмана, предназначенного для стабилизации процесса сопровождения объекта. Предложенный алгоритм обладает значительно меньшей вычислительной сложностью по сравнению с существующими нейросетевыми решениями за счет применения гибридных классификаторов к предварительно выделенным областям кадра.

Оценка параметров движения

Задача первого этапа заключается в том, чтобы сформировать перечень потенциальных объектов, которые имеют перемещение во времени на заднем плане. Для этого производится двухэтапная оценка на соответствие фона в текущем и предыдущем кадрах из видеопотока: расчет глобальной модели движения на каждом изображении, а затем выравнивание за счет модели движения. Таким образом, разница моделей движения двух последовательных изображений дает представление о подвижных объектах, имеющих непостоянное и отличающееся от фонового изменение параметров движения, что дает возможность детально изучать полученные области на предмет поиска искомых объектов путем формирования особых точек.

Модель оценки движения реализована в пять этапов: выделение и селекция точек привязки, локальная оценка движения, глобальная оценка движения, вычитание фона, извлечение особых точек.

Выбор точки привязки. На этом этапе происходит выбор набора точек, используемый для оценки глобального движения.

Сначала случайным образом выбирается K точек на исходном изображении. Для каждой точки вычисляем ее значимость по критериям детектора угла Ши-Томаси. Затем отбрасываются точки, для которых есть более важная точка на определенном расстоянии D₀. Здесь обозначает K_n выделенные точки в изображении X_n.

Локальная оценка движения. Теперь определяется локальное движение для p_n–1,* точек, выделенных в предыдущем шаге от предыдущего кадра X_n–1 до текущего кадра X_n.

Производится расчет векторов движения u_n,i для каждой точки p_n–1,i, используя метод Лукаса – Канаде, предполагая, что локальное движение является оптическим потоком. В методе Лукаса – Канаде локальное движение вычисляется путем решения задачи:

(8)

где N(p_n–1,i) – это вокруг точки p_n–1,i. Кроме того, используется двунаправленная верификация. Для этого вычисляется обратный ход v_n по методу Лукаса – Канаде:

(9)

где – соответствующая точка в текущем кадре, вычисляемая как Затем проводится селекция точек: Теперь количество оставшихся точек равно K`_n.

Глобальная оценка движения. Следующий шаг – перестроить глобальное фоновое движение под модель преобразования перспективы. Перспективное преобразование y = T(H, x), параметризованное матрицей гомографии H, рассчитывается как:

(10)

где h_i,j – это i-я строка, а j-я колонка матрицы H, x^(k) – это k-я составляющая x. H – 8-параметрическая матрица с h₃₃ всегда равным 1.

Затем H_n вычисляется с помощью перебора в глобальную перспективную трансформацию. Сначала используется алгоритм RANSAC для вычисления набора плоскостей. Здесь и обозначает пары точек K``_n в наборе плоскостей. Затем H_n вычисляется путем решения задачи:

(11)

Вычитание фона. На этом этапе происходит вычитание движущегося фона, чтобы выделить области, в которых не произошли изменения. Это необходимо из-за того, что параметры движения движущихся объектов отличаются от модели движения фона.

Для того чтобы вычислить изображение фона, оценивается предыдущий кадр:

(12)

где – оценка предыдущего кадра, s – координаты точки. Затем вычитаемое изображение фона E_n–1 для X_n–1 вычисляется как:

(13)

Извлечение особых точек. На этом этапе определяются точки фона вычитаемого изображения и извлекаются области на исходном изображении и фоне вычитаемого изображении, расположенного вокруг особых точек. Вычитая расчетный фон, движущиеся объекты остаются заметными на вычитаемом изображении. Таким образом определяется местоположение областей, определяющих выделенную точку на вычитаемом фоне изображения.

Гибридный классификатор

Задача селекции истинных объектов из множества кандидатов, определенных на предыдущем этапе, решается с помощью гибридного классификатора. На рисунке 2 показана структурная схема классификатора, состоящая из трех блоков: классификатор внешнего вида, классификатор движения и AdaBoost (ансамблирование моделей).

Классификатор внешнего вида. На рисунке 3 приведена структурная схема архитектуры модели сверточной нейронной сети, которая является основой для классификации объектов и селекции ложных объектов.

Архитектура нейронной сети состоит из 16 фильтров с размером сверточных ядер 3х3, после которых применяется функция активации ReLU, затем из 32 фильтров с размером ядер 3х3, активацией ReLU и операцией объединения (pooling). Аналогично применяется еще 64 фильтра. В конце сети идет полносвязный слой с функцией активации softmax, где для каждой особой точки q_n,i получаем вероятность принадлежности к классу p^a_n,i.

Также после каждой функции активации были использованы исключающие слои (dropout) и пакетная нормализация для регуляризации процесса обучения.

Классификатор движения. Разница в движении d_n,i для движущегося объекта при q_n–1,i между перспективным и локальным движением определяется следующим образом:

(14)

где – соответствующая точка в текущем кадре, полученная с помощью оценки параметров локального движения особых точек с помощью согласования оптического потока Лукаса – Канаде, v_n,i – обратное локальное движение, которое можно вычислить с помощью уравнения (9). Кроме того, были введены следующие характеристики:

Эта разница в движении представляет собой фактическую скорость движущегося объекта по отношению к параметрам движения фона. Таким образом, можно ввести параметры движения, которые описывают характер движения объекта в оптическом потоке. Данные параметры приведены в таблице 1.

После составления из данных значений вектор-признаков был обучен классификатор селекции ложных объектов, основанный на полносвязной нейронной сети. Структурная схема архитектуры данной нейронной сети представлена на рисунке 4 и состоит из 8, 16 и 32 последовательных полносвязных слоев, после каждого из которых применяется функция активации. В конце сети идет полносвязный слой с функцией активации softmax, где для каждой особой точки q_n,i получаем вероятность принадлежности к классу p⁰_n,i.

Аналогично классификатору внешнего вида после каждой функции активации были использованы исключающие слои (dropout) и пакетная нормализация для регуляризации процесса обучения.

AdaBoost (ансамблирование). На этом этапе используется принцип бустинга моделей, в частности алгоритм AdaBoost [17] для модели классификатора внешнего вида и модели селекции ложных объектов.

В качестве модели бустинга выбрана модель решающего дерева с максимальной глубиной, равной 2. Таким образом, получается вычислительно простое решение бустинга:

(15)

где g_m является классификатором дерева решений, p^a_n,i и p⁰_n,i – вероятности, получаемые из соответствующих моделей классификации внешнего вида и селекции ложных объектов, означает веса для ансамбля моделей.

Таким образом, финальная метка класса определяется, как:

(16)

где 1 означает, что движущийся объект при q_n,i является истинным, а 0 – ложным.

Сопровождение объекта

Данный этап используется для формирования связи между обнаруженными объектами на последовательности видеокадров, чтобы установить сопровождение за объектом. Для ускорения работы алгоритма обнаружение происходит только на каждом L₀ кадре. Процесс сопровождения между кадрами базируется на вычислении оптического потока и фильтре Калмана для повышения временной согласованности между кадрами видеопотока. Сопровождение объекта реализуется в три этапа: вычисление оптического потока, селекция отслеживаемых особых точек и фильтре Калмана.

Вычисление оптического потока. На этом этапе вычисляется смещение обнаруженного объекта q_n,i на кадре E_n. Параметры контроля качества, отвечающие за поиск особых точек с помощью дескриптора, определяются с помощью d` – минимального расстояния между двумя точками и m` – максимального числа обнаруженных точек. Здесь обозначает J особых точек, извлеченных из q_n,i. Затем вычисляется оптическое смещение каждой особой точки из X_n c точкой из следующего кадра с помощью оптического потока Лукаса – Канаде.

Селекция отслеживаемых особых точек. На этом этапе осуществляется селекция неправильно совпадающих отслеживаемых объектов (особых точек). Данная процедура позволяет исправить неточности сопоставления особых точек между кадрами с помощью вычисления оптического потока Лукаса – Канаде из предыдущего шага. Для этого используется гибридный классификатор, описанный выше.

Для каждой особой точки извлекается область 40х40 пикселей из X_n и вычисляются те же параметры движения, что описаны в таблице 1. Здесь обозначают J` селектированных особых точек, извлеченных из q<sub>n,i</sub>. Таким образом, итоговое обнаружение определяется как среднее между оставшимися особыми точками J`.

Фильтр Калмана. На этом шаге применяется фильтр Калмана [18] для того, чтобы детектируемые объекты соответствовали когерентным временным сигнатурам, а не ложным отметкам. Фильтр Калмана предсказывает текущее состояние b_n из ранее оцененных состояний с моделью перехода и обновляет текущую оценку c_n с текущим состоянием b_n, как показано ниже:

(17)

где A_n – матрица перехода, wt контролирует ошибку моделирования перехода, M – матрица измерения, и c_n представляет ошибку измерения. Оценка выходного значения b_n вычисляется с коэффициентом усиления фильтрации Калмана K:

(18)

где V_w и V_ϵ – это ковариации по w_t и ϵ_t соответственно.

Оценка параметров движения объекта состоит из двух частей – преобразование перспективы и разности движения по сравнению с моделью движения фона. Поэтому здесь, когда применяется фильтр Калмана, также принимается во внимание перспективное преобразование. Однако оно не является линейным, поэтому аппроксимируется с помощью аффинного преобразования. В частности, обозначается местоположение объекта и скорость как переменная состояния:

(19)

где b_x и b_y по x и y расположены местоположения объекта, b_vx и b_vy – горизонтальная и вертикальная скорость. Предполагается, что параметры скорости постоянны для матриц A и M.

(20)

(21)

где h_i,j – это i-я строка и j-я колонка матрицы H_n (формула 11).

Для инициализации фильтра Калмана необходимо сопоставить соответствующие объекты из оптического потока в L предыдущих кадрах и стартовый кадр, на котором начался процесс сопровождения объекта, если классификационные метки y_n–L,i, …, y_n–1,i положительные. Затем происходит восстановление пропущенного обнаружения объекта. Если не произошло повторное обнаружение с помощью фильтра Калмана за L, то сопровождение останавливается для выбранного объекта.

ОПИСАНИЕ ПОДХОДА ДЛЯ ОЦЕНКИ ТОЧНОСТИ ОБНАРУЖЕНИЯ И СОПРОВОЖДЕНИЯ

Оценка скорости работы алгоритма задается через среднюю скорость обработки одного кадра изображения в оптическом видеопотоке. Таким образом, среднее количество обрабатываемых кадров за 1 секунду (frames per second – FPS) является мерой скорости работы алгоритма.

В качестве метрики точности обнаружения объекта на всем видеопотоке задается F-Мера c пороговым значением метрики пересечения к объединению (Intersection-OverUnion) в 50 % (F1@0.5). F-Мера – это гармоническое среднее между мерой Precision и мерой Recall.

Определены следующие параметры оптического видеопотока для оценки условий применимости разработанного алгоритма.

1. Скорость объекта в потоке (пиксель/ кадр):

(22)

2. Ускорение объекта в потоке (пиксель/кадр^2):

(23)

3. Размер объекта в потоке (пиксель^2):

(24)

где x2 – позиция правого нижнего пикселя сегмента истинного объекта по оси OX; x1 – позиция левого нижнего пикселя сегмента истинного объекта по оси OX; y2 – позиция правого верхнего пикселя сегмента истинного объекта по оси OY; y1 – позиция левого нижнего пикселя сегмента истинного объекта по оси OY.

4. Скорость носителя (скорость фона): V_b. В данной работе определяется эмпирически для части набора данных, где известен панорамный вид обстановки (пиксель/с).

5. Эффект размытия объекта определяется формулой:

(25)

где V_S – скорость затвора камеры. В связи с тем что не все базы данных указывают характеристики камеры и параметры съемки, данный параметр не всегда возможно получить.

6. Эффект размытости фона:

(26)

как и в случае с эффектом размытости объекта, не для каждого видеоряда возможно определить оценку данного параметра.

7. Продолжительность движения оптического потока (кадр) – T.

ФОРМИРОВАНИЕ ОБУЧАЮЩЕЙ И ВАЛИДАЦИОННЫХ ВЫБОРОК

Обучающая и валидационные выборки были составлены из открытых баз данных «UAV123» [19], «EPFL-UAV» [20], «MVDT» [21], «boumanUAV» [22]. Указанные базы данных отличаются типами летающих объектов, условиями наблюдения (время суток, погодные условия, высота и дальность полета носителя) и характеристиками записывающих устройств.

В качестве обучающей выборки была принята «bouman-UAV» из-за высокого качества исходных изображений (1920 на 1080 и 1280 на 960 пикселей), объемом 39 тысяч кадров.

Описание набора данных «UAV123»

Данный набор данных состоит из трех выборок.

Первая выборка содержит 103 видео файла, полученных при помощи предназначенного для профессиональной аэросъемки БПЛА DJSI 1000 с установленной камерой высокого разрешения Panasonic GH4 с Olympus M.Zuiko. Высоты полета варьируются от 5 до 25 метров.

Вторая выборка содержит 12 относительно коротких видеорядов, снятых при помощи бортовой камеры без стабилизации картинки с малого БПЛА, следующего за другим малогабаритным БПЛА. Высота полета в среднем не более 5 метров, за исключением одного полета с высотой около 40 метров. Изображения, полученные из данного поднабора, имеют низкое качество и разрешение. Вдобавок на видео присутствует много шума.

Третья выборка является синтетической. Полет был смоделирован в симуляторе БПЛА и был визуализирован при помощи Unreal Game Engine 4.

Из набора данных «UAV123» для валидации выделено 6 видеофайлов, имеющих высокое значение сигнал/шум. Кадр из указанных видеорядов приведен на рисунке 5а.

Описание набора данных «EPFL UAV»

Данный набор состоит из двух выборок: «квадрокоптеры» и «самолеты».

Первая выборка содержит 20 видео файлов с разрешением 752 на 480 пикселя, полученных при помощи БПЛА.

Вторая выборка содержит видео, содержащие БПЛА самолетного типа. Разрешение видео варьируются от 640 на 480 до 1280 на 720 пикселей. Часть данных получена при помощи стационарных наземных камер.

Из набора данных «EPFL-UAV» для валидации выделены два видеофайла, отражающие «воздушный бой» двух радиоуправляемых малых модельных самолетов. Кадр из указанных видеорядов приведен на рисунке 5б.

Описание набора данных «MVDT»

Данный набор данных состоит из пяти выборок. Видеофайлы получены при помощи стационарных несинхронизированных наземных камер различного типа: смартфоны, компактные камеры и экшен-камеры. Съемка продолжительностью от 2 до 10  минут велась с 4–7 камер.

В первой и второй выборке БПЛА двигается с малой постоянной скоростью по относительно гладкой траектории с плавными поворотами.

В третьей выборке скорость и ускорения БПЛА увеличены относительно первых двух выборок.

Четвертая выборка содержит еще выше относительно третьей выборки значения ускорения и скоростей полета. Вдобавок в данной выборке скорость движения облаков на фоне также выше, что добавляет трудности при применении методик оценки параметров движения фона.

Пятая выборка содержит результаты видеосъемки с шести камер с средней продолжительностью 10  минут в зимнее время. Отличительной особенностью данного поднабора является съемка трех БПЛА. Разрешение составляет 1920 на 1080 пикселей, частота смены кадров составляет 30 кадров в секунду.

Из набора данных «MVDT» для валидации выделен один видеофайл из пятой выборки, так как он содержит изменяющийся неоднородный фон, а также более одного объекта в одном кадре одновременно. Кадр из указанного видеоряда приведен на рисунке 5в.

Описание набора данных «bouman-UAV»

Видеоряд был получен при помощи экшн-камеры GoPro 3. Разрешение картинки в двух вариантах: 1920 на 1080 и 1280 на 960 пикселей. Съемка проводилась на БПЛА типа дельтовидное крыло, снимающий другие БПЛА различных форм (самолетного и вертолетного типа). На видео варьируется освещение и совершаются крутые повороты «оператором», что обеспечивает динамическое изменение обстановки. Количество объектов в кадре варьируется от 0 до 8.

Из-за высокого качества изображений относительно высокой скорости полета носителя камеры, высокой высоты полета и дальних дистанций до отслеживаемых БПЛА, «bouman-UAV» использовался для обучения. Кадр из указанных видеорядов приведен на рисунке 5г.

Выборки для валидации

Выделенные видеофайлы из наборов данных

«UAV123», «EPFG UAV» и «MVDT» были использованы для формирования валидационных выборок согласно описанию динамически изменяющегося фона, заданным по формулам (22–26). Таким образом составлено 6 валидационных выборок: «сlose», «far», «high_sp», «rotation», «mot_b», «сontrol». Описание выборок приведено в таблице 2.

РЕЗУЛЬТАТЫ ЧИСЛЕННОГО МОДЕЛИРОВАНИЯ

Разработанный алгоритм («C-FO») реализован на языке Python и был верифицирован с двумя другими моделями обнаружения летающих объектов, разработанных на основе научных работ, использующих модели пространственно-временной свертки [20] и классических глубоких сверточных нейронных сетях [23]. Далее в работе данные модели будут обозначаться как «TR1» и «TDD» соответственно. Алгоритм «TR1» в данной работе реализован при помощи пакета Matlab, «TDD» выполнен на языке Python с использованием открытого фреймворка Keras. Алгоритм «TR1» не оптимизирован по производительности, в частности не поддерживает многопоточное исполнение.

Полученная точность обнаружения на выборке «control» разработанного решения в сравнении с аналогами, находящимися в открытом доступе, представлена в таблице 3.

В ходе проведенной работы получены ограничения по применению разработанного алгоритма. Выявлены границы применимости по размеру объекта в оптическом потоке исходя из анализа тестирования на выборках «сlose» и «far»: 50 пикселей вблизи и 5 пикселей на максимальной дистанции. На выборке «mot_b» выявлен максимальный параметр эффекта размытости равный 6, при котором классификатор признаков внешнего вида имеет точность близкую к случайной. Выявлены ограничения по скорости объекта для задачи отслеживания на выборке «high_sp», равной более 20 пикселей в кадр. На выборке «rotation» выявлена максимальная скорость изменения фона в видеопотоке в 8 пикселей на кадр, что соответствует со скорость поворота БПЛА в 0,37 рад/с.

Проверка производительности была проведена путем подсчета количества обрабатываемых кадров в секунду (FPS). Ключевым фактором для проверки производительности является вычислительная мощность процессора. Результаты тестирования производительности приведены в таблице 4. Эксперимент проведен на ряде компоновок электронно-вычислительных машин:

1. Intel Core i9-7960X CPU @ 2.80GHz x 32 («i9»);
2. Intel® Core™ i5-8600 CPU @ 3.10GHz × 6 («i5+»);
3. Intel Core i5-6200U CPU @ 2.30GHz x 4 («i5»);
4. Raspberry Pi 4 B @ 1.50GHz × 1 («RP4»).

В ходе проведенной работы были получены ограничения по применению разработанного алгоритма от условий изменяющегося фона, зависимости представлены на рисунках 6а–6г.

Были выявлены границы применимости по размеру объекта в оптическом потоке исходя из анализа тестирования на выборках «сlose» и «far». Они составляют 50 пикселей вблизи и 5 пикселей на максимальной дистанции. Зависимость представлена на рисунке 6а.

Максимальный параметр эффекта размытости (Motion Blur) равен 6, при котором классификатор признаков внешнего вида дает результат, приближенный к случайному, зависимость представлена на рисунке 6б.

Зависимость точности классификации алгоритма от скорости отслеживаемого объекта изображена на рисунке 6в. Фильтр Калмана перестает давать полезную нагрузку после скорости в 20 пикселей в кадр.

Максимальная скорость изменения фона в видеопотоке составляет 8 пикселей на кадр, что коррелирует со скоростью поворота носителя в 0,37 рад/с. Зависимость точности обнаружения от скорости фона представлена на рисунке 6г.

ЗАКЛЮЧЕНИЕ

В работе приведено описание алгоритма распознавания летающих объектов в условиях динамически изменяющегося фона в режиме реального времени для оптического видеопотока с монокулярной камеры, установленной на борту летательного аппарата.

Разработан трехстадийный алгоритм «CFO » обнаружения и отслеживания, состоящий из оценки параметров движения, гибридного классификатора и сопровождения объекта.

Приведено описание подхода оценки точности алгоритма и описаны параметры динамически изменяющегося оптического потока: скорость объекта, ускорение объекта, скорость носителя, размер объекта, эффект размытости фона и эффект размытости объекта.

Показано, что точность разработанного алгоритма «C-FO» составляет 71 % по метрике F1@0.5 для объектов менее 20 пикселей в кадре и скорость обработки видеопотока в 27 кадров в секунду. Выделено шесть валидационных выборок из открытых наборов данных, соответствующих различным значениям параметров динамически изменяющегося оптического потока, условиям наблюдения объектов и погодным условиям, в том числе ясная и пасмурная погода, летнее и зимнее время года. Выявлены ограничения по применимости предложенного алгоритма и последних известных открытых работ. Показано, что предложенный алгоритм превосходит по мере точности F1@0.5 на средних и дальних дистанциях.

В дальнейшем предстоит внедрение в процесс обучения алгоритмов синтетические данные для расширения границ применимости и методик адаптации обучения для применения моделей на экспериментальных данных.