Классификация надводных объектов на изображениях видимого оптического диапазона

Введение

В работе исследуются алгоритмы классифика­ции надводных объектов (НО) - судов и кораб­лей разных классов на изображениях видимого оптического диапазона с использованием свер­точных нейронных сетей (СНС).

Традиционные подходы при разработке алгоритмов классификации сводятся к выбору формального описания объектов, построению базы данных (БД) с наиболее характерными описаниями (эталонными векторами признаков) для каждого класса и дальнейшим сопоставле­нием векторов признаков объектов с БД этало­ном. В случае НО в качестве векторов признаков в различных работах использовались силуэты судов [1], наборы характерных точек объектов, а в качестве изображений рассматривались оптические [2], инфракрасные [3] и радиолока­ционные [4] изображения. Необходимо отме­тить, что формирование БД эталонов (векторов признаков) является самой трудоемкой частью таких подходов и требует экспертных знаний от разработчиков системы распознавания.

Одним из наиболее активно развиваю­щихся подходов в области распознавания в по­следнее время является применение нейрон­ных сетей, в частности различных моделей СНС, например для распознавания наземных объектов на радиолокационных изображени­ях [5]. По сравнению с традиционными под­ходами для СНС не требуется экспертное построение формальных описаний объектов - используются непосредственно изображения объектов и для распознавания не нужна БД эталонных векторов признаков - знание о клас­сах находится непосредственно в параметрах обученной СНС. Кроме этого, СНС достаточ­но устойчивы к зашумлению обрабатываемых изображений. Для обучения СНС требуется значительный набор изображений объектов каждого класса.

В настоящее время есть некоторое коли­чество работ по распознаванию НО на спут­никовых радиолокационных изображениях с использованием СНС, например [4]. Для оптических изображений таких работ существен­но меньше, что связано в первую очередь с отсутствием качественного доступного на­бора изображений НО. Можно отметить работу [6], в которой рассматривается распо­знавание объектов из набора данных VAIS [7]. В этих данных присутствует ограниченный набор классов с изображениями низкого ка­чества в видимом и инфракрасном диапазоне. При этом не рассмотрены зависимости вероят­ностей правильного распознавания от выбора классов объектов. Поэтому исследование воз­можностей распознавания НО на оптических изображениях и оценки вероятностей правиль­ного распознавания в зависимости от типов и количества выбранных классов являются актуальными.

1. Методика формирования обучающего набора данных

Как известно, одной из основных задач при­менения классификаторов, основанных на нейросетевых методах, является создание обуча­ющего набора данных достаточного объема, который может составлять десятки тысяч объектов, разбитых на классы.

В настоящее время альтернативой соз­данию обучающего набора данных является использование одного из общедоступных на­боров изображений, таких как VAIS [7], MSTAR [8] и др. Однако подобные наборы существуют не для всех задач, либо такие данные не под­ходят по условиям съемки, или их оказывается недостаточно для решения конкретной задачи.

В рамках данной работы был создан обу­чающий набор данных для классификации НО. В качестве данных использовались изображе­ния 5 классов судов и 5 классов кораблей, при­меры которых приведены на рисунке 1.

В задаче классификации алгоритм пред­сказывает классы (их метки), к которым при­надлежат НО. Соответственно, для обучения нейросетевого классификатора требуется на­бор размеченных данных. Качество алгоритма оценивается тем, насколько точно он может классифицировать новые (не участвовавшие в обучении) изображения НО.

Для обучения по имеющимся в откры­том доступе оптическим изображениям НО был сформирован общий набор данных (ОНД) для 10 классов объектов, представленных на рисунке 1, с соответствующими метка­ми. Набор содержит 7800 изображений граж­данских судов и кораблей (780 изображений на каждый класс). Имеющиеся изображения были разбиты на тренировочный (680 изобра­жений на класс) и проверочный (100 изобра­жений на класс) наборы. Каждое изображение представлено в градациях серого, тип изобра­жений JPEG. Изначально обработка проводи­лась на изображениях формата RGB, но в даль­нейшем пришлось отказаться от данного типа изображений из-за больших вычислительных затрат по сравнению с обработкой изображе­ний в градациях серого. Также для сокращения времени обучения нейронной сети все изоб­ражения в обучающем наборе данных были приведены к одному размеру 32*32 пиксе­ля. Выбор единого размера был обусловлен имеющимися изображениями, часть которых имела размеры менее 64 пикселей по одно­му из измерений. Эксперименты с размерами изображений показали, что точность класси­фикации при увеличении размеров до 64*64 и 128*128 пикселей возрастает незначительно при существенном увеличении вычислитель­ных ресурсов для обучения СНС.

Как известно, для достижения высоких результатов глубокие нейронные сети должны обучаться на больших объемах данных. Если исходный обучающий набор содержал ограни­ченное количество изображений, как в нашем случае, то для увеличения набора данных вы­полнялась операция аугментации. Аугмента­ция данных [9] - это методика создания допол­нительных обучающих данных из имеющегося набора, в процессе которой изображения под­вергаются различным преобразованиям: парал­лельному переносу по вертикали и горизонта­ли, масштабированию, повороту, отражению относительно горизонтальной и вертикальной осей, перестановке каналов изображения. При­менялись различные комбинации преобразова­ний, например поворот и случайное масшта­бирование, вариации величины насыщенности и значения всех пикселей.

Для построения нейросетевого класси­фикатора и проведения экспериментов по обу­чению СНС на основе ОНД были сформиро­ваны отдельные наборы данных (базы данных) для обучения, содержащие разное количество классов объектов (табл. 1). Отметим, что при пос­троении алгоритма распознавания классы кораб­лей «Эсминец» и «Фрегат» были объединены в один общий класс, так как данные НО имели структуры, трудно различимые между собой.

2. Алгоритм классификации

В качестве инструментов классификации НО были применены методы и алгоритмы СНС. Методика применения СНС для распознавания объектов на изображениях описана в предыду­щих работах авторов [10, 11].

Впервые подобная структура искус­ственной нейронной сети была предложена французским ученым в области информатики Яном Лекуном в 1988 г. [12] и была специаль­но нацелена на распознавание изображений.

Название архитектура сети получила из- за наличия сверточного слоя (операции сверт­ки). Работу СНС можно интерпретировать как переход от конкретных особенностей изоб­ражения к более абстрактным деталям и далее к еще более абстрактным вплоть до выделения понятий высокого уровня. При обучении СНС самонастраивается и вырабатывает необходи­мую иерархию признаков, фильтруя маловаж­ные детали и выделяя существенное.

Итоговая СНС представляет собой пос­ледовательность из 18 блоков. Каждый блок содержит сверточный слой и слой субдискре­тизации. Сверточный слой состоит из набора карт (карты признаков), у каждой карты есть сканирующее ядро или фильтр (ядро опера­ции свертки). Количество карт определяется подбором в процессе обучения модели. Ядро представляет собой фильтр или окно с фикси­рованным размером, которое скользит по всей области предыдущей карты и находит опре­деленные признаки объектов. Размер ядра обычно берут в пределах от 3*3 до 7*7 пик­селей. Размер ядра в основном выбирает­ся экспериментальным путем. Если размер слишком мал, то существует вероятность по­тери каких-либо важных признаков, а если слишком большой, то увеличивается количе­ство связей между нейронами, что увеличит вычислительную сложность и время обра­ботки. Также размер ядра выбирается таким образом, чтобы размер карт сверточного слоя был четным, это позволяет не терять инфор­мацию при уменьшении размерности в слое субдискретизации. Значения элементов ядра свертки подбираются автоматически в про­цессе обучения нейронной сети. Слой субдис­кретизации, как и сверточный, имеет карты. Целью слоя является уменьшение размернос­ти карт признаков предыдущего слоя. Если на предыдущей операции свертки уже были выявлены некоторые признаки, то для даль­нейшей обработки настолько подробное изоб­ражение уже не нужно, и оно уплотняется до менее подробного изображения. К тому же фильтрация уже ненужных деталей помогает нейронной сети не переобучаться. Например, если карта слоя имеет ядро размером 2*2, то это позволит уменьшить предыдущие кар­ты признаков сверточного слоя в 2 раза. Вся карта признаков в этом случае разделяется на ячейки размером 2*2, из которых выби­раются максимальные по значению. Данная операция называется MaxPooling - выбор максимального.

Для повышения производительности и стабилизации работы нейронной сети в ис­пользуемой модели применяется метод пакет­ной нормализации (англ. batch-normalization). Суть данного метода заключается в том, что не­которым слоям нейронной сети на вход пода­ются данные, предварительно обработанные и имеющие нулевое математическое ожида­ние и единичную дисперсию. Впервые данный метод был представлен в [13].

Известно, что глубокие сети извлекают низко-, средне- и высокоуровневые признаки сквозным многослойным способом, а увели­чение количества слоев или блоков, состоя­щих из нескольких слоев, как в нашем случае, может обогатить уровни признаков. Однако с увеличением глубины сети обучение стано­вится нестабильным, а достигаемая точность начинает уменьшаться (деградировать).

Чтобы преодолеть эту проблему, была использована архитектура связей между слоями, применяемая в сети ResNet [14]. Большинство нейронных сетей для обучения используют метод обратного распростране­ния ошибки [15, 16], основанный на прави­ле коррекции по ошибке, который был раз­работан как метод обучения многослойного персептрона. Основная идея метода состоит в распространении сигналов ошибки после ее вычисления на выходе сети в направле­нии, обратном прямому распространению сигналов во время обычного вычислитель­ного процесса, от выходов сети к ее входам. При обратном проходе веса настраиваются с целью минимизации ошибки.

При проходе обучающего приме­ра и получении выхода с целью уменьше­ния функции ошибки начинается обратный проход сети методом градиентного спуска. При увеличении глубины нейронной сети одна из самых частых проблем - это за­тухание градиента при обратном проходе и, как следствие, ухудшение работы нейрон­ной сети. В частности, затухание градиента и потеря информации чаще всего случаются из-за использования слоя ReLu с функцией активации f = max(x,0). Во многих случаях при отсеивании ненужных признаков как раз и получается значение 0, что и способствует затуханию градиента.

В основе архитектуры ResNet [14] лежит так называемый остаточный блок (residual block), схема которого изображена на рисун­ке 2. Отсюда и название архитектуры Residual Network (остаточная нейронная сеть).

Работа данного блока заключается в следующем: пусть целевая функция бу­дет в виде H(x) = F(x) + x. При достигну­том пределе качества на предыдущем слое, для того чтобы не происходило затухание градиента, хотелось бы, чтобы функция F(x) возвращала тождественное преобразование, однако этого не происходит, так как исполь­зуется слой ReLU и часто она возвращает 0. В данной сети предлагают использовать так называемые быстрые соединения, то есть явно добавляется тождественное отображе­ние. В итоге при обратном проходе в методе обратного распространения ошибки полу­чаем: dF(x)/dx+1. Таким образом, затухания градиента не произойдет, так как всегда будет выполнен обратный проход.

Использование архитектуры ResNet позволило обучать нейросеть с глубиной в 18 слоев (против трехслойной сети, ис­пользованной на начальных стадиях рабо­ты) с достижением приемлемых результатов распознавания одновременно для 10 классов при небольшом количестве изображений в обучающем наборе.

Для принятия окончательного решения о классе анализируемого изображения исполь­зовался слой SoftMax с количеством выходов, соответствующим числу рассматриваемых классов. За результирующий класс принимал­ся тот, который соответствовал выходу СНС с максимальным откликом.

Одним из возможных способов учесть возможные неизвестные классы и пустые фо­новые изображения является введение порога отклика на выходном слое СНС и трактов­ка случая «максимальный отклик < порог» как «не распознано». Корректное рассмотре­ние таких случаев требует дальнейшего расши­рения набора данных и выходит за рамки дан­ной статьи.

3. Результаты

Для каждой из баз данных в таблице 1 про­водилось отдельное обучение. В каждом слу­чае использовалась одна и та же архитектура сети - ResNet с 18 слоями. Также в каждом слу­чае использовалось 200 эпох обучения и ран­няя остановка - прекращение обучения, если точность распознавания не улучшалась на про­тяжении нескольких эпох. Во всех случаях обучение завершалось с ранней остановкой, таким образом, количество эпох для обуче­ния было достаточным. Количество обучаю­щих образцов, обрабатываемых одновременно за одну итерацию алгоритма обучения (batch size), составляло 20. Далее приведены достиг­нутые вероятности правильного распознавания для всех рассмотренных случаев. Результаты приведены в таблицах 2-7.

3.1. Результаты обучения с использованием БД-1 - классификация по 10 классам НО (табл. 2).

3.2. Результаты обучения с использованием БД-2 - классификация по 8 классам НО (табл. 3).

3.3. Результаты обучения с использованием БД-3 - классификация по 5 классам кораблей (табл. 4).

3.4. Результаты обучения с использованием БД-4 - классификация по 5 классам надвод­ных судов (табл. 5).

3.5. Результаты обучения с использованием БД-5 - классификация по 2 классам кораблей (табл. 6).

В таблице 7 приведены средние вероятности правильного распознавания в зависимости от числа классов НО.

При уменьшении числа классов ВПР, как и следовало ожидать, возрастала. Умень­шение вероятности правильного распозна­вания в случае БД-3 по сравнению с БД-4 (при одинаковом числе классов), по-видимо­му, объясняется наличием классов со схожими силуэтами.

Увеличение ВПР возможно при исполь­зовании дополнительных признаков и ансам­блей СНС. Так, в [6] демонстрируется повы­шение ВПР в среднем на 13 % по сравнению с отдельной СНС для 6 классов гражданских судов. Использование этого подхода для всех классов, рассмотренных в статье, является пер­спективным направлением для дальнейших исследований.

Заключение

В работе исследованы методические аспек­ты распознавания надводных объектов (НО) по их оптическим изображениям при большом числе классов различных НО. Распознавание проводилось с использованием сверточных нейронных сетей. Используемая сверточная нейронная сеть позволила решать задачу клас­сификации без промежуточного формирования признаков НО, непосредственно по оптичес­ким изображениям.

Исследована зависимость вероятностей правильного распознавания от числа классов и набора распознаваемых НО в классе. Для это­го была разработана методика формирования базы данных изображений объектов, создан специальный обучающий набор дан­ных (база оптических изображений объектов) для классификации НО в оптическом диапазо­не. При формировании базы данных использо­вались изображения 10 классов НО и кораблей различных типов.

Получено, что средняя вероятность правильного распознавания составляла Р = 0,95 для 2-х классов («авианосцы» и «эс­минцы, фрегаты») и убывала до Р = 0,68 для 10 классов НО.

Результаты, полученные в ходе иссле­дования, показали возможность применения алгоритмов поэтапного распознавания НО. При этом вначале распознавание выполняется для объединенного класса, включающего схо­жие объекты, с целью отделения этого класса от остальных классов НО. Далее, при необхо­димости, проводится распознавание классов (типов) НО, входящих в объединенный класс.

Детальное рассмотрение методиче­ских аспектов повышения ВПР, в частности при применении ансамблей СНС, и введение класса «не распознано» будет проведено в последующих работах.