Мобильный комплекс дополненной реальности для управления воздушным судном

Введение

Пилотский визуальный интерфейс, называе­мый «небесным туннелем» (НТ, исходный тер­мин «tunnel-in-the-sky»), известен уже около 20 лет. Успешные испытания прототипов систем управления воздушными судами (ВС) с НТ на реальных самолетах проведены ещё в 1990-х гг. (например, система, разработанная в Стэндфордском университете [1]). Несмотря на свои достоинства, системы синтетического зрения (Synthetic Vision System, SVS) c НТ (рис. 1) [3] до настоящего времени не нашли широкого применения на практике, хотя и остались в поле зрения исследователей [2] и доступны для пилотов через современные дисплеи HUD (Head-ap Display).

Представляется, что есть две основные причины сложившейся ситуации вокруг кон­цепции НТ: 1) прогресс техники автоматиче­ского управления полётом сделал НТ неакту­альным для больших коммерческих лайнеров, а существующие разработки недостаточно компактны и дёшевы для ВС авиации обще­го назначения; 2) нынешнее воспроизведение 3D-структур НТ на обычных плоских экранах SVS и HUD не даёт существенного выигрыша по сравнению с традиционными основными полётными дисплеями (Primary-Flight-Display, PFD) [4].

В настоящей статье описывается прото­тип со стереоскопической версией НТ в виде мобильной системы дополненной реальности (МСДР), свободной от указанных недостатков: 1) используются недорогие компоненты - лёг­кие (менее 150 г) прозрачные очки дополнен­ной реальности (ДР) со встроенным трекингом и мобильное устройство в качестве контролле­ра, что делает систему автономной по питанию и «карманной» в буквальном смысле; 2) реали­зовано стереоскопическое представление НТ в виде объёмных рамок - режим стерео3D-ДР.

В режиме стерео3D-ДР с минималь­ной дополнительной цифровой индикацией НТ заменяет все навигационные индикаторы PFD, имея при этом исключительно простую и естественную для человеческого восприятия визуальную структуру. Режим стерео3D-ДР обладает рядом существенных преимуществ по сравнению с символикой PFD на HUD и воспроизведением НТ на отдельном плоском экране:

• реализованный с помощью прозрачных ДР-очков, он исключает дополнительную мен­тальную нагрузку, поскольку не требует согла­сования секторов обзора и масштабов изобра­жения реального мира и дисплейной картинки, как это происходит в SVS [4];
• рамки, формирующие НТ, становятся объёмными и ориентированными вдоль ли­нии горизонта (рис. 2), что при стереовоспри­ятии позволяет с большой точностью визуаль­но оценивать углы рыскания, крена и тангажа ВС обычным для человека образом, при этом исчезает стадия ментальной конвертации символьной информации в оценки этих углов, как это происходит при использовании PFD [5].
• стерео3D-ДР устраняет характерную для HUD проблему рассеивания внимания [6], по­скольку рамки НТ как навигационные инди­каторы становятся частью картины реального мира.

Ближайшими аналогами к предлагае­мому решению являются устанавливаемые на самолетах последнего поколения (типа Boeing 787) системы расширенного зрения (Enhanced Vision System, EVS), включающие HUD и инфракрасную камеру на носу ВС. В от­личие от реализации НТ в EVS разработанное техническое решение мобильно (не требуется специальная установка, практически всё обо­рудование имеет буквально «карманные» раз­меры) и дёшево (в десятки раз); оно обеспечи­вает лучшую пространственную ориентацию за счет стереовоспроизведения помещённых в реальный мир виртуальных маркеров и сни­жает нагрузку на пилота: нет необходимости в переключении внимания пилота и в менталь­ной конвертации навигационной информации.

Состав технических средств, входивших в состав прототипа МСДР, показан на рис. 3. Линейные координаты головы эксперимен­татора вырабатывались с помощью сертифи­цированного авиационного GPS-приёмника и GPS-приёмника мобильного устройства. Использование GPS-приёмника мобильного устройства позволяет в условиях эксперимен­та получить более точные GPS-координаты за счет задействованных алгоритмов сглажива­ния. Электропитание МСДР осуществлялось от компактного автомобильного аккумулятора.

Угловые координаты головы сидящего рядом с пилотом экспериментатора вырабаты­вались с применением микромеханических ги­роскопов и акселерометров, встроенных в очки комбинированной реальности, и инфракраснго трекера, камера которого была размещена над приборной панелью.

Кроме указанного оборудования, исполь­зовалась укрепленная на голове эксперимента­тора контрольная видеокамера, с помощью ко­торой во время экспериментов фиксировалась картина реального мира (рис. 4).

Объектные испытания

В ходе лётного испытания, проводившегося с целью визуальной проверки интерфейса МСДР и способности к позиционированию, осуществлялись визуальный контроль пролёта по вир­туальной траектории в реальном пространстве и воссоздание во время испытания наблюдае­мой картины дополненной реальности путём видеореконструкции, совмещающей видеоза­пись контрольной камеры и виртуальную тра­екторию, восстановленную по зафиксирован­ным в ходе испытания линейным и угловым координатам головы экспериментатора.

Испытания проводились на легкомотор­ном самолете со следующим планом полёта: выполнение полёта - двумя разворотами на 180 град.; после взлёта 2 мин по прямой с на­бором высоты, разворот влево с продолжением набора высоты 200 м; пролёт траверза с полё­том к 3-му развороту, разворот влево на поса­дочный курс; удаление 1 км от торца полосы.

В соответствии с планом полёта была построена виртуальная траектория - «небес­ный туннель», состоящий из расположенных в пространстве на расстоянии 200 м друг от друга рамок зелёного цвета размером ШВГ 40x20x10 м с толщиной стенок 1 м.

Испытания проводились в условиях слоя облачности на высоте более 1000 м и видимо­сти более 2000 м. Произведено последователь­но четыре полёта: два - с GPS-приёмником мобильного устройства и два - с сертифици­рованным GPS-приёмником. В первом полёте с GPS-приёмником мобильного устройства ус­ловия наблюдения навигационных спутников были хорошими (не менее пяти спутников), что обеспечило возможность корректного позици­онирования виртуальной траектории. В трёх прочих полётах нестабильное число наблюда­емых навигационных спутников, которое пада­ло до 1, позволило правильно позиционировать виртуальную траекторию только на отдельных участках полёта. Количество наблюдаемых на­вигационных спутников контролировалось по бортовому приёмнику GPS.

По результатам испытаний можно сде­лать промежуточные выводы:

1. При устойчивой работе спутниковой навигации виртуальная траектория надёжно позиционировалась в пространстве.
2. Инфракрасный трекер, который ис­пользуется для коррекции дрейфа микроме- ханических датчиков, вырабатывающих угол рыскания, из-за бликов, возникающих при от­ражении солнечного света от боковых и задних стекол пилотской кабины, работает устойчиво в пасмурную и неустойчиво - в солнечную по­году даже при отсутствии прямой солнечной засветки.

Проблема решается путём размещения металлизированной полупрозрачной пленки перед инфракрасной камерой с применением светодиодов в качестве активных мишеней тре­кера. Решение нельзя назвать оптимальным, поскольку оно требует размещения на очках мишеней трекера (что снижает удобство поль­зования очками) и инфракрасной камеры на лобовом стекле, соединенной с процессором проводом (что загромождает рабочее простран­ство в кабине). В дальнейшем представляется целесообразным отказаться от инфракрасного трекера в пользу позиционирования головы пользователя по углу рыскания с помощью ме­тодов компьютерного зрения с применением встроенной в очки дополненной реальности видеокамеры.

3. Используемые в испытании очки не обеспечивают достаточную яркость изображе­ния виртуальных объектов для наблюдения их на фоне неба днём даже в пасмурную погоду. В последующем необходимо применение очков с параметрами яркости виртуальных объектов не менее 5000 Nits (кд/м²).

Стендовые испытания с симулятором пи­лотской кабины

Симулятор пилотского визуального интерфей­са включает 2 планшетных компьютера, свя­занных по беспроводному каналу (организован через Wi -Fi-роутер), что обеспечивает гибкость при размещении в различных тренажерах пи­лотских кабин. Первый планшетный компью­тер позволяет управлять процессом симуляции (запуск-останов, различные режимы отладки и т. п.) и одновременно визуально контроли­ровать картинку, доставляемую пользователю через очки дополненной реальности. Очки и джойстик, с помощью которого пользова­тель управляет виртуальным ВС, соединены со вторым планшетным компьютером через интерфейсы USB (сенсоры очков, джойстик) и HDMI.

Проведение экспериментов с симулятором МСДР

В экспериментах (табл. 1) участвовали две группы испытуемых по 12 студентов МГТУ ГА с игровым опытом пользования компьютерны­ми симуляторами полёта ВС. Тесты выполня­лись в присутствии инструктора-исследова­теля. Испытуемые первой группы выполняли эксперименты 1а, 2а, второй группы - экспери­менты 1б, 2б (цифра означает номер экспери­мента, а буква - тип независимой переменной из табл. 1).

Предварительные процедуры. Каждый испытуемый прошел краткий инструктаж (5 мин) и тренировочную сессию (5 мин) для приобретения навыков управления виртуаль­ным ВС с помощью джойстика.

Послетестовые процедуры. Каждый ис­пытуемый прошёл тест NASA-TLX [7], создан­ный в 1980-х гг. в исследовательском центре NASA Ames с целью сравнительного анализа нагрузки на авиационный персонал: пилотов, техников, диспетчеров и т. д. Тест разрабаты­вался в течение трёх лет с участием более 40 исследовательских групп и широко использу­ется в авиакосмической индустрии и в других отраслях.

NASA-TLX представляет собой много­мерную рейтинговую процедуру - взвешенное среднее, основанное на 6 оценочных факторах:

1. - ментальная нагрузка (Mental Deamand);
2. - физическая нагрузка (Physical Deamand);
3. - нагрузка, связанная с темпом работы (Temporal Demand);
4. - производительность (Performance);
5. - затраченные усилия (Effort);
6. - неудовлетворённость (Frustration).

Вес каждого фактора при выведении ито­говой оценки определяется через ответы на предложения сравнить пары факторов между собой. Величины оценок по факторам получают с помощью шкал с 10 градациями после каждого выполнения тестовой задачи. Чувстви­тельность теста обеспечивается варьированием весов факторов.

NASA-TLX - двухступенчатая процедура, включающая этапы оценки весов и факторов.

На первом этапе испытуемые присваи­вают веса факторов в соответствии со свои­ми представлениями об их вкладе в итоговую нагрузку. Эта информация используется для определения различий в экспертных подходах и различий в важности критериев при выпол­нении разных задач.

На втором этапе испытуемые оценивают сами факторы, используя шкалу, раздёленную на 20 отрезков, каждый отрезок имеет вес 5, минимальное значение оценки - 0, максималь­ное - 100. Шкалы снабжены оппозитными де­скрипторами типа слабый/сильный. Результаты оценки приведены в табл. 2.

Заключение

Результаты стендовых испытаний МСДР под­твердили гипотезу о б0льшей эффективно­сти визуального пилотского интерфейса типа «стереоскопический объёмный виртуальный туннель». Результаты лётных экспериментов подтвердили способность системы корректно позиционировать виртуальный туннель.

МСДР может позиционироваться как ре­зервное средство для коммерческих лайнеров в экстренных случаях, когда возникают проблемы со стандартным оборудованием и особен­но при посадках в условиях ограниченной ви­димости. Для ВС авиации общего назначения МСДР в перспективе может стать основным навигационным инструментом в силу своей дешевизны, мобильности и простоты исполь­зования.