Preview

Вестник Концерна ВКО «Алмаз – Антей»

Расширенный поиск

Мобильный комплекс дополненной реальности для управления воздушным судном

Полный текст:

Аннотация

Описывается не имеющая прямых аналогов стереоскопическая версия визуального интерфейса «небесный туннель», реализованная как автономная система дополненной реальности «карманных» размеров из недорогих компонентов, которая свободна от недостатков, присущих существующим системам технического и расширенного зрения.

Для цитирования:


Горбунов А.Л., Нечаев Е.Е. Мобильный комплекс дополненной реальности для управления воздушным судном. Вестник Концерна ВКО «Алмаз – Антей». 2015;(1):82-87.

Введение

Пилотский визуальный интерфейс, называе­мый «небесным туннелем» (НТ, исходный тер­мин «tunnel-in-the-sky»), известен уже около 20 лет. Успешные испытания прототипов систем управления воздушными судами (ВС) с НТ на реальных самолетах проведены ещё в 1990-х гг. (например, система, разработанная в Стэндфордском университете [1]). Несмотря на свои достоинства, системы синтетического зрения (Synthetic Vision System, SVS) c НТ (рис. 1) [3] до настоящего времени не нашли широкого применения на практике, хотя и остались в поле зрения исследователей [2] и доступны для пилотов через современные дисплеи HUD (Head-ap Display).

 

Рис. 1. Дисплей SVS с НТ

 

Представляется, что есть две основные причины сложившейся ситуации вокруг кон­цепции НТ: 1) прогресс техники автоматиче­ского управления полётом сделал НТ неакту­альным для больших коммерческих лайнеров, а существующие разработки недостаточно компактны и дёшевы для ВС авиации обще­го назначения; 2) нынешнее воспроизведение 3D-структур НТ на обычных плоских экранах SVS и HUD не даёт существенного выигрыша по сравнению с традиционными основными полётными дисплеями (Primary-Flight-Display, PFD) [4].

В настоящей статье описывается прото­тип со стереоскопической версией НТ в виде мобильной системы дополненной реальности (МСДР), свободной от указанных недостатков: 1) используются недорогие компоненты - лёг­кие (менее 150 г) прозрачные очки дополнен­ной реальности (ДР) со встроенным трекингом и мобильное устройство в качестве контролле­ра, что делает систему автономной по питанию и «карманной» в буквальном смысле; 2) реали­зовано стереоскопическое представление НТ в виде объёмных рамок - режим стерео3D-ДР.

В режиме стерео3D-ДР с минималь­ной дополнительной цифровой индикацией НТ заменяет все навигационные индикаторы PFD, имея при этом исключительно простую и естественную для человеческого восприятия визуальную структуру. Режим стерео3D-ДР обладает рядом существенных преимуществ по сравнению с символикой PFD на HUD и воспроизведением НТ на отдельном плоском экране:

  • реализованный с помощью прозрачных ДР-очков, он исключает дополнительную мен­тальную нагрузку, поскольку не требует согла­сования секторов обзора и масштабов изобра­жения реального мира и дисплейной картинки, как это происходит в SVS [4];
  • рамки, формирующие НТ, становятся объёмными и ориентированными вдоль ли­нии горизонта (рис. 2), что при стереовоспри­ятии позволяет с большой точностью визуаль­но оценивать углы рыскания, крена и тангажа ВС обычным для человека образом, при этом исчезает стадия ментальной конвертации символьной информации в оценки этих углов, как это происходит при использовании PFD [5].
  • стерео3D-ДР устраняет характерную для HUD проблему рассеивания внимания [6], по­скольку рамки НТ как навигационные инди­каторы становятся частью картины реального мира.

 

Рис. 2. Картинка комбинированной реальности, сфор­мированная МСДР в полёте. Вид через лобовое стекло кабины самолета

 

Ближайшими аналогами к предлагае­мому решению являются устанавливаемые на самолетах последнего поколения (типа Boeing 787) системы расширенного зрения (Enhanced Vision System, EVS), включающие HUD и инфракрасную камеру на носу ВС. В от­личие от реализации НТ в EVS разработанное техническое решение мобильно (не требуется специальная установка, практически всё обо­рудование имеет буквально «карманные» раз­меры) и дёшево (в десятки раз); оно обеспечи­вает лучшую пространственную ориентацию за счет стереовоспроизведения помещённых в реальный мир виртуальных маркеров и сни­жает нагрузку на пилота: нет необходимости в переключении внимания пилота и в менталь­ной конвертации навигационной информации.

Состав технических средств, входивших в состав прототипа МСДР, показан на рис. 3. Линейные координаты головы эксперимен­татора вырабатывались с помощью сертифи­цированного авиационного GPS-приёмника и GPS-приёмника мобильного устройства. Использование GPS-приёмника мобильного устройства позволяет в условиях эксперимен­та получить более точные GPS-координаты за счет задействованных алгоритмов сглажива­ния. Электропитание МСДР осуществлялось от компактного автомобильного аккумулятора.

 

Рис. 3. Технические средства МСДР (конвертеры, контроллеры и адаптеры, используемые для связи компонентов, на рисунке не показаны): а) вариант с использованием сертифицированного GPS'-приёмника; б) вариант с GPS-приёмником мобильного устройства

 

Угловые координаты головы сидящего рядом с пилотом экспериментатора вырабаты­вались с применением микромеханических ги­роскопов и акселерометров, встроенных в очки комбинированной реальности, и инфракраснго трекера, камера которого была размещена над приборной панелью.

Кроме указанного оборудования, исполь­зовалась укрепленная на голове эксперимента­тора контрольная видеокамера, с помощью ко­торой во время экспериментов фиксировалась картина реального мира (рис. 4).

 

Рис. 3. Камера инфракрасного трекера и контрольная видеокамера

 

Объектные испытания

В ходе лётного испытания, проводившегося с целью визуальной проверки интерфейса МСДР и способности к позиционированию, осуществлялись визуальный контроль пролёта по вир­туальной траектории в реальном пространстве и воссоздание во время испытания наблюдае­мой картины дополненной реальности путём видеореконструкции, совмещающей видеоза­пись контрольной камеры и виртуальную тра­екторию, восстановленную по зафиксирован­ным в ходе испытания линейным и угловым координатам головы экспериментатора.

Испытания проводились на легкомотор­ном самолете со следующим планом полёта: выполнение полёта - двумя разворотами на 180 град.; после взлёта 2 мин по прямой с на­бором высоты, разворот влево с продолжением набора высоты 200 м; пролёт траверза с полё­том к 3-му развороту, разворот влево на поса­дочный курс; удаление 1 км от торца полосы.

В соответствии с планом полёта была построена виртуальная траектория - «небес­ный туннель», состоящий из расположенных в пространстве на расстоянии 200 м друг от друга рамок зелёного цвета размером ШВГ 40x20x10 м с толщиной стенок 1 м.

Испытания проводились в условиях слоя облачности на высоте более 1000 м и видимо­сти более 2000 м. Произведено последователь­но четыре полёта: два - с GPS-приёмником мобильного устройства и два - с сертифици­рованным GPS-приёмником. В первом полёте с GPS-приёмником мобильного устройства ус­ловия наблюдения навигационных спутников были хорошими (не менее пяти спутников), что обеспечило возможность корректного позици­онирования виртуальной траектории. В трёх прочих полётах нестабильное число наблюда­емых навигационных спутников, которое пада­ло до 1, позволило правильно позиционировать виртуальную траекторию только на отдельных участках полёта. Количество наблюдаемых на­вигационных спутников контролировалось по бортовому приёмнику GPS.

По результатам испытаний можно сде­лать промежуточные выводы:

  1. При устойчивой работе спутниковой навигации виртуальная траектория надёжно позиционировалась в пространстве.
  2. Инфракрасный трекер, который ис­пользуется для коррекции дрейфа микроме- ханических датчиков, вырабатывающих угол рыскания, из-за бликов, возникающих при от­ражении солнечного света от боковых и задних стекол пилотской кабины, работает устойчиво в пасмурную и неустойчиво - в солнечную по­году даже при отсутствии прямой солнечной засветки.

Проблема решается путём размещения металлизированной полупрозрачной пленки перед инфракрасной камерой с применением светодиодов в качестве активных мишеней тре­кера. Решение нельзя назвать оптимальным, поскольку оно требует размещения на очках мишеней трекера (что снижает удобство поль­зования очками) и инфракрасной камеры на лобовом стекле, соединенной с процессором проводом (что загромождает рабочее простран­ство в кабине). В дальнейшем представляется целесообразным отказаться от инфракрасного трекера в пользу позиционирования головы пользователя по углу рыскания с помощью ме­тодов компьютерного зрения с применением встроенной в очки дополненной реальности видеокамеры.

  1. Используемые в испытании очки не обеспечивают достаточную яркость изображе­ния виртуальных объектов для наблюдения их на фоне неба днём даже в пасмурную погоду. В последующем необходимо применение очков с параметрами яркости виртуальных объектов не менее 5000 Nits (кд/м2).

Стендовые испытания с симулятором пи­лотской кабины

Симулятор пилотского визуального интерфей­са включает 2 планшетных компьютера, свя­занных по беспроводному каналу (организован через Wi -Fi-роутер), что обеспечивает гибкость при размещении в различных тренажерах пи­лотских кабин. Первый планшетный компью­тер позволяет управлять процессом симуляции (запуск-останов, различные режимы отладки и т. п.) и одновременно визуально контроли­ровать картинку, доставляемую пользователю через очки дополненной реальности. Очки и джойстик, с помощью которого пользова­тель управляет виртуальным ВС, соединены со вторым планшетным компьютером через интерфейсы USB (сенсоры очков, джойстик) и HDMI.

Проведение экспериментов с симулятором МСДР

В экспериментах (табл. 1) участвовали две группы испытуемых по 12 студентов МГТУ ГА с игровым опытом пользования компьютерны­ми симуляторами полёта ВС. Тесты выполня­лись в присутствии инструктора-исследова­теля. Испытуемые первой группы выполняли эксперименты 1а, 2а, второй группы - экспери­менты 1б, 2б (цифра означает номер экспери­мента, а буква - тип независимой переменной из табл. 1).

 

Таблица 1

Описание экспериментов

Независимая переменная (тип визуального ин­терфейса)

Зависимая переменная

Задача

Технологическая среда тестирования

Описание теста

Эксперимент 1. Сравнение эффективности визуальных интерфейсов по критерию минимального времени выхода на заданную траекторию

а)   объёмный «не­бесный туннель»

-       объёмные рам­ки в стереоре­жиме;

б)    плоский «не­бесный туннель»

-       плоские рамки в монорежиме

Время вы­хода на за­данную тра­екторию

Как можно бы­стрее выйти на заданную траек­торию. Критерий выхода - откло­нение от траек­тории менее 10 м в течение 5 мин

1.     Авиационный тренажёр для полноразмерной имитации кабины экипажа. Iirbus. 1320 Touch Screen Trainer. Тренажёр используется для соз­дания эффекта присутствия в кабине реального самолета.

2.     MCДР для управления ВС. Для визуализации используются очки комбинированной реально­сти, для управления виртуальным BC - джой­стик. Визуализация обеспечивает согласование показываемого изображения .!/!-объектов с движением головы пользователя. Для симуля­ции управления тягой BC используется слайдер джойстика

1.     Имитируется ночной полёт с нулевой видимостью через окна кабины: помещение затемняется.

2.     Испытуемому в очки доставляется стереокартинка визуального интерфейса типов а) и б).

3.     Стартовая точка в 300 м по горизонтали ив 100 м по вертикали от заданной траектории, пилотируемое BC с нулевым тангажом направлено перпендикулярно к за­данной траектории.

4.     Испытуемый, управляя движущимся виртуальным BC с помощью джойстика симулятора MCДР, выводит виртуальное BC на заданную виртуальными маркерами траекторию

Эксперимент 2. Сравнение эффективности визуальных интерфейсов по критерию минимального отклонения при полёте по заданной траектории

Аналогично эксперименту 1

Среднее отклонение от заданной траектории

Как можно точнее придерживаться заданной траектории

Аналогично эксперименту 1

1,2- аналогично эксперименту 1.

3. Испытуемый, управляя движущимся виртуальным BC с помощью джойстика симулятора MCДР, ведёт виртуальное BC по заданной виртуальными маркерами траектории

Предварительные процедуры. Каждый испытуемый прошел краткий инструктаж (5 мин) и тренировочную сессию (5 мин) для приобретения навыков управления виртуаль­ным ВС с помощью джойстика.

Послетестовые процедуры. Каждый ис­пытуемый прошёл тест NASA-TLX [7], создан­ный в 1980-х гг. в исследовательском центре NASA Ames с целью сравнительного анализа нагрузки на авиационный персонал: пилотов, техников, диспетчеров и т. д. Тест разрабаты­вался в течение трёх лет с участием более 40 исследовательских групп и широко использу­ется в авиакосмической индустрии и в других отраслях.

NASA-TLX представляет собой много­мерную рейтинговую процедуру - взвешенное среднее, основанное на 6 оценочных факторах:

  1. - ментальная нагрузка (Mental Deamand);
  2. - физическая нагрузка (Physical Deamand);
  3. - нагрузка, связанная с темпом работы (Temporal Demand);
  4. - производительность (Performance);
  5. - затраченные усилия (Effort);
  6. - неудовлетворённость (Frustration).

Вес каждого фактора при выведении ито­говой оценки определяется через ответы на предложения сравнить пары факторов между собой. Величины оценок по факторам получают с помощью шкал с 10 градациями после каждого выполнения тестовой задачи. Чувстви­тельность теста обеспечивается варьированием весов факторов.

NASA-TLX - двухступенчатая процедура, включающая этапы оценки весов и факторов.

На первом этапе испытуемые присваи­вают веса факторов в соответствии со свои­ми представлениями об их вкладе в итоговую нагрузку. Эта информация используется для определения различий в экспертных подходах и различий в важности критериев при выпол­нении разных задач.

На втором этапе испытуемые оценивают сами факторы, используя шкалу, раздёленную на 20 отрезков, каждый отрезок имеет вес 5, минимальное значение оценки - 0, максималь­ное - 100. Шкалы снабжены оппозитными де­скрипторами типа слабый/сильный. Результаты оценки приведены в табл. 2.

 

Таблица 2

Результаты стендовых испытаний

Тип «небесного туннеля»

Средние величины

времени выхода на заданную траекторию, c

отклонения от заданной траектории, м

оценки нагрузки NASA-TLX

а) Объёмный «небесный туннель» - объёмные рамки в стереорежиме

27,1

33,41

42,92

б) Плоский «небесный туннель» - плоские рамки в монорежиме

28,2

65,93

48,42

Заключение

Результаты стендовых испытаний МСДР под­твердили гипотезу о б0льшей эффективно­сти визуального пилотского интерфейса типа «стереоскопический объёмный виртуальный туннель». Результаты лётных экспериментов подтвердили способность системы корректно позиционировать виртуальный туннель.

МСДР может позиционироваться как ре­зервное средство для коммерческих лайнеров в экстренных случаях, когда возникают проблемы со стандартным оборудованием и особен­но при посадках в условиях ограниченной ви­димости. Для ВС авиации общего назначения МСДР в перспективе может стать основным навигационным инструментом в силу своей дешевизны, мобильности и простоты исполь­зования.

Список литературы

1. Barrows A., Alter K., Jennings C., Powell J. Alaskan flight trials of a synthetic vision system for instrument landings of a piston twin aircraft // In Proc. SPIE. 1999. Vol. 3691. P. 98–106.

2. Landry S. J. Advances in Human Aspects of Aviation. CRC Press: Boca Raton, Florida, 2012. 206 p.

3. Sachs G., Sperl R., Sturhan I. Curved and steep approach flight tests of a lowcost 3d-display for general aviation aircraft. // In Proc. of 25th Intern. Congress of the Aeronautical Sciences. Hamburg, Germany, 2006. P. 345-353.

4. Arents R., Groeneweg J., Borst C., Van Paassen M., Mulder M. Predictive Landing Guidance in Synthetic Vision Displays // The Open Aerospace Engineering J. 2011. № 4. P. 11–25.

5. Foyle D., Hooey B., Wilson J., Johnson W. HUD symbology for surface operations: Command-guidance vs. situation-guidance formats // SAE Transactions: J. of Aerospace. 2002. № 111. P. 647–658.

6. Prinzel L. Head-Up Displays and Attention Capture. NASA Technical Memorandum 2004-213000 Hampton: Langley Research Center, 2004 300 p.

7. Salas E., Jentsch F., Maurino D. Human Factors in Aviation. San Diego: Acad. Press, 2006.744 p.


Об авторах

А. Л. Горбунов
Московский государственный университет гражданской авиации
Россия

Горбунов Андрей Леонидович – кандидат технических наук, доцент, советник ректората.

Область научных интересов: дополненная реальность в авиации.

г. Москва



Е. Е. Нечаев
ОАО «Научно-технический центр промышленных технологий и аэронавигационных систем»
Россия

Нечаев Евгений Евгеньевич – доктор технических наук, профессор, советник генерального директора по развитию и инновационной работе.

Область научных интересов: навигация и управление воздушным движением.

г. Москва



Для цитирования:


Горбунов А.Л., Нечаев Е.Е. Мобильный комплекс дополненной реальности для управления воздушным судном. Вестник Концерна ВКО «Алмаз – Антей». 2015;(1):82-87.

Просмотров: 40


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 2542-0542 (Print)