Направления и способы совершенствования процессов контроля качества программных средств систем вооружения

Введение

Важнейшим элементом автоматизированных систем управления войсками и оружием явля­ются программные средства (ПС), надежность, производительность, защищенность, совмести­мость и другие характеристики которых долж­ны отвечать высоким требованиям [1]. В то же время, как показывает отечественный и миро­вой опыт, чем сложнее и объемнее программное обеспечение (ПО), тем больше в нем дефектов. Подтверждением данного тезиса служат резуль­таты исследований сложных программных про­дуктов, выполненных компанией Coverity [2]. Анализ показал, что ПО, разработанное даже профессиональными коллективами, содержит сотни ошибок, на выявление и устранение которых идут значительные интеллектуальные, временные и финансовые ресурсы.

Направления совершенствования нормативно-методической базы в области обеспечения качества программных средств систем вооружения

Объективные и субъективные трудности соз­дания высококачественных ПС, присущие ин­дустрии разработки ПО, в России имеют свои особенности:

• отечественная нормативно-методическая база (НМБ) в области создания программных средств систем вооружения (ПССВ) не соот­ветствует современному уровню информаци­онно-коммуникационных технологий и сред­ствам разработки программного обеспечения;
• проектирование и разработка современ­ных ПССВ осуществляется на основе устарев­ших и неэффективных технологий и инстру­ментальных средств;
• на предприятиях, разрабатывающих программное обеспечение для систем воору­жения, не обеспечивается требуемый уровень контроля качества ПССВ.

Отечественная нормативно-методиче­ская база в области создания программных средств систем вооружения (рис. 1) включает следующие комплексы стандартов:

1. систему разработки и постановки на производство военной техники (СРПП ВТ);
2. стандарты на автоматизированные системы (серия 34.ххх);
3. единую систему конструкторской документации (ЕСКД, серия 2.ххх);
4. единую систему технологической документации (ЕСТД, серия З.ххх);
5. единую систему программной доку­ментации (ЕСПД, серия 19.ххх);
6. стандарты ИСО/МЭК в области ин­формационных технологий.

Анализ нормативно-методических до­кументов (НМД), регламентирующих разра­ботку ПССВ в интересах Минобороны России (МО РФ) в части состава, структуры и содер­жания этапов создания и эксплуатации ПССВ позволил определить следующие проблемы:

• отсутствие системности, а также мето­дологического и терминологического единства понятий, требований и рекомендаций, изложен­ных в действующих старых [3-7] и новых [8-13] нормативно-методических документах;
• наличие противоречий в используемой терминологии, а также видах деятельности, выполняемых на одних и тех же этапах жиз­ненного цикла (ЖЦ) ПССВ [3, 7, 8, 11];
• избыточность и излишняя детализация от­дельных видов деятельности и артефактов [3, 8];
• не используются преимущества концеп­ции процессного подхода к разработке и при­менению ПССВ [3, 7];
• недостаточно полно и конкретно опре­делены место и роль процессов управления качеством ПССВ [3, 7].

Очевидно, что в настоящее время необ­ходимо фундаментально пересмотреть и пере­работать НМБ ПССВ, включая разработку кон­цепции, определение оптимального состава и структуры комплекта НМД и их содержания.

В состав комплекта НМД (рис. 2), регла­ментирующих процессы разработки и управле­ния качеством ПССВ, предлагается включить пять перечисленных ниже базовых стандартов.

1. ГОСТ РВ*. Термины и определения.
2. ГОСТ РВ*. Классификация и качество ПССВ.
3. ГОСТ РВ*. Модель жизненного цикла и порядок разработки ПССВ.
4. ГОСТ РВ*. Модели и методы оценки качества ПССВ.
5. ГОСТ РВ*. Техническое задание на разработку ПССВ.

При разработке данного комплекта НМД необходимо обеспечить:

1. методологическое и терминологиче­ское единство и системность понятий, требо­ваний и рекомендаций, изложенных как в НМД этого комплекта, так и в других связанных с ними стандартами;
2. гармонизацию с современными НМД, технологиями и инструментальными средства­ми, применяемыми в области системной и про­граммной инженерии, включая стандарты и средства информационной поддержки жизнен­ного цикла военной продукции (ИП ЖЦВП) - CALS-технологии (ContinuousAcquisitionandLifecycleSupport);
3. концептуальное и нормативное закре­пление в НМБ ПССВ ключевой роли процес­сов обеспечения качества ПССВ на всех этапах их жизненного цикла, начиная с этапа обосно­вания концепции и формирования требований к ПССВ;
4. методические рекомендации по выбо­ру рациональных способов верификации арте­фактов ЖЦ ПССВ.

Структура и состав данного комплек­та НМД, а также их связи с другими доку­ментами представлены на рис. 2. Новыми в комплекте НМД являются стандарты ГОСТ РВ*. Модели и методы оценки качества ПССВ и ГОСТ РВ*. Техническое задание на разра­ботку ПССВ.

Системообразующим стандартом ком­плекта НМД должен стать ГОСТ РВ*. Мо­дель жизненного цикла и порядок разработки ПССВ, который будет содержать детально про­работанный ЖЦ ПССВ. ЖЦ ПС - непрерыв­ный процесс, описывающий все, что проис­ходит с ПС с момента принятия решения о необходимости его создания до изъятия из экс­плуатации. Модель ЖЦ ПС - это определен­ным образом упорядоченная совокупность этапов ЖЦ (видов деятельности и событий), условий и порядка переходов между ними, обеспечивающих достижение цели проекта в установленные сроки в рамках доступного бюджета времени, людских и финансовых средств [3].

Как было отмечено выше, действующий в настоящее время стандарт имеет ряд недо­статков. Для их устранения была разработана модель ЖЦ ПССВ, которая лишена недостатков, присущих стандарту [3], и где учтены при­веденные выше требования ко всему комплек­ту НМД. Модель ЖЦ ПССВ, представленная в табл. 1, описана с помощью трех основных понятий: вид деятельности, исполнители и артефакты.

Важной особенностью представленной в таблице модели ЖЦ является наличие точ­ного указания места и роли процессов контро­ля качества ПССВ. Результатом выполнения данных процессов является оценка степени соответствия получаемых на каждом этапе артефактов заданным или ожидаемым тре­бованиям к создаваемому ПССВ. Как вид­но из данных табл. 1, процессы верификации должны быть осуществимыми по отношению ко всем значимым артефактам. Первым из них является техническое задание (ТЗ), которое определяет требования к функциональным и эксплуатационным характеристикам ПССВ, т. е. к его качеству. Качество программного обеспечения - это совокупность существенных свойств (характеристик) программного обеспе­чения, обусловливающих его пригодность для использования по назначению.

Классификация характеристик качества ПССВ

Наиболее полная и детальная классифика­ция характеристик ПС представлена в стан­дартах серии ISO/IEC 25000 [14]. В соответ­ствии с ними все характеристики ПО сведены в восемь групп (рис. 3).

Каждая группа характеристик состоит из подхарактеристик, или атрибутов. Напри­мер, характеристика ПС «Надежность» со­стоит из четырех подхарактеристик: «Устой­чивость к отказам», «Восстанавливаемость», «Завершенность» и «Доступность» [14]. Для оценки степени соответствия характеристики установленным требованиям используют показатели качества. Показатель качества - это переменная или несколько переменных, зна­чение которых характеризует меру качества программного обеспечения относительно од­ного или нескольких существенных свойств. Так, например, для оценки отказоустойчивости системы могут использоваться следующие по­казатели:

• вероятность безотказной работы P(t);
• средняя наработка на отказ То;
• гамма-процентная наработка до отказа Τγ;
• интенсивность отказов λ(ί);
• параметр потока отказов ω(ί);
• средняя доля безотказной наработки I(t);
• плотность распределения времени без­отказной работы f(t).

Показатели качества можно спроецировать на основные группы их потребителей: разработ­чиков, заказчиков и конечных пользователей. В соответствии с этим принципом все показате­ли распределяют по трем группам [14-17]:

• внутреннего качества;
• внешнего качества;
• качества при использовании.

Показатели внутреннего качества исполь­зуются проектировщиками, программистами и тестировщиками в ходе проектирования, коди­рования, отладки и тестирования ПССВ. Имеют отношение к архитектуре, внутренней организа­ции, корректности и безошибочности кода ПС. Примерами показателей внутреннего качества являются количество ошибок спецификации, проектирования и кодирования, избыточность кода, цикломатическая сложность, характеристи­ки связанности и сцепления классов и др.

Показатель внешнего качества ПС - это степень, с которой ПС удовлетворяет предъяв­ленным к ним со стороны пользователей функ­циональным и эксплуатационным требованиям. Примерами таких показателей являются полно­та и корректность реализации функциональных требований, вероятность безотказной работы в течение определенного времени, пропускная способность каналов передачи данных время на решение расчетных задач и др. Используют во время испытаний ПС, осуществляемых пред­ставителями заказчика, органами сертификации и конечными пользователями.

Показатель качества при использовании - это степень, с которой ПС пригодны к исполь­зованию по назначению определенными поль­зователями в заданных условиях применения. Примерами таких показателей являются: ин­тегрируемость и совместимость с взаимодей­ствующими системами, устойчивость к отказам оборудования, защищенность от ошибок пользо­вателя, адаптируемость к условиям применения, легкость обучения и др. Используются конечны­ми пользователями на этапах эксплуатации ПС.

Методы верификации артефактов, полу­чаемых в ходе разработки ПССВ, представле­ны в табл. 2. Как показал проведенный анализ, в настоящее время к основным из них можно отнести экспертизу (организационную и техни­ческую) требований, проектных решений и про­граммного кода, статические, динамические и синтетические методы тестирования ПС, аудит, регистрацию и анализ результатов эксплуатации.

Способ реализации автоматизированного контроля качества ПССВ на всех этапах их жизненного цикла

Для обеспечения сквозного, тотального и непрерывного процесса контроля качества ПССВ, разрабатываемых в интересах Мини­стерства обороны РФ, необходимо создать целый комплекс автоматизированных средств верификации. Алгоритм контроля качества представлен на рис. 4.

Все компоненты комплекса должны использовать единую базу артефактов. Для их формального представления предлагается применять унифицированный язык модели­рования UML (Unified Modelling Language) [18], в настоящее время де-факто являющийся стандартом для визуального проектирования, документирования и описания программных систем. С помощью UML-диаграмм описы­вают как статические или структурные свой­ства проектируемой системы, так и ее дина­мические или поведенческие возможности. В качестве основы для построения модели про­цесса тестирования лучше всего использовать профиль UPT (UML Testing Profile) [19].

Для получения пригодного для компью­терной обработки формального описания Uni­fied Modelling Language модели в настоящее время применяют следующие подходы: транс­формации на основе графов, сети Петри, тем­поральная логика, операционная семантика, денотационная семантика, конечные автома­ты. Относительно новым и перспективным подходом к решению данной проблемы мож­но назвать язык описания метамоделей MOF (Meta Object Facility) [20] и протокол обмена метаданными XMI (XML Metadata Interchange) [21], разработанный компанией OMG (Object Management Group). XMI имеет следующие возможности:

• представление объектов в терминах XML- элементов и атрибутов;
• стандартные механизмы связывания объ­ектов внутри одного файла или в разных файлах;
• верификация XM-документов с исполь­зованием XML-схем;
• идентификация объектов, которая по­зволяет обращаться к ним из других объектов по ID и

В результате совместного использования этих средств можно осуществить построе­ние абстрактной метамодели ЖЦ ПССВ, раз­работать средства управления и обмена дан­ными (моделями) для их трансформации в под­держиваемые технологии программирования и реализации автоматизированной верифи­кации. Ярким примером и возможным прототипом таких средств является линейка про­дуктов MATLAB: Simulink, SystemTest, Simulink Design Verifier, Simulink Verification and Vali­dation [22].

Заключение

Для критически важных систем доля трудо­затрат на тестирование программного обе­спечения и устранение выявленных дефек­тов составляет от 50 до 90 % всего бюджета проекта. При этом целым рядом исследова­ний и работ, например [14, 15, 23, 24], было установлено, что удельная стоимость исправ­ления дефектов программного обеспечения по мере его продвижения от стадии разработ­ки требований к стадии эксплуатации возрас­тает по экспоненциальному закону распределения. Данную зависимость наглядно отража­ет представленный на рис. 5 график [25]. Он, в частности, показывает, что стоимость исправ­ления дефекта, внесенного на этапе формиро­вания требований и найденного на этапе про­ектирования, возрастает в 5 раз, а если он об­наруживается только на этапе тестирования - в 20 раз. Стоимость исправления дефектов, внесенных на этапе проектирования и обна­руженных на этапе применения, возрастает в десятки раз.

Реализация представленных в статье предложений по совершенствованию НМБ ПССВ, а также внедрение описанных методов и средств автоматизации позволит не только повысить качество ПССВ, разрабатываемого в интересах МО РФ, но и существенно сни­зить затраты на их производство и сопрово­ждение.