Проблемы оценки качества отработки опытных образцов ракетной техники в натурных экспериментах этапа конструкторских испытаний и пути их преодоления

Введение

Особенностью современного этапа конструк­торских испытаний сложных образцов военной техники является усиленный контроль за всеми процессами испытаний со стороны заказываю­щих органов Минобороны (далее - заказчика), которые часто совмещают большинство функ­ций планирования, финансового обеспечения, контроля и оценки результатов.

Для глубокого понимания тонкостей про­цесса отработки техники нового поколения и формулирования последующих выводов по истинному состоянию дел с целью выработ­ки в случае необходимости корректирующих действий требуется иметь штат специалистов уровня не ниже разработчика по каждой из со­провождаемых тем. Такая задача невыполнима по ряду очевидных причин.

Альтернативой проведения глубокого анализа процессов проектирования и испыта­ний является наличие у заказчика инструмен­тария, базирующегося на относительно про­стых критериях и показателях оценки качества результатов проводимых работ, которым мож­но пользоваться без обладания специальными знаниями во всех областях конструкторской деятельности.

Применение для указанных целей про­стейших подходов, не связанных с особенно­стями проектирования, недопустимо ввиду наличия серьезных противоречий, которые могут дезавуировать саму идею объективной оценки качества работ и полученных результа­тов. Опираясь на неверные выводы, заказчик существенно повышает риск принятия непра­вильных управленческих решений, что в свою очередь может привести к затягиванию сроков из-за необоснованного прерывания работ и к срывам намеченных планов.

Примером упрощенной оценки резуль­татов работ этапа конструкторских испытаний изделий зенитной ракетной техники является оценка результата каждого пуска по крите­рию «поразил или не поразил цель». Эта про­цедура оценки наиболее часто используется заказчиком. На ее основе делается вывод об «успешности» или «неуспешности» не только проведенной натурной работы, но и о состо­янии разработки в целом. При всей привле­кательности и наглядности применения для заказчика указанного подхода он неприемлем для разработчика. Ниже будет показано, на какой стадии испытаний и в каких условиях приведенный упрощенный подход может ис­пользоваться без ущерба здравому смыслу. В большинстве случаев для оценки результа­тов испытаний требуется иное решение.

По итогам общения с руководителями ведущих конструкторских коллективов по род­ственной тематике автор настоящей статьи может сделать вывод, что рассматриваемые проблемы затрагивают многих.

В процессе выполнения ряда работ в АО «МКБ «Факел» создана методика оценки ка­чества отработки опытных образцов ракетной техники в натурных экспериментах на этапе конструкторских испытаний, позволяющая учесть ряд объективных факторов для получе­ния достоверных оценок текущего состояния разработки.

Под отработкой понимается совокуп­ность процессов проектирования, изготовле­ния, проведения летных испытаний опытных образцов ракетной техники и внесения изме­нений в конструкцию и программное обеспе­чение для улучшения функциональных воз­можностей этих образцов с целью выполнения требований заказчика.

Указанная методика апробирована на эта­пе конструкторских испытаний изделий нового поколения и получила положительные оцен­ки ряда организаций, участвовавших в работе комиссий по оценке состояния разработок АО «МКБ «Факел».

Вместе с тем данный подход встречает жесткое отрицание заказывающих структур Минобороны в пользу упрощенной методики оценки результатов «поразил - не поразил».

Для того чтобы разобраться в этой про­блеме, целесообразно отметить ряд особенно­стей испытаний новейших образцов вооруже­ния и военной техники.

Особенности этапа летных конструкторских испытаний нового поколения изделий ракетной техники

При проведении конструкторских испытаний изделий ракетной техники актуальна задача проверки работоспособности (правильности ра­боты) всех блоков бортовой аппаратуры, встро­енного программного обеспечения и агрегатов, отвечающих за выполнение задач полета.

Правильность работы бортового обору­дования, отвечающего за конечный участок полета [1], наиболее сложно проверить, так как для этого необходимо, чтобы другие агрегаты и бортовая аппаратура успешно и своевременно выполнили свои задачи до начала конечного участка полета.

В современных зенитных ракетах объем аппаратуры и используемых в ней вычисли­тельных мощностей существенно превосходят аналогичные показатели техники предыдущих поколений. Все чаще разработчики зенитных ракет используют термин «цифровая ракета». Это название во многом отражает особенности построения бортовой аппаратуры современ­ных ракет, так как практически в каждый из блоков данной аппаратуры входит собствен­ный цифровой вычислитель с реализованным программным кодом. Вся бортовая аппаратура современной зенитной ракеты, как правило, связана единой вычислительной сетью и за­действуется в полном объеме за секунды до выполнения задачи. В это короткое время ре­ализуется максимальная загрузка встроенных вычислительных средств.

На каждом из промежуточных этапов работы бортовой аппаратуры возможно воз­никновение ситуаций, которые приводят к от­клонению от желаемого развития событий. Основываясь на собственном опыте и име­ющихся данных зарубежных публикаций, можно отметить, что наибольшие предпосыл­ки для возникновения тех или иных нежела­тельных ситуаций на борту цифровых ракет после успешного прохождения начального этапа отработки всей аппаратуры создают вы­числительные алгоритмы, реализованные в специальном программном обеспечении. Раз­работчики и изготовители бортовой аппарату­ры не всегда имеют полную картину возмож­ных ситуаций внутреннего взаимодействия бортовых систем. Достаточное представление о работе и взаимодействии всех подсистем ра­кеты получается в процессе отработки в лет­ных экспериментах в завершающей стадии испытаний.

Для наземной отработки указанных ал­горитмов создается специальное технологиче­ское оборудование - стенды имитационного, аппаратного и полунатурного моделирования. Верификация указанного комплекса обору­дования и математических моделей требует проведения ряда натурных экспериментов с детальной записью большого объема измерен­ных параметров.

Натурные эксперименты осуществляют­ся в определенных внешних условиях, не всег­да соответствующих спланированным. По этой причине, а также с учетом последовательности операций по созданию и уточнению матема­тических моделей, отражающих полученные результаты, процесс верификации моделей и технологического оборудования отдельных блоков бортовой аппаратуры и всей ракеты в целом - достаточно длительный этап.

Продолжительность этапа отработки так­же зависит от:

• сложности аппаратуры;
• диапазона условий ее функционирова­ния;
• объема цифрового кода в исполняемых алгоритмах;
• квалификации коллектива разработчи­ков;
• наличия опыта создания аналогичных систем;
• технологической оснащенности лабо­раторно-испытательной базы и многих других важных факторов.

На этапе натурных конструкторских ис­пытаний неизбежно возникновение разного рода проблем, препятствующих получению конечного результата с проверкой всего объе­ма алгоритмов.

Таким образом, на начальном и последу­ющих этапах отработки изделий ракетной тех­ники нового поколения перед руководителем разработки часто возникает проблема, каким образом донести до заказчика истинное состо­яние разработки после возникновения тех или иных незапланированных ситуаций.

Для конструктора проблема объектив­ной оценки результатов не значительна, так как отработка изделий осуществляется при выполнении контролируемой последователь­ности работ с постоянной корректировкой конструкции и алгоритмов по результатам каждой работы с приближением к заданным требованиям. Важность этой оценки возрас­тает при взаимодействии с заказчиком, когда полученные результаты интерпретируются исключительно исходя из понимания ситуа­ции специалистами структур заказчика. Мне­ние и аргументы разработчика могут просто игнорироваться.

Разработчикам новой техники хорошо известна на первый взгляд парадоксальная ситуация: возникшая на испытаниях непред­виденная проблема, не связанная с качеством подготовки к экспериментам и с ошибками персонала, является полезным результатом, несмотря на формальное невыполнение пол­ного объема задач. Специалисты знают, что по результатам неудачи будет вскрыта причина, которая не была учтена из-за недостатка зна­ний о ней. При подготовке следующей работы эта причина исследуется и принимаются меры по исключению или парированию ее влияния. Таким образом, получение отрицательного ре­зультата - всегда ступень к улучшению этого параметра на следующем этапе.

Известны примеры из практики, когда одинаковый отрицательный результат был по­лучен в нескольких летных испытаниях под­ряд. У отстраненного наблюдателя создается впечатление, что работа проводится впустую методом набора статистики. Однако при пра­вильной организации труда всегда осущест­вляется движение вперед от работы к работе, вскрываются новые детали, проверяются но­вые гипотезы, исключаются неподтвержден­ные версии, отрабатываются новые техниче­ские решения, проводятся дополнительные проверки и испытания.

Как уже отмечалось, заказчик считает, что задача натурных работ этапа конструктор­ских испытаний - не проверка тех или иных технических решений, алгоритмов и процес­сов для улучшения конструкции, а достижение интегрального результата, т. е. полное выпол­нение всеми подсистемами заданных требо­ваний независимо от этапа отработки и ре­шаемых конструктором задач. Возникающие непредвиденные ситуации на испытаниях в большинстве случаев контролирующие струк­туры интерпретируют как неуспех не только испытаний, но и разработки в целом. Получе­ние нескольких проблемных результатов в те­чение короткого срока приводит к ожидаемой реакции: «доклады наверх», остановка работ, назначение комиссий, расследования, «вызовы на ковер» - и к другим методам администра­тивного воздействия на процесс разработки. В результате незапланированных остановок работа все равно возобновляется, проводятся дополнительные мероприятия, устанавливают­ся новые сроки и т. п. Главные причины поте­ри времени - некорректная оценка заказчиком результатов работ этапа конструкторских ис­пытаний и, как следствие, частое вмешатель­ство в процесс отработки. Следует отметить, что материальная ответственность за боль­шинство результатов все равно возлагается на разработчика.

Указанное противоречие в критериях оценки результатов разработчиком и заказчи­ком возникает из-за отсутствия объективного учета соотношения общего необходимого количества испытаний, зависящего от степени новизны аппаратуры и конструкции ракет, и указанного в контракте объема натурных ра­бот. Из-за некорректно спланированного объ­ема летных испытаний проведенный объем натурных работ может быть в несколько раз меньше необходимого для осуществления всех проверок. Несмотря на использование моделей и полунатурных стендов, при недостаточном количестве натурных испытаний невскрытые проблемы могут проявиться на заключитель­ных стадиях испытаний, в том числе на этапе приемки заказчиком.

Таким образом, существует объективное противоречие между спланированным в кон­тракте объемом летных испытаний и наличием такого количества бортовой аппаратуры, агрега­тов и алгоритмов, для полной проверки которых необходимо проведение числа пусков, нередко на порядок превосходящего спланированное.

Преодоление указанного противоречия возможно только совмещением большого объ­ема проверок в одном пуске, причем вероят­ность решения всех спланированных задач может отличаться от желаемой на начальных этапах испытаний.

В связи с изложенным на начальном эта­пе летных конструкторских испытаний неиз­бежны отклонения от намеченного идеально­го результата. В процессе выполнения работ усредненная оценка (интегральный показатель) функционального качества ракеты должна воз­растать в каждом последующем пуске. Именно повышение интегрального показателя функцио­нального качества ракеты является показателем правильности реализуемого пути создания из­делия нового поколения. Динамика такого роста может свидетельствовать о сложности работ, квалификации разработчика, достаточности объема спланированных работ и т. п.

Важнейшим требованием успешности проведения этапа конструкторских испы­таний зенитных управляемых ракет (ЗУР) является необходимость получения досто­верной высокоточной информации внешне- траекторных измерений полета ракет, виде­орегистрации процессов встречи ракеты с целью с нескольких точек для определения эффективности работы боевого снаряжения, а также получения телеметрической инфор­мации с борта ракеты. Благодаря этим сведе­ниям можно представить детальную картину работы всей бортовой аппаратуры, агрегатов и изделия в целом. В этом случае с учетом сложности изделия и наличия большого объ­ема аппаратуры испытания для конструктора являются успешными.

Оценка сложности изделий ракетной техники и ее связь с необходимым объемом испытаний

Для оценки требуемого количества летных экспериментов с разрабатываемыми издели­ями ракетной техники целесообразно учесть следующие факторы: количество проверяе­мых функциональных блоков бортовой аппа­ратуры (БА), наличие программного обеспе­чения в них, уровень аппаратной новизны и отработанности (новизны) специального про­граммного обеспечения. Оценка вероятности достижения конечного результата в одной на­турной работе ЗУР получит следующий вид:

где P₁ - вероятность достижения конечного ре­зультата в одной натурной работе ЗУР;

k - количество функциональных блоков бортовой аппаратуры (БА) (агрегатов) в соста­ве ЗУР;

 - вероятность выполнения задачи аппа­ратной частью i-го блока БА (агрегата);

 - вероятность выполнения задачи про­граммной частью i-го блока БА.

Выражение (1) позволяет оценить зави­симость конечного результата от состояния отработки БА, соответствующего программ­ного обеспечения (ПО) и агрегатов. В идеаль­ном случае P₁ ≈ 1. В практических расчетах результат существенно отличается от идеаль­ного. Даже при серийном выпуске отработан­ной аппаратуры имеется фактор надежности комплектующих и аппаратуры в целом, кото­рый ни при каких обстоятельствах не позво­лит получить единицу в указанном идеальном случае.

На начальной стадии летных испытаний большинство блоков БА имеет не вполне вы­сокие уровни функциональной готовности. Чем больше доля нового оборудования, тем выше риски того, что не все заранее пред­усмотрено и результат испытаний может от­личаться от запланированного. При наличии сложного ПО, проверка всего диапазона ус­ловий работы которого часто невозможна по объективным причинам, значение P₁ может быть очень низким.

Пример 1. Пусть на борту ЗУР имеют­ся 10 функциональных блоков и агрегатов. Предположим, что половина из них заимство­вана из других отработанных изделий (общий уровень новизны разработки ракеты 50 %). Примем, что с учетом надежности вероятность выполнения задачи заимствованными бло­ками аппаратуры и агрегатами составляет p_i^апп p_i^ПО = 0,99. Пусть оставшаяся часть блоков и агрегатов имеет произведение соответству­ющих вероятностей p_i^апп p_i^ПО = 0,8. Несложно получить результат: P₁ = 0,31.

Таким образом, в одной натурной рабо­те, когда все блоки и агрегаты ЗУР отработают без отклонений и будет получен заданный ко­нечный результат, в условиях принятых допу­щений вероятность решения задачи в полном объеме не превышает 31 %.

Данная ситуация может быть характерна для начальных этапов конструкторских испы­таний. По мере отработки конструкции, учета полученных экспериментальных данных, уточ­нения условий функционирования объектов, специального ПО и т. п. указанная вероятность будет увеличиваться от работы к работе. Но даже при получении для каждого из функци­ональных блоков вероятности выполнения за­дачи 0,99 интегральное значение величины P₁ не превысит 0,9.

Если принять, что изделие разрабаты­вается впервые с отсутствующими приме­ненными блоками и агрегатами, то начальное значение вероятности P₁ может не достичь даже 0,1.

Использование уравнения (1) для оценок вероятности P₁ не вполне удобно ввиду того, что значения параметров p_i^апп p_i^ПО сложно по­лучить посредством аналитических выраже­ний. Вместе с тем при использовании метода экспертных оценок получение указанных па­раметров упрощается.

Примем, что каждое из значенийи p_i^апп и p_i^ПО находится в пределах

Это допущение базируется на том, что на этапе наземной отработки блоков и агре­гатов должен быть достигнут такой уровень готовности, при котором доля положительных исходов при выполнении задачи функциональ­ным блоком в любом летном эксперименте по крайней мере не должна быть меньше доли отрицательных результатов.

Для проведения оценок достижимых ре­зультатов натурных работ на различных стади­ях испытаний с учетом (2) введем экспертную шкалу:

p_i^J = 0,8,                                                         (3.1)

если степень новизны в i-м блоке или агрегате (J = «апп») или программного обеспечения в i-м блоке или агрегате (J = «ПО») высокая;

P_i^J = 0,9,                                                        (3.2)

если степень новизны в i-м блоке или агрегате (J = «апп») или программного обеспечения в i-м блоке или агрегате (J = «ПО») средняя;

p_i^J = 0,95,                                                      (3.3)

если степень новизны в i-м блоке или агрегате (J = «апп») или программного обеспечения в i-м блоке или агрегате (J = «ПО») низкая;

P_i^J = 1,                                                             (3.4)

если степень новизны в i-м блоке или агрегате (J = «апп») или программного обеспечения в i-м блоке или агрегате (J = «ПО») отсутствует.

Для оценок также удобно принять, что если в i-м блоке или агрегате ПО отсутствует вообще, то p_i^ПО = 1.

Для повышения привлекательности для использования предложенного подхода целесообразно ввести зависимость коэффициентов

(3.1)–(3.4) от времени:

P_i^J = P_i^J (t).                                                        (4)

Эта зависимость означает, что в процессе отработки к моменту времени T₀ при успеш­ном завершении испытаний t→T₀ значения коэффициентов P_i^J (t) будут стремиться к верхнему пределу неравенства (2). Таким образом, при успешном завершении проектных работ и испытаний нового образца ракетной техники все параметры качества функционирования ап­паратуры приблизятся к максимуму, и резуль­тирующая вероятность P₁ достигнет заданных значений.

Оценим, какое количество натурных ра­бот N «в одну точку» нужно провести для до­стижения поставленной цели в допущениях примера 1. Под «точкой» испытаний принято понимать фиксированные условия применения (прогнозируемые параметры встречи ракеты с целью, условия работы обеспечивающих средств, факторы внешней среды, параметры цели и условия ее полета и т. п.).

При вероятности получения желаемого конечного результата не менее 0,95 несложно получить выражение

Если учесть требуемое количество ситу­аций для натурных работ, в том числе количе­ство проверяемых «точек» зоны поражения, типаж целей, виды подстилающей поверх­ности и их состояния (для бортовых систем с самонаведением), и т. п. условий, то общее требуемое количество натурных работ может превысить несколько сотен.

Пример 2. Для полностью новой техни­ки примененные блоки отсутствуют. Пусть на борту имеются 10 функциональных блоков и агрегатов. Тогда, принимая для определенно­сти, что степень новизны аппаратуры высокая (3.1) у всех блоков и агрегатов, а ПО присут­ствует только у половины блоков и агрегатов, для начального этапа летных испытаний в пре­деле получим:

P₁ = 0,8¹⁰ · 0,8⁵ = 0,035.

Это означает, что на начальном этапе испытаний сложной техники с высокой долей новизны блоков и агрегатов получение жела­емого заказчиком конечного результата и про­верка правильности работы абсолютно всех блоков и агрегатов маловероятны.

Следует отметить, что результат приме­ра 2 далек от практики и его можно рассма­тривать как крайний случай. В большинстве ситуаций уровень отработки аппаратуры выше рассмотренного в указанном примере.

Также следует отметить, что скорость ро­ста параметров p_i^апп от одной натурной работы к следующей весьма высока, поэтому

где t - текущее время;

t₀ - время начала летных экспериментов;

ΔΤ_i - период отработки i-й аппаратуры до требуемого уровня, который может составлять от одного года до нескольких лет.

В части специализированного ПО ситуа­ция, как правило, в корне отличается от проблем аппаратной части. Сроки отработки ПО значи­тельно превышают сроки отработки аппаратной части. Уменьшить сроки отработки ПО, как пра­вило, не удается. Особенности отработки ПО рассмотрены в следующем разделе.

Особенности применения цифровых систем на борту изделий сложной ракетной техники

Необходимость создания высококачествен­ного программного обеспечения для исполь­зования в современных сложных изделиях ракетной техники ни у кого не вызывает со­мнений. Что такое «высококачественное ПО» и какова его стоимость, к сожалению, не всег­да должным образом понимается не только заказчиком конечной продукции, но и некото­рыми разрабатывающими структурами.

В работе [2] показано, что любое кон­кретное поведение программной системы рас­сматривается как некоторый путь в дискретном пространстве состояний, причем перебрать все такие пути при тестировании практически невозможно. Если в конкретном программ­ном продукте имеется всего N независимых 16-разрядных переменных, то нижняя оценка

для общего числа G ее состояний выражается равенством G = 2^16N. Для совсем небольшой программы число N = 10. Общее количество состояний такого ПО составит более 1,46*10⁴⁸. Для полной проверки даже такой программы не хватит человеческой жизни. В типичных боевых программах бортовых устройств число переменных превосходит 100 единиц.

Неправильное поведение программы на одном из множества возможных путей выпол­нения может быть обусловлено необнаружен­ной ошибкой или некорректностью алгоритма, в результате чего могут возникнуть аварии в работе всей системы.

Указанное противоречие между невоз­можностью проверки всего множества состоя­ний цифровой системы с объемным программ­ным обеспечением и необходимостью отладки в короткие сроки ограниченным по численно­сти коллективом разработчиков обычно ре­шается посредством применения технологий косвенного выборочного контроля с учетом большой совокупности факторов.

Известные методики контроля качества программных продуктов базируются на ис­пользовании совокупности метрических дан­ных, характеризующих текущее состояние разрабатываемого продукта, ход процесса разработки, достигнутый уровень зрелости организации-разработчика и многих дру­гих [2]. Известно свыше 500 различных изме­ряемых показателей (метрик), так или иначе относящихся к разработке программных про­дуктов.

Не претендуя на полноту анализа, отме­тим некоторые из используемых метрик, кото­рые могут быть полезны для анализа специ­ального программного обеспечения в части динамики и качества его отработки [2].

В основной группе так называемых про­дуктовых метрик выделяют исходные требо­вания, изменчивость требований, полноту и противоречивость требований, их завершен­ность, системные компоненты, используемые технологии, размер кода, ветвления в коде, параллелизм и сложность кода, качество кода, пострелизные дефекты кода, инновационность продукта, обратную связь с потребителем, на­личие проблем в понимании сущностей неко­торых процессов и т. п.

В группе проектных метрик выделяют трудоемкость (суммарные трудозатраты по фа­зам проекта), производительность труда (еди­ница измерения KLOC на человеко-день), дли­тельность проекта, уровень автоматизации при разработке исполняемого кода, стоимость и пре­дел стоимости проекта, стоимость строки кода, частоту совершения ошибок, число лиц, уча­ствующих в разработке, плотность выявленных дефектов, опыт совместной работы данного кол­лектива, опыт работы с данной аппаратно-про­граммной платформой, результативность и эко­номичность тестирования, а также ряд других.

Далее в статье используются обозначения KLOC и KAELOC (KLOC - количество тысяч строк кода на языке Си; KAELOC - количе­ство тысяч строк кода на языке ассемблера). Пересчет KLOC в KAELOC для языка Си осу­ществляется увеличением в 2,5 раза, для языка С+ + - увеличением в 11 раз [2].

В группе процессных метрик могут ис­пользоваться уровень зрелости разработчика, соответствие квалификации, опытность коман­ды и ряд других.

В работе [2] со ссылкой на американский первоисточник приведены обобщенные дан­ные для некоторых метрик по промышленно­сти США за 2000 г. (см. таблицу).

При определении качества програм­мы через оценку числа остаточных дефек­тов часто используют подход по уровням N сигма (Νσ), причем низший уровень (сигма) допускает наличие около 700 000 дефектов (ошибок) на 1 миллион строк исходного кода, а наивысший уровень качества программы (шесть сигма) допускает в среднем наличие только 3,4 ошибки на миллион строк исход­ного кода. В настоящее время в мировой ин­дустрии программного обеспечения уровень шесть сигма принят за эталон качества на­дежного ПО, однако владеют этим уровнем очень немногие.

Завершая анализ способов оценки каче­ства программных продуктов, целесообразно привести модель затрат COCOMO [2], пред­лагающую три формулы для расчета важней­ших показателей разработки программного обеспечения:

Приведенные расчетные соотношения справедливы для оценок по созданию встро­енного (embedded) ПО для наиболее жестких требований.

Объем строк кода встроенного ПО в бор­товых системах управления может составлять 10⁴...10⁶ и более в зависимости от назначения и сложности решаемых задач.

Пример 3. Для бортового оборудования, имеющего 10⁵ строк кода, получим следую­щие оценки:

• общая трудоемкость разработки специ­ального ПО - 1150 чел.-мес.;
• срок разработки - 24 месяца;
• количество высококвалифицированных разработчиков ПО - 48 человек.

Очевидно, что при меньшем количестве профессиональных разработчиков сроки вы­полнения проекта увеличатся в соответству­ющее число раз.

Количество дефектов ПО, которые могут оставаться невыявленными после завершения разработки, составит порядка 80...100. Эти де­фекты могут быть обнаружены значительно позже, на этапе эксплуатации, и стать предпо­сылками к возникновению ситуаций, которые приведут к невыполнению задачи в целом.

Продолжая анализ сроков отладки ПО, целесообразно вновь обратиться к зарубеж­ному опыту.

В публикации [3] Института анализа оборонных проблем (США) приведены ре­зультаты исследований по комплексному ана­лизу влияния объемов программного кода для встроенных вычислительных систем на сроки разработки по данным ряда проектов, включая проекты NASA. Указанные результа­ты несколько отличаются от приведенных в примере 3, однако они охватывают больший диапазон проектов различной направленно­сти в военной и космической отраслях аме­риканской экономики. Имеющиеся различия можно объяснить тем, что в первом рассма­триваемом случае [2] оцениваются трудоза­траты на отладку законченного программного кода. Оценки трудозатрат из [3] приведены для отработки нового ПО, когда в этом про­цессе происходят изменения, добавляются новые ветки алгоритмов, учитываются вновь установленные в процессе испытаний связи в виде новых кодов, уточняются процессы функционирования и т. п.

Средняя продолжительность разработки и отладки ПО для сложных компьютеризиро­ванных систем военного назначения по дан­ным указанных американских исследований в среднем стабильно постоянна по большинству направлений и составляет 5-8 лет. Попытки ускорить этот процесс приводили к резкому росту затрат при отсутствии желаемого ре­зультата. Аналогичное удорожание стоимости проекта происходит и при затягивании сроков работ относительно оптимальных.

В работе [3] приведена аналитическая зависимость среднего времени t (в месяцах) разработки и отладки сложных компьютеризи­рованных систем от комплексного показателя сложности работ S:

при S = «сложность» отсутствует, имеет место модернизация отработанной техники; при S = 1 «сложность» максимальная, все, включая ап­паратную и программную части, создается с нуля.

Полученная аппроксимация построена по множеству результатов, причем дисперсия оценки сроков разработки, по данным авторов, составляет 0,7165. Выражение (10) вызывает вопросы в части корректности представления зависимости с явно завышенной точностью коэффициентов, однако вполне может быть использовано для оценок.

Можно оценить, что при уровне слож­ности ПО более 0,6 по шкале [0, 1] продолжи­тельность цикла отработки ПО не может быть менее 4 лет. Для уровня 0,9 (высокой новизны ПО и аппаратуры) оптимальная продолжи­тельность цикла отработки ПО от момента создания до завершения испытаний составит 7-8 лет.

На рис. 1 построена зависимость (10) продолжительности отработки t(S) в годах от показателя сложности S.

В публикации [3] также приведена зави­симость продолжительности цикла разработки и развертывания сложной компьютеризиро­ванной системы от количества строк программного кода для стандартов американских фирм - разработчиков вооружения и воен­ной техники (ВВТ). Так, при количестве строк кода ~1 млн продолжительность цикла состав­ляет 5 лет, а при количестве строк кода 10 млн соответствующая продолжительность увеличивается до 12-13 лет. Указанная зависимость воспроизведена на рис. 2.

Важно отметить, что в Минобороны США проводятся многочисленные исследо­вания данных тенденций, однако пока имеет­ся только констатация факта: указанные сро­ки разработок сохраняются на протяжении последних 15-20 лет, несмотря на быстрое развитие технологий создания и отладки ПО.

Сравнивая полученные оценки опти­мальных сроков отработки сложных компью­теризированных систем, затрат на их осущест­вление, а также установленных заказчиком сроков выполнения работ, можно констатиро­вать наличие противоречия между ними.

На рис. 3 показаны ситуации динамики отработки изделий с различной степенью но­визны аппаратуры и ПО.

Для сравнения приведены три кривые:

• кривая I соответствует динамике отра­ботки изделия с минимальными внесенными изменениями в уже отработанную конструк­цию и алгоритмы;
• кривая II соответствует динамике отра­ботки изделия с конструкцией средней степени новизны;
• кривая III соответствует динамике отра­ботки изделия с конструкцией и ПО высокой степени новизны.

Эти зависимости отражают существо ранее приведенных оценок сроков отработки ПО сложных компьютеризированных систем.

В качестве показателя уровня отработ­ки E может быть использован интегральный показатель качества образца по совокупности блоков и агрегатов, методика расчета которого приведена в разделе «Методика оценки каче­ства отработки изделий ракетной техники на этапе конструкторских испытаний».

В зависимости от установленного срока завершения работ, предусмотренного контрак­том, и степени новизны разработки не исклю­чены ситуации, когда достигнутый к заданно­му сроку T₀ уровень отработки E не достигнет требуемого уровня Е_доп. В этом случае будет справедливо неравенство

Устранение неравенства (11) возможно только переносом времени T₀ вправо. Такие ситуации возникают по причине того, что срок T₀ выполнения контракта по разработке ново­го образца техники установлен исходя из по­требностей заказчика без учета объективных сроков разработки сложной компьютеризиро­ванной техники. По факту тенденция переноса сроков T₀ вправо характерна для многих про­ектов как за рубежом, так и в отечественном оборонно-промышленном комплексе (ОПК).

Следует признать, что далеко не всегда причиной переноса сроков исполнения кон­тракта является сложность разрабатываемого образца.

Можно выбрать другой путь решения задачи, который обеспечит привязку срока по­лучения результата к заданному времени T₀, допустив возможность значения Δ > 0.

Это условие фиксирует факт наличия некоторой остаточной неопределенности в уровне отработки ПО в момент завершения основного этапа отработки и испытаний T₀. В случае наличия объективной оценки достиг­нутого качества отработки аппаратуры, агрега­тов и ПО сложного изделия легко определить уровень остаточных рисков, обусловленных незавершенностью отработки. Очевидно, что основной объем проверок должен быть за­вершен к моменту времени T₀. Невозможно допустить, что контракт может быть признан выполненным при отсутствии уверенности в том, что в основном диапазоне условий при­менения задача будет осуществлена должным образом. Вместе с тем отсутствие натурных проверок во всем диапазоне условий приме­нения сохраняет определенные риски (Δ > 0) того, что в некоторых случаях возможно воз­никновение проблем, ранее не встречавшихся в натурных работах.

Таким образом, актуальна задача инте­гральной оценки качества отработки изделий ракетной техники по совокупности данных о работе всех подсистем для установления, в том числе, остаточных рисков.

Методика оценки качества отработки изделий ракетной техники на этапе конструкторских испытаний

Приведенные выше данные свидетельствуют о том, что при испытаниях новой техники с высоким содержанием цифровой аппарату­ры с большими объемами программного кода нужно либо ориентироваться на объективные данные по трудозатратам на отработку такой техники и стремиться пройти весь временн0й цикл до завершения отработки, либо опреде­лить способ получения достижимого резуль­тата с остаточными рисками в установленные сроки с последующим завершением отработ­ки в процессе эксплуатации принятой заказ­чиком техники.

В качестве основного показателя оценки качества выполнения изделием ракетной тех­ники своих функций на этапе натурных работ, как было отмечено ранее, заказчик использует показатель успешности пуска (УП), который фиксирует достижение конечной цели - по­ражение объекта или выполнение полета по заданной траектории.

Для конструктора данный показатель мало информативен. Несмотря на то что на начальном этапе натурных работ вероятность получения конечного результата относительно принятого показателя УП в среднем мала, в каждом натурном эксперименте после анализа результатов проводится уточнение алгоритмов, вскрываются ошибки и неточности ПО, осу­ществляются корректирующие действия к сле­дующей натурной работе, т. е. обеспечивается улучшение качества работы изделия ракетной техники при проведении последовательности натурных работ. Это нормальный процесс от­работки изделия.

Оценим значение математического ожи­дания показателя УП за время отработки от начального этапа до конечного. Используя вы­ражения (1)-(3), выделим три этапа, на каждом из которых значение вероятности P₁ относи­тельно стабильно:

P₁^I - вероятность достижения конечного результата на I (начальном) этапе испытаний;

P₁^II - вероятность достижения конечного результата на II (основном) этапе конструктор­ских испытаний;

P₁^III - вероятность достижения конечного результата на III (конечном) этапе испытаний.

Тогда математическое ожидание значе­ния показателя УП будет иметь вид:

где χ_i - индикатор положительного исхода /-го испытания (равен единице, если конеч­ная цель достигнута, и равен нулю, если ко­нечная цель не достигнута независимо от причины);

I - общее количество испытаний на всем протяжении проведения опытной конструк­торской работы.

Преобразуем выражение (12), сгруппи­ровав общую сумму в три слагаемых:

где Δ_I - количество испытаний первого (на­чального) этапа;

ΔII - количество испытаний основного эта­па отработки;

ΔIII - количество испытаний завершающе­го этапа.

Приняв для простоты интенсивность ис­пытаний постоянной, выражение (13) удобно представить в следующем виде:

где ΔΤ_Ι - относительная продолжительность начального этапа испытаний;

ΔΤ_II - относительная продолжительность основного этапа испытаний;

ΔΤ_ΠII - относительная продолжительность завершающего этапа испытаний;

T₀ - общая продолжительность срока раз­работки, определенная контрактом.

Принимая во внимание, что, как правило,

можно сделать вывод: вклад значения треть­его слагаемого выражения (14) в результи­рующую оценку УП незначителен. При этом значение P₁^III наиболее близко к требуемому значению эффективности изделия ракетной техники, так как на III (заключительном) эта­пе изделие в основном отработано.

Этот вывод свидетельствует о том, что используемый заказчиком показатель УП су­щественно занижает реальное состояние дел с отработкой опытных изделий при усредне­нии по всей продолжительности испытаний T₀. Таким образом, этот показатель будет прибли­жаться к лучшей оценке только при условии

ΔΤιιι ≥ ΔΤιι + ΔΤι.                                            (16)

Условие (16) при фиксированном време­ни завершения создания и испытаний опыт­ного образца будет выполнено только на этапе эксплуатации после приемки работы. Другим вариантом адекватного применения показателя УП является оценка математического ожида­ния успешности пусков только третьего (за­ключительного) этапа испытаний, которое, как несложно увидеть, соответствует вероятности P₁ выполнения задач пуска:

где I₃ - количество натурных работ на заклю­чительном этапе испытаний.

Заключительный этап испытаний в при­нятой терминологии соответствует этапу госу­дарственных испытаний.

Для конструктора полезно иметь способ оценки качества отработки изделия на протя­жении всего процесса создания и испытания новой техники. Тогда при получении роста показателя качества отработки изделия (КОИ) от пуска к пуску можно судить о правильности выбранных технических решений и способов отладки аппаратуры, агрегатов и ПО изделия.

Таким образом, создание методики оцен­ки показателя КОИ позволит получить гораздо лучший инструмент для оценки успешности проводимых работ, чем показатель УП.

Рассмотрим основные подходы к выбору показателей и критериев оценки эффективно­сти (результативности) исследуемых процессов.

Ввиду того что при анализе результатов летных экспериментов необходимо оценивать совокупность параметров и результативность работы многих блоков (агрегатов) и ПО, дан­ная задача относится к классу многокритери­альных. Из-за особенностей функционирова­ния ЗУР в полете вклад в конечный результат вносит каждый из агрегатов (блоков бортового оборудования). Выделить наиболее важные из этих агрегатов (блоков аппаратуры) не пред­ставляется возможным, так как сбой любого из них приведет к невыполнению задачи в це­лом. Вместе с тем очевидно, что сложность и надежность указанных агрегатов и блоков су­щественно различна.

Известно, что для получения оценки ка­чества решения многокритериальных задач часто применяют метод свертки частных по­казателей [4].

При использовании обобщенных крите­риев приходится оперировать их значениями, которые обычно лишены содержательного (фи­зического) смысла.

Возникает главный вопрос: как учесть интегральное качество работы U совокупности устройств на борту ракеты в процессе выпол­нения функциональной задачи?

Удобным для практического применения является метод мультипликативной свертки, когда результирующий показатель качества процесса образуется из произведения (муль­типликативной свертки) частных показателей качества работы подсистем большой системы.

Исходя из того что ЗУР содержит опреде­ленную совокупность агрегатов, блоков элек­тронной аппаратуры, специальные вычисли­тельные комплексы и алгоритмы управления основными агрегатами и аппаратурой, оценка качества совокупной работы должна обеспе­чивать интегральную оценку функциональ­ных свойств изделия. Некорректно считать, что если в конкретном пуске отказал один из агрегатов (блоков аппаратуры), то качество ра­боты всей совокупности устройств и агрегатов неудовлетворительное.

Ввиду сложности изделий нового поко­ления показатель КОИ должен всегда учиты­вать объем успешно выполненных задач каж­дым из агрегатов (блоков аппаратуры).

Также в выбранном показателе должен учитываться накопленный положительный опыт по отработке важнейших автономных элементов (блоков аппаратуры, агрегатов, ПО) изделия, вы­полненных на предыдущих этапах работ.

Важно учесть и то, что в ряде летных экспериментов условия применения изделия отличаются от запланированных. Строгое вы­полнение условий экспериментов является важнейшим требованием проведения конструк­торских испытаний. Если же условия, вызван­ные внешними причинами, не позволили всему изделию или отдельным устройствам изделия осуществить решение задачи, то этот факт дол­жен быть обязательно учтен при оценке каче­ства выполненной текущей работы. Принцип коллективной ответственности категорически неприемлем для интегральной оценки.

Неправильно приписывать устройству, которое не удалось проверить в работе не по его вине, максимально высокое качество вы­полнения задачи. Правильно считать, что были возможны различные исходы, однако если име­ется положительная предыстория работы рас­сматриваемого блока, то нельзя не учитывать этого факта.

Анализ вышеперечисленных требований к показателю оценки эффективности выполне­ния экспериментальных пусков на этапе кон­структорских испытаний позволяет сделать следующие выводы:

• дискретный критерий УП (U = 1, если цель поражена, и U = 0 - в противном случае) на этапе конструкторских испытаний изделий не только не имеет практической ценности из- за отсутствия связи с интегральным качеством ракеты, но и повлечет большие ресурсные за­траты при его реализации (выше приведены данные по необходимому количеству пусков, которое не вписывается в разумные объемы);
• использование вероятностных показа­телей не может быть признано целесообраз­ным ввиду того, что для оценки вероятностей тех или иных событий требуется накопление статистики испытаний, что также связано с большим количеством натурных работ. Каждая из работ для накопления статистики должна проводиться в одинаковой совокупности ус­ловий, что практически невыполнимо;
• интегральный показатель КОИ на эта­пе конструкторских испытаний должен быть чувствительным как к итоговому результа­ту выполнения задачи, так и к условиям осуществления пуска, в том числе учитывать не­возможность выполнения итоговой задачи. При этом, если удается воспроизвести на ве­рифицированной математической модели ре­зультат по полученным данным и довести его до завершающей стадии (до встречи ракеты с целью), а также оценить получаемую вероят­ность поражения цели, то пуск можно считать успешным, что должно быть отражено на со­ответствующих частных показателях качества работы устройств и агрегатов.

Ввиду того что готовая методика оценки результативности работы бортовой аппарату­ры и агрегатов изделия в условиях жестких ограничений на количество пусков на этапе конструкторских испытаний отсутствовала, предложен подход, позволяющий преодолеть указанную проблему.

В результате анализа требований к по­казателю КОИ удалось получить эмпиричес­кое выражение для оценки показателя успеш­ности U испытательного пуска изделия к-го типа, отвечающее требованиям, изложенным ранее:

где I_k - количество агрегатов (блоков аппара­туры) ЗУР к-го типа, которые обладают функ­циональной автономностью и являются опре­деляющими в последовательности операций для выполнения основной задачи в пуске;

n_i - количество зачетных проверок i-го блока (агрегата) ЗУР в летных экспериментах, в которых достоверно подтверждено, что этот блок (агрегат) выполнил свою задачу;

α_i - индикатор возможной аварии или не­исправности i-го блока (агрегата): если ава­рия (неисправность) доказана посредством объективных данных телеметрии или средств внешнетраекторных измерений, то α_i = 1, если нет, то α_i = 0;

β_i - индикатор качества выполнения зада­чи i-м блоком (агрегатом): если задача выпол­нена и это доказано, то β_i = 1, если не выполнена и это доказано, то β_i = 0, а если задача не могла быть выполнена по независящим обстоятельствам и из-за этого проверить ка­чество работы блока в конкретном пуске не удалось, то β_i = 0,5, или β_i > 0,5, если блок (агрегат) с высокой долей вероятности мог бы выполнить задачу, так как делал это не один раз в предыдущих пусках.

Коэффициенты α_i и β_i в определенном смысле зависимы, однако каждый из них от­ражает особенности полученной информации из летного эксперимента, поэтому эти показатели-индикаторы должны оцениваться неза­висимо экспертным путем на основе данных натурных экспериментов.

Нетрудно видеть, что приведенное вы­ражение обладает следующими свойствами.

Показатель U принимает значения в диа­пазоне от 0 до 1, причем 0 - значение абсолют­ной неуспешности - нулевого качества отра­ботки изделия, когда достоверно установлена авария абсолютно всех блоков и агрегатов раке­ты (чего быть не может в принципе), а значение 1 - при достоверно установленном выполнении задачи пуска, т. е. при эффективном выполне­нии всеми блоками и агрегатами своих функций и получении видимого результата - поражения цели в конкретных условиях эксперимента. В этом крайнем случае оценка U полностью соот­ветствует значению показателя УП (UP).

Показатель U чувствителен к предысто­рии процесса испытаний: чем больше полу­чено зачетных проверок качества работы каж­дого из блоков UP (n_i), тем меньше влияние единичной аварийной ситуации с указанным блоком (агрегатом) на интегральный показа­тель U. Учет этого фактора очень важен для конструкторских испытаний, так как авария блока может происходить по причине произ­водственного дефекта, надежностного отка­за и других факторов, которые напрямую не изменяют оценки правильности принятого конструкторского решения. Если количество зачетных испытаний рассматриваемого i-го блока мало на протяжении определенного пе­риода испытаний, то очередная аварийная си­туация с этим блоком будет свидетельствовать именно о конструктивном дефекте, требующем углубленного анализа и доработки конструк­ции блока (агрегата) или соответствующего ПО. В этом случае вклад аварийной ситуации в интегральный показатель будет осязаемым.

Показатель U чувствителен к первопри­чине неудачи: если i-й блок в анализируемом пуске отработал правильно и это достоверно установлено, то соответствующий коэффици­ент в итоговом произведении сомножителей равен 1 независимо от количества полученных зачетных результатов по указанному блоку до этого момента. В случае если рассматривае­мый блок (агрегат) не смог выполнить зада­чу по независящим причинам, но однозначно спрогнозировать результат в случае наличия возможности работы сложно, то вклад в коэф­фициент итогового произведения будет отли­чен от единицы. Он будет зависеть от количе­ства зачетных результатов, полученных ранее. И это вполне логично: если количество зачет­ных результатов велико, то, значит, нет осно­ваний подозревать, что данный блок (агрегат) не выполнил бы задачу и в этот раз. Следует отметить, что роль субъективных факторов при проведении указанных оценок нельзя исклю­чить. Но, как показала практика, оценки U, по­лученные разными специалистами, отличают­ся не сильно. С ростом n_i эти оценки сходятся.

Для некоторых блоков аппаратуры (ве­ток алгоритмов) проверить работу в конкрет­ном пуске вообще не представляется возмож­ным. Эта ситуация характерна для случаев, когда условия для работы указанного блока не сформировались. Для таких ситуаций уместно принять следующие значения коэффициентов: α_i= 0, β_i= 1.

В качестве критериев успешности этапа конструкторских испытаний с использованием показателя U целесообразны следующие:

• U > 0,95 - пуск успешный;
• U ≤ 0,7 - пуск неуспешный (для за­вершающего этапа конструкторских испы­таний по опыту необходимо поднять планку критерия успешности, например, до уровня U* = 0,85);
• 0,7 < U < 0,95 - пуск в целом успешный с показателем успешности U (для завершаю­щего этапа конструкторских испытаний следу­ет ужесточить критерий успешности в целом: 0,85 < U < 0,95).

Значение порога неуспешности, равное 0,7, определяется тем, что к этапу летных кон­структорских испытаний часть блоков аппара­туры, агрегатов и ПО отработана и меньших значений получать нельзя, в противном случае необходимо пересматривать результаты назем­ной конструкторской отработки и автономных летных испытаний.

Для верификации методики приведем пример 4.

Пример 4. Пусть I_k = 15. Предположим, что испытания находятся на начальной ста­дии, когда количество зачетных пусков мало. Для определенности примем следующие зна­чения параметров по каждому из 15 блоков БА и агрегатов:

Показатель α, несмотря на то что он дол­жен принимать значение 0 или 1, в данном случае может принять 0,1, что будет означать ненулевую вероятность аварийной работы каждого из блоков аппаратуры. Показатель β = 0,5 означает неопределенность качества работы блоков (агрегатов) в полете, несмотря на то что в процессе наземной отработки ука­занных блоков и агрегатов качество работы подтверждено методами моделирования (ма­тематического или полунатурного).

После подстановки данных в основную расчетную формулу получим U = 0,182, что свидетельствует о том, что уровень отработки элементов конструкции (блоков, агрегатов) из­делий слишком мал. Зачетность относительно готовности к завершающему этапу испытаний далека от требуемой. Конструкторские испы­тания должны продолжаться.

После проведения отработки на этапе ав­тономных летных испытаний значения параме­тров могут принять лучшие значения. Примем следующие значения параметров:

Это означает, что количество зачетных проверок аппаратуры и агрегатов возросло, ава­рийность ряда блоков и агрегатов существенно снизилась, а качество выполнения задач рядом блоков (агрегатов) достигло требуемого.

После подстановки данных в основную расчетную формулу получим U = 0,749, что свидетельствует о том, что уровень отработ­ки элементов конструкции (блоков, агрегатов, ПО) изделий значительно повысился. Зачетность относительно готовности к завершаю­щему этапу конструкторских испытаний при­близилась к требуемой.

На основном этапе II конструкторских испытаний могут быть получены следующие данные по отдельным блокам аппаратуры:

Это означает, что количество зачетных проверок большинства блоков аппаратуры и агрегатов еще больше возросло, аварийность ряда блоков и агрегатов продолжала снижаться, а качество выполнения задач большинством блоков (агрегатов) достигло требуемого. Од­нако неопределенность по блокам, связанным с работой на конечном этапе (этапе встречи с целью), все еще сохраняется.

После подстановки данных в основную расчетную формулу получим U = 0,872, что свидетельствует о том, что уровень отработки элементов конструкции (блоков, агрегатов) изделий вплотную приблизился к требуемому.

Наконец на завершающем этапе кон­структорских испытаний может быть полу­чена следующая совокупность результатов по отдельным блокам (агрегатам):

Это означает, что количество зачетных проверок аппаратуры и агрегатов еще больше возросло, аварийность всех блоков и агрегатов практически исключена, а качество выполне­ния задач подавляющим большинством блоков (агрегатов) достигло требуемого.

После подстановки данных в основную расчетную формулу получим U = 0,977, что свидетельствует о том, что уровень отработ­ки элементов конструкции (блоков, агрегатов, ПО) изделий соответствует требуемому. За- четность с значением показателя 0,977, значит изделие готово к сдаче заказчику.

Приведенные в примере 4 данные ус­ловны и использованы исключительно для иллюстрации связи интегрального показателя успешности с качеством и аварийностью ис­пытываемых блоков и агрегатов изделий.

Требования к интегральному показателю успешности пусков этапа конструкторских ис­пытаний, сформулированные в предыдущем разделе, выполнены. Предложенный метод оценки указанного интегрального показателя чувствителен именно к тем свойствам аппа­ратуры и агрегатов ракеты, которые и оцени­ваются на этапе конструкторских испытаний.

Таким образом, на основе проведенного анализа следует вывод о том, что для оценки успешности пусков изделий на этапе конструк­торских испытаний целесообразно пользовать­ся предложенным подходом. Иных вариантов оценки результатов экспериментальных работ, обеспечивающих выполнение сформулирован­ных ранее требований, в доступных источни­ках не найдено.

Представленная методика апробиро­вана при отработке нескольких изделий ра­кетной техники нового поколения и показала достаточную чувствительность в плане оцен­ки результатов каждого пуска и динамики успешности работ в целом. На рис. 4 показан примерный вид сглаженной зависимости (18) показателя КОИ от времени и этапов проведе­ния испытаний.

Для сравнения на рис. 5 показаны дис­кретные оценки успешности, приводимые структурами заказчика. Линейчатые оценки показывают результат UP= 1, остальные ре­зультаты равны нулю. Причем такие оценки учитывают только конечный результат неза­висимо от того, по какой причине он получен. А таких причин при испытаниях сложной ра­кетной техники очень много: проблемы на­земной составляющей зенитного комплекса, мишенной обстановки, качества бортового оборудования и сборки, человеческий фактор на испытаниях и т. п.

Сравнение графиков на рис. 4 и 5 свиде­тельствует о наглядности оценки КОИ и пол­ном отсутствии таковой при оценке по пока­зателю УП.

Если принять во внимание ранее полу­ченные выражения и оценки (1)-(4), а также неравенство (11), становится очевидным вы­вод о том, что при существенных ограниче­ниях выделенного на испытания времени T₀ основной целью испытаний будет являться не столько получение конкретного конечного результата в сжатые сроки, сколько проверка всех возможных ситуаций функционирования ветвящихся алгоритмов. Указанные проверки невозможно провести в натурных работах по причинам множества ограничений. При этом единственным инструментом для решения ука­занных задач является имитационное модели­рование на верифицированных математиче­ских моделях.

Таким образом, основной целью натур­ных работ при малом располагаемом времени на испытания должно быть получение в первую очередь данных для верификации моде­лей объектов с последующими значительными объемами вычислений по выявлению ошибок и неточностей программного исполняемого кода. Методы проведения верификации на имитаци­онных моделях приведены в работе [5].

Заключение

Представленные подходы по способам оцен­ки результатов испытаний ориентированы прежде всего на заказчика продукции воен­ного назначения и научно-исследовательские организации Минобороны для объяснения и учета закономерностей создания современ­ной техники при оценке деятельности раз­рабатывающих предприятий ОПК. Прямолинейные подходы к оценке этой деятельности, не учитывающие особенности и ограничения при проведении испытаний техники нового поколения, наносят вред не только экономи­ке данных предприятий из-за многочислен­ных несправедливых штрафов и финансовых вычетов за затягивание сроков, но и самому процессу создания отечественной военной техники и вооружения, которые по-прежнему занимают лидирующие позиции в мире.

Научиться понимать проблемы друг дру­га, наладить тесный профессиональный кон­такт заказчика и разработчика, уйти от не­обоснованного вмешательства в процессы создания новой техники - вот тот путь, кото­рый позволит предприятиям ОПК не только оставаться на плаву в любых ситуациях, но и по-прежнему быть лидерами мирового рынка вооружений.