5.4.5. Обработка результатов испытаний

Современные испытания качества сложных систем обработки информации позволяют получить большое количество данных. Достаточно полный их анализ представляет сложную методическую и техническую задачу. Поэтому обработка и оценивание результатов должны осуществляться иерархически и дифференцированно. При избытке контролируемых величин снижается общее быстродействие имитаторов и ПС в результате затрат времени на контроль и регистрацию. В каждом конкретном случае необходимо стремиться к компромиссу между полнотой промежуточных данных тестирования и удобством анализа обобщенных результатов.

Селекция результатов испытаний может основываться на стратегии контроля функционирования программ снизу вверх, т.е. от анализа исполнения отдельных операторов программы и далее до стохастических результатов функционирования ПС в динамике реального времени. При этом регистрируется избыточное количество данных, из которых затем должен отбираться необходимый для анализа минимум. Может использоваться стратегия сверху вниз, т.е. упорядоченное иерархическое выделение в первую очередь обобщенных результатов функционирования программ с последующим уточнением регистрируемых и анализируемых результатов вплоть до детального контроля исполнения отмеченных программных модулей и отдельных операторов. В этом случае регистрируются только те данные, которые необходимы для анализа в конкретном сеансе тестирования.

При обеих стратегиях необходимо иметь возможность управлять объемом в виде выделяемой и регистрируемой информации в зависимости от целей испытаний. Данные, получаемые и выделяемые в процессе испытаний характеристик ПС, можно разделить на следующие группы:

• данные, отражающие исходную тестовую информацию и выходные результаты испытаний;

• маршруты исполнения программных компонентов и их операторов при некоторых фиксированных тестовых данных;

• аномальные события, сбои, отказы и данные, характеризующиеся отклонением результатов тестирования от эталонов за допустимые пределы и ограничения;

• характеристики использования различных ресурсов ЭВМ.

Вызовы регистрирующих программ должны подчиняться определенной системе контроля динамического функционирования ПС при исходной гипотезе, что некоторые дефекты в программах и данных могут проявиться на любой стадии испытаний и/или применения комплекса программ. Однако количество вызовов регистрирующих программ и контроля промежуточных результатов, требующих нарушения целостности функционирования программ, следует ограничивать, учитывая допустимые расходы ресурсов времени на их реализацию.

Зарегистрированные и обработанные результаты испытаний должны использоваться для соответствия полученных значений характеристик ПС заданным требованиям. При выявлении их отклонения от требований заказчика должны разрабатываться изменения программ для устранения несоответствия. Для этого все этапы тестирования и испытаний ПС должны быть поддержаны системой конфигурационного управления версиями программных компонентов.

Средства накопления сообщений об отказах, ошибках, предложениях на изменения, выполненных корректировках и оцененных характеристиках качества версий являются основными для конфигурационного управления развитием и совершенствованием комплекса программ и содержанием базы данных испытаний. В этой БД должны собираться сведения, состоящие из следующих основных частей:

• данные об отказах, дефектах и ошибках, условиях их проявления и характеристиках обнаруживающих тестов, а также предложения на изменение программ, подлежащие анализу и выделению тех из них, для которых будут разрабатываться корректировки программ;

• разработанные изменения программ, отобранные группой конфигурационного управления для проведения корректировок в очередной версии ПС;

• характеристики, субхарактеристики и атрибуты качества базовых версий и набор изменений, выполненных в каждой из них;

• характеристики и параметры пользователей, которым переданы для использования соответствующие версии ПС и особенности среды эксплуатации у них.