3.5.2. Методика применения проблемно-ориентированной системы квалификационного тестирования и испытаний комплексов программ:

• выделение требований и характеристик, подлежащих проверке при испытаниях функциональных компонентов и ПС в целом, обеспечивающих контроль проектных решений;

• выявления причин сбоев и отказов функционирования компонентов и ПС в целом;

• определения реальных характеристик качества функционирования системы и комплекса программ;

• проверка соответствия функционирования ПС и системы требованиям спецификаций и технического задания;

• установления необходимой продолжительности и режимов испытаний для достаточной проверки выполнения требований технического задания и соответствия предъявленной документации;

• определение тестов и реализация процесса тестирования разработчиком: ввод тестовых наборов; генерация тестовых данных; ввод ожидаемых, эталонных результатов;

• выполнение участка тестируемой программы между контрольными точками, для которого вводимые данные могут быть отредактированы и включены в последующие тестовые сценарии;

• анализ и обработка тестовых результатов — использование возможности средства тестирования автоматически анализировать тестовые результаты: сравнение ожидаемых и реальных результатов; сравнение файлов; статистическую обработку результатов;

• анализ покрытия тестами объектного кода комплекса программ для обнаружения: операторов, которые не были выполнены; процедур, которые не были вызваны; переменных, к которым не были обращения;

• анализ производительности при исполнении комплекса программ: загрузки центрального процессора; загрузки памяти; обращения к специфицированным элементам данных или сегментам объектного кода; временные характеристики функционирования испытываемой программы.