3.4. Особенности измерения и оценивания характеристик качества

Для выбора характеристик качества ПС и достоверного сравнения их с требованиями, а также для сопоставления их значений между различными программными продуктами необходимы измерение и использование определенных мер и шкал. Стандартами рекомендуется, чтобы было предусмотрено измерение каждой характеристики качества ПС с точностью и определенностью, достаточной для выполнения сравнений с требованиями, и чтобы эта точность обеспечивалась при измерении. Следует предусматривать нормы допустимых ошибок измерения, вызванных инструментами и ошибками человека – эксперта. Меры, используемые для сравнений, должны быть утверждены, и иметь точность, достаточную для выполнения надежных сравнений. Для этого требуется, чтобы измерения были объективны и воспроизводимы.

Чтобы измерения были объективными, должна быть документирована и согласована процедура для присвоения числового значения, свойства или категории каждому атрибуту программного продукта. При эмпирических измерениях для получения данных должны использоваться наблюдения или одобренные вопросники с применением номинальной, интервальной или порядковой шкалы. Процедуры измерений должны давать в результате одинаковые меры с приемлемой устойчивостью, получаемые различными субъектами при выполнении одних и тех же измерений характеристик ПС в различных случаях.

Характеристики, субхарактеристики и атрибуты качества ПС с позиции возможности и точности их измерения можно разделить на три группы показателей, особенности которых следует уточнять при их выборе:

• категорийные – описательные, отражающие набор свойств и общие характеристики объекта – его функции, категории ответственности, защищенности и важности, которые могут быть представлены номинальной шкалой категорий–свойств;

• количественные – представляемые множеством упорядоченных числовых точек, отражающих непрерывные закономерности и описываемые интервальной или относительной шкалой, которые можно объективно измерить и численно сопоставить с требованиями;

• качественные – содержащие несколько упорядоченных или отдельных свойств – категорий, которые характеризуются порядковой или точечной шкалой набора категорий (есть – нет, хорошо – плохо), устанавливаются, выбираются и оцениваются в значительной степени субъективно и экспертно.

К первой группе относятся показатели качества, которые характеризуются наибольшим разнообразием значений – свойств программ и наборов данных – и охватывает весь спектр классов, назначений и функций современных ПС. Эти свойства можно сравнивать только в пределах однотипных ПС и трудно упорядочивать по принципу предпочтительности. Среди стандартизованных показателей качества к этой группе относится функциональная пригодность, являющаяся самой важной и доминирующей характеристикой любых ПС.

Ко второй группе стандартизованных показателей качества относятся достаточно достоверно и объективно измеряемые численные характеристики ПС. Значения этих характеристик обычно в наибольшей степени влияют на функциональную пригодность и метрики в использовании ПС. Поэтому выбор и обоснование их требуемых значений должно проводиться наиболее аккуратно и достоверно уже при системном проектировании ПС. Такими характеристиками являются надежность и эффективность комплексов программ.

Третью группу стандартизованных показателей качества ПС трудно полностью описать измеряемыми количественными значениями и их некоторые субхарактеристики имеют описательный качественный вид. В зависимости от функционального назначения ПС по согласованию с заказчиком можно определять экспертно степень необходимости этих свойств и бальные значения уровня реализации их атрибутов в ЖЦ конкретного ПС.

Например, не всегда может требоваться мобильность программ на новые операционные и аппаратные платформы, а также выбор и оценка соответствующих субхарактеристик, которые можно полностью исключать из метрик качества в использовании. В других случаях мобильность можно оценить категориями: отличная, хорошая, удовлетворительная или неудовлетворительная. Такие оценки могут проводиться экспертно на основе анализ возможной трудоемкости и длительности реализации процессов переноса комплекса программ на новую платформу.