7.2. Оценивание надежности функционирования
Оценивание надежности ПС включает измерение количественных субхарактеристик в использовании (табл.4.2): завершенности; устойчивости к дефектам; восстанавливаемости; доступности–готовности.
При этом предполагается, что в контракте, ТЗ или спецификации требований зафиксированы и утверждены определенные значения атрибутов стандартизованных субхарактеристик. Прямые и непосредственные измерения этих показателей проводятся при функционировании готового программного продукта для сопоставления с заданными требованиями и для оценивания степени соответствия этим требованиям.
Значения надежности коррелированны с субхарактеристикой корректность (п.7.1.2). Однако можно достигать высокой надежности функционирования программ при относительно невысокой их корректности за счет сокращения времени восстановления при отказах.
Кроме того, надежность ПС можно оценивать косвенно в процессе разработки по прогнозируемой плотности обнаружения скрытых дефектов и ошибок, а также по плотности выявляемых и устраняемых ошибок выходных результатов и взаимодействия с операционной системой в процессе тестирования комплекса программ. Степень покрытия тестами структуры функциональных компонентов и ПС в целом при отладке может служить ориентиром для оценивания и прогнозирования их потенциальной надежности. Распределение реальных длительностей и эффективности восстановления при ограниченных ресурсах для функционирования программ может рассматриваться как дополнительная полезная составляющая при оценивании надежности.
Для прямых количественных измерений атрибутов надежности необходимы инструментальные средства, встроенные в операционную систему или в соответствующие компоненты ПС. Эти средства должны в динамике реального функционирования ПС автоматически выбирать и регистрировать аномальные ситуации, дефекты и искажения вычислительного процесса, программ и данных, выявляемые аппаратным, программно-алгоритмическим контролем или пользователями. Накопление и систематизация проявлений дефектов при исполнении программ позволяет оценивать основные показатели надежности, помогает определять причины сбоев и отказов и подготавливать данные для улучшения надежности ПС.
Прямые экспериментальные методы оценивания интегральных характеристик надежности ПС – завершенности, устойчивости и готовности – в ряде случаев трудно реализовать при нормальных условиях функционирования сложных комплексов программ из–за больших значений требуемого времени наработки на отказ (сотни и тысячи часов). Сложность выявления и регистрации редких отказов, высокая стоимость экспериментов при длительном многосуточном функционировании сложных ПС приводят к тому, что на испытаниях получаются малые выборки зарегистрированных отказов и низка достоверность оценки показателей надежности.
При испытаниях надежности ПС в первую очередь обнаруживаются отказы – потери работоспособности. Для выявления фактора, вызвавшего отказ, и устранения его причины необходимо определить, каким компонентом информационной системы стимулирован данный отказ. Наиболее крупными источниками отказов являются частичные физические неисправности или сбои аппаратуры ЭВМ, а также дефекты и ошибки ПС. Стабильные неисправности аппаратуры диагностируются достаточно просто соответствующими аппаратными тестами.
Для повышения надежности ПС при высокой наработке на отказ необходима тщательная, систематическая работа специалистов, накапливающих, регистрирующих и анализирующих все ситуации отказов при функционировании комплекса программ. Эти специалисты должны также регистрировать все проведенные корректировки для прогнозирования причин появления возможных дополнительных источников отказов, вызванных дефектами корректировок.
При заключительных приемо–сдаточных и сертификационных испытаниях для достаточно достоверного определения надежности ПС организуются многочасовые и многосуточные прогоны функционирования комплекса программ в реальной или имитированной внешней среде в условиях широкого варьирования исходных данных с акцентом на критические ситуации проявления угроз надежности. Такие прогоны позволяют измерить достигнутые характеристики надежности и определить степень их соответствия требованиям ТЗ, а также закрепить их в технических условиях и документации на ПС.
Экспериментальное исследование характеристик сложных ПС позволило оценить темп обнаружения дефектов, при котором сложные комплексы программ передаются на регулярную эксплуатацию: 0,002–0,005 ошибок в день на человека, т.е. специалисты по испытаниям или пользователи в совокупности выявляют только около одной ошибки или дефекта каждые 2–3 месяца использования ПС.
Интенсивность обнаружения ошибок ниже 0,001 ошибок в день на человека, т.е. меньше одной ошибки в год на 3–4 специалистов, непосредственно выполняющих тестирование и эксплуатацию ПС, по–видимому, может служить эталоном высокой надежности для ПС обработки информации. Если функционирование программ происходит непрерывно, то эти показатели соответствуют очень высокой наработке на обнаружение дефекта или отказа порядка 5000–10000 часов и коэффициенту готовности выше 0,99.
Форсированные испытания для оценки надежности ПС значительно отличаются от традиционных методов испытаний аппаратуры. Форсирование испытаний осуществляется повышением интенсивности искажений исходных данных и расширением варьирования их значений, а также специальным увеличением интенсивности потоков информации и загрузки ПС выше нормальной. На надежности функционирования сложных критических ПС весьма существенно отражаются перегрузки по памяти и производительности при исполнении программ. Эти виды угроз стимулируют отказы, которые трудно выявляются при испытаниях в режимах нормальной загрузки.
Планирование форсированных испытаний должно предусматривать последующий пересчет полученных показателей надежности на условия нормального функционирования. Для этого необходимо оценивать надежность испытываемых программ в зависимости от интенсивности искажений данных или от характера перегрузки ЭВМ и способы корректного пересчета получаемых показателей на нормальные условия эксплуатации. При форсированных испытаниях целесообразно выделять следующие режимы тестирования:
при полном искажении, предельных и критических значениях ключевых параметров каждого типа внешней информации и воздействий пользователей;
при предельных и критических сочетаниях значений различных воздействующих параметров эксплуатации ПС;
при предельно больших и малых интенсивностях суммарного потока и каждого типа внешней информации;
при умышленных нарушениях пользователями определенных положений инструкций и рекомендаций эксплуатационной документации.
Как вид форсированных испытаний можно рассматривать тестирование и контроль результатов функционирования одних и тех же ПС при увеличении числа испытываемых экземпляров и нормальных исходных данных – бета–тестирование (п.5.4.3). На этапе опытной эксплуатации пользователями некоторого предварительного тиража ПС происходит естественное расширение вариантов исходных данных. Это позволяет увеличивать наборы тестов, и тем самым дает возможность оценивать наработки на отказ в сотни и тысячи часов.
Особым видом форсированных испытаний является целенаправленное тестирование эффективности средств оперативного контроля и восстановления программ, данных и вычислительного процесса для оценивания субхарактеристики восстанавливаемости. Для этого имитируются запланированные условия функционирования программ, при которых в наибольшей степени стимулируется срабатывание средств программного рестарта и оперативного автоматического восстановления работоспособности.
Для достижения особо высокой надежности функционирования ПС активно применяются различные методы программной защиты от сбоев и отказов программ – методы оперативного рестарта. Они позволяют замедлить рост затрат на разработку при повышении требований к их надежности. По экспертным оценкам для получения наработки на отказ в сотню часов затраты возрастают в среднем в 1,5 раза, а для наработки в тысячу часов – в 2 раза.
- Стандартизация и сертификация программного обеспечения
- © Уо «пгу», 2007Содержание введение
- Рабочая программа
- Рейтинговая оценка знаний
- Конспект лекций
- 1. Качество как экономическая категория и объект управления
- 1.1. Понятие качества. Предмет и задачи курса
- 1.2. Управление качеством как фактор успеха предприятия в конкурентной борьбе
- 1.3. Стандартизация в системе управления качеством
- 1.3.1. Система стандартизации
- 1.3.2. Категории нормативных документов
- 1.3.3. Уровни стандартизации
- 1.4. Механизм управления качеством
- 1.5. Стандарты исо серии 9000
- 1.5.1. Фундаментальные требования
- 1.5.2. Структура комплекса стандартов
- 1.5.3. Структура документов системы управления качеством
- 1.5.4. Как работает система управления качеством
- 1.6. Сертификация продукции, услуг и систем менеджмента качества
- 1.6.1. Основные предпосылки сертификации
- 1.6.2. Обязательная и добровольная сертификация
- 1.6.3. Национальная система сертификации
- 1.6.4. Схемы сертификации и условия их применения
- 1.6.5. Порядок проведения работ по сертификации
- Вопросы по теме
- 2. Жизненный цикл программнЫх средств
- 2.1. Понятие жизненного цикла
- 2.2. Базовый профиль жизненного цикла программных средств
- 2.3. Особенности стандартизации жизненного цикла программных средств
- 2.4. Методическая основа технологии жизненного цикла программных средств
- 2.5. Преимущества применения стандартов жизненного цикла
- 2.6. Структура профилей стандартов жизненного цикла программных средств
- 2.7. Стандартизация жизненного цикла программных средств
- 2.7.1. Стандарт iso/iec 12207
- 2.7.2. Стандарт iso 15504
- 2.8. Модель жизненного цикла программного продукта
- 2.8.1. Схема модели
- 2.8.2. Каскадная модель
- 2.8.3. Спиральная модель
- 2.8.4. Другие типы моделей
- Вопросы по теме
- 3. Основные понятия и характеристики качества программных средств
- 3.1. Основные факторы, определяющие качество программных средств
- 3.2. Стандарты, регламентирующие характеристики качества
- 3.3. Метрики характеристик качества программных средств
- 3.4. Особенности измерения и оценивания характеристик качества
- 3.5. Негативные факторы, влияющие на качество
- 3.6. Ресурсы, ограничивающие достижимые характеристики качества
- Вопросы по теме
- 4. Выбор мер и шкал характеристик качества программных средств
- 4.1. Принципы выбора характеристик качества
- 4.2. Выбор свойств и атрибутов качества функциональных возможностей
- 4.2.1. Функциональная пригодность
- 4.2.2. Корректность и надежность
- 4.2.3. Способность к взаимодействию
- 4.2.4. Защищенность
- 4.3. Выбор количественных атрибутов характеристик качества
- 4.3.1. Надежность
- 4.3.2. Эффективность
- 4.4. Выбор качественных атрибутов характеристик качества
- 4.4.1. Практичность
- 4.4.2. Сопровождаемость
- 4.4.3. Мобильность
- 4.4.4. Качество документации
- 4.5. Процессы выбора и установления характеристик и мер качества в проектах программных средств
- Вопросы по теме
- 5. Стандартизация оценивания технологических процессов жизненного цикла и характеристик качества программных средств
- 5.1. Оценивание уровня зрелости процессов жизненного цикла и обеспечения качества программных средств
- 5.2. Оценивание жизненного цикла программных средств по стандарту iso 15504
- 5.3. Оценивание качества готового программного продукта по стандарту iso 14598
- 5.4. Организация и средства для оценивания качества комплексов программ
- 5.4.1. Модель внешней среды
- 5.4.2. Испытания программного продукта
- 5.4.3. Альфа– и Бета–тестирование
- 5.4.4. Программная генерация тестов
- 5.4.5. Обработка результатов испытаний
- Вопросы по теме
- 6. Единая система программной документации
- 6.1. Общая характеристика еспд
- 6.2. Структура еспд
- 6.3. Гост 19.101. Виды программ и программных документов
- 6.4. Гост 19.102. Стадии разработки
- 6.5. Гост 19.103. Обозначение программ и программных документов
- 6.6. Гост 19.105. Общие требования к программным документам
- 6.7. Гост 19.104. Основные надписи
- 6.8. Гост 19.106. Требования к программным документам, выполненным печатным способом
- 6.9. Гост 19.201. Техническое задание. Требования к содержанию и оформлению
- 6.10. Гост 19.202. Спецификация. Требования к содержанию и оформлению
- 6.11. Гост 19.301. Программа и методика испытаний. Требования к содержанию, оформлению и контролю качества
- 6.11.1. Требования к содержанию
- 6.11.2. Показатели качества, определяемые на основе результатов анализа раздела «Требования к программе»
- 6.11.3. Показатели качества, определяемые на основе результатов анализа раздела «Требования к программной документации»
- 6.11.4. Показатели качества, определяемые на основе результатов анализа раздела «Средства и порядок испытаний»
- 6.11.5. Показатели качества, определяемые на основе результатов анализа раздела «Методы испытаний»
- 6.12. Гост 19.401. Текст программы. Требования к содержанию и оформлению
- 6.13. Гост 19.402. Описание программы
- 6.14. Гост 19.404. Пояснительная записка. Требования к содержанию и оформлению
- 6.15. Гост 19.502. Описание применения. Требования к содержанию и оформлению
- 6.16. Гост 19.503. Руководство системного программиста. Требования к содержанию и оформлению
- 6.17. Гост 19.504. Руководство программиста. Требования к содержанию и оформлению
- 6.18. Гост 19.505. Руководство оператора. Требования к содержанию и оформлению
- 6.19. Гост 19.508. Руководство по техническому обслуживанию. Требования к содержанию и оформлению
- Вопросы по теме
- 7. Оценивание характеристик качества программных средств
- 7.1. Оценивание функциональных возможностей
- 7.1.1. Функциональная пригодность
- 7.1.2. Корректность
- 7.1.3. Способность к взаимодействию
- 7.1.4. Защищенность
- 7.2. Оценивание надежности функционирования
- 7.3. Оценивание эффективности использования ресурсов эвм
- 7.4. Оценивание практичности
- 7.5. Оценивание сопровождаемости
- 7.6. Оценивание мобильности
- 7.7. Оценивание качества эксплуатационной и технологической документации
- 7.7.1. Документирование в процессах жизненного цикла
- 7.7.2. Технологическая документация
- 7.7.3. Эксплуатационная документация
- 7.8. Оценивание рисков в жизненном цикле
- 7.9. Интегральное оценивание характеристик качества
- Вопросы по теме
- 8. Сертификация программного обеспечения
- 8.1. Организация сертификации программных продуктов
- 8.2. Документирование процессов и результатов сертификации
- Вопросы по теме
- Практические занятия практическая работа № 1 выбор характеристик и мер качества программного средства по стандарту isO 9126
- План практического занятия
- Практическая работа № 2 разработка технического задания на создание программного средства
- План практического занятия
- Практическая работа № 3 разработка технологической документации на программное средство
- План практического занятия
- Практическая работа № 4 разработка эксплуатационной документации на программное средство
- План практического занятия
- Практическая работа № 5 Оценивание качества программного продукта по стандарту гост 28195
- Словарь основных терминов
- Список использованных источников
- Перечень основных международных стандартов в области обеспечения жизенного цикла и качества программных средств
- 211440 Г. Новополоцк, ул. Блохина, 29