1. Процесс сертификации программных средств

Разработка программных средств (ПС) (программных продуктов) в современном мире превратилась в одну из важнейших индустрий. И это не удивительно. В связи с автоматизацией промышленных отраслей и бизнес-процессов спрос на специализированные программные средства постоянно растет, а вместе с тем растут и требования предъявляемые к ним. Низкое качество программ может привести к очевидным нежелательным результатам. Увеличение номенклатуры программных средств, и их разнообразие порой затрудняют выбор программного продукта с наилучшим качеством среди однотипных программ. Поэтому явным преимуществом, выделяющим программный продукт среди других с той же областью применения, является наличие сертификата соответствия, подтверждающего качество программных средств.

Сертификация проводится для подтверждения соответствия программного продукта государственным стандартам в области информационных технологий (набор стандартов, на соответствие которым будет проверяться ПС, согласуется с заказчиком), требованиям технических условий, технического задания. Список нормативных документов, на соответствие которым проверялись ПС, приводится в сертификате.

Процесс сертификации программного обеспечения включает в себя следующие этапы:

1. подача заказчиком заявки на сертификацию;

2. принятие решения по заявке на сертификацию, в том числе назначение экспертов на проведение основных работ по сертификации из числа экспертов органа по сертификации;

3. оформление договора на проведение работ по сертификации;

4. разработка методики проведения сертификационных испытаний ПС и согласование этой методики с заказчиком;

5. проведение сертификационных испытаний ПС;

6. принятие решения о выдаче Сертификата соответствия либо об отказе в выдаче Сертификата соответствия;

7. оформление Сертификата соответствия.

Сертификационные испытания ПС осуществляется в два этапа:

1. Технологические испытания. Проводятся с использованием современных методов и средств по формализованным правилам, удостоверяющим соответствие реальных количественных и качественных показателей тем, которые зафиксированы в НТД или программной документации;

2. Оценка, проводимая экспертами.

В ходе испытаний выполняется:

1. Идентификация объекта испытаний путем проверки характеристик идентификации программного средства (полное название ПС, версия и дата выпуска ПС, сведения о разработчике ПС, сведения о входящих в состав компонентах, основные выполняемые функции, состав программной документации);

2. Инсталляция путем установки программного продукта на компьютеры, на которые до этого данный программный продукт не был установлен;

3. Экспертиза программной документации на соответствие требованиям Государственных стандартов ГОСТ Р ИСО/МЭК 12119-2000 (п. 3.2), ГОСТ Р ИСО 9127-94 (п.п. 5, 6.1, 6.3-6.5);

4. Проверка и оценка качества сертифицируемого программного продукта в соответствии с требованиями нормативных документов (список документов определяется в процессе разработки методики), проверка программного продукта на соответствие выполняемых функций по руководству пользователя и требованиям технического задания.

Добровольная сертификация программной продукции проводится по инициативе ее изготовителя с целью рекламы, повышения конкурентоспособности, обеспечения продвижения ее на отечественный рынок.

Анализ сертификационных программных средств показал, что процесс сертификации способствовал созданию цивилизованного рынка качественной программной продукции.

2. Документирование процессов и результатов сертификации программных средств

программный обеспечение сертификат оформление

Основной целью сертификации программных средств, их систем качества и документирования, обеспечивающих жизненный цикл, является контроль и удостоверение качества технологий и продукции, гарантирование их высоких потребительских свойств. Задача состоит в повышении эффективности затрат в сфере создания и применения конечного продукта, а также улучшение объективности оценок его характеристик и конкурентоспособности. Формальной целью сертификации является подготовка и принятие решения о целесообразности выдачи документа - сертификата соответствия с учетом следующих факторов:

- полноты, точности и достоверности исходного технического задания и спецификаций требований, представленных в документации на ПС, а также на технологию обеспечения его жизненного цикла;

- достоверности и точности измерения и обобщения результатов сертификационных испытаний и получения адекватных характеристик качества конечных продуктов, документации и/или технологических процессов их создания;

- методологии и качества интерпретации данных об объекте испытаний и/или технологии с учетом достоверности оценок, квалификации и объективности испытателей, заказчиков и пользователей.

В международных стандартах сертификация соответствия определена как действие третьей - независимой стороны, доказывающее, что обеспечивается необходимая уверенность в том, что должным образом идентифицированная продукция, процесс или услуга соответствует конкретным стандартам и/или другим нормативным документам. В понятие нормативные документы включены документы, содержащие правила, общие принципы или характеристики, касающиеся различных видов деятельности или их результатов, стандарты, технические условия, инструкции и регламенты по применению конкретной продукции или технологии.

Результатом положительных испытаний является сертификат соответствия документ, изданный по правилам Системы сертификации, удостоверяющий, что обеспечивается необходимая уверенность в том, что должным образом идентифицированная продукция, процесс или услуга соответствует конкретным стандартам и/или другим нормативным документам. Срок действия сертификата обычно ограничен либо по времени (например, 3 года), либо до проведения достаточно значительной модификации продукта или процесса. Сертификат вступает в действие с момента его регистрации в государственном или ведомственном реестре.

Специалисты третьей стороны имеют право на расширение условий испытаний в пределах требований нормативной документации, при которых должно обеспечиваться заданное качество результатов применения и документации на ПС. При этом в качестве первой стороны в процессах сертификации выступают разработчики или поставщики ПС и их компонентов, а второй стороной являются заказчики, потребители или пользователи. Одна из этих двух сторон может выступать инициатором заявителем на сертификационные испытания.

Для удостоверения качества конечного продукта программного средства, его компонентов и документов, следует сертифицировать технологические процессы, поддерживающие их жизненный цикл. Поэтому далее рассматриваются совместно две задачи сертификации конечных объектов - программных продуктов, а также технологий и систем качества, обеспечивающих их создание и совершенствование. В ряде случаев сертификат на технологию и систему качества предприятия может удовлетворить потребителя и заменить в контракте его требования наличия сертификата на продукцию. При анализе и организации процессов сертификационных испытаний технологий и/или объектов ПС следует учитывать ряд базовых компонентов методологии сертификации, подлежащих рассмотрению и утверждению перед испытаниями конкретного проекта:

- цели сертификации - правовые, экономические, формальные;

- исходные данные и документы, необходимые для проведения сертификации - стандарты, нормативные и эксплуатационные документы, их структура и содержание;

- характеристики и классификация объектов и/или процессов испытаний и сертификации, а также требуемые значения характеристик и атрибутов качества;

- ресурсы, необходимые для проведения испытаний - финансовые, кадры специалистов, аппаратурная оснащенность, нормативные и программно-инструментальные средства.

В зависимости от области применения системы, от назначения и класса ПС, их сертификация может быть обязательной или добровольной. Первоначальные затраты на их проведение должны нести инициаторы испытаний: либо заказчик и конкретные потребители ПС. либо его разработчики и поставщики. Соответственно меняются экономические и юридические механизмы их взаимодействия, распределения ответственности за дефекты и дополнительная прибыль за повышение качества сертифицированной продукции или технологии. Распределение ответственности за ущерб - риск у пользователей при использовании дефектной продукции, имеющей сертификат, рекомендуется устанавливать в договорах на ее поставку и на сертификационные испытания.

В исходных нормативных документах и требованиях должны быть сосредоточены все функциональные и эксплуатационные характеристики, обеспечивающие заказчику и пользователям возможность корректного применения сертифицированного объекта и/или технологического процесса во всем многообразии его функций и характеристик качества. для особенно важной продукции, например, программных средств по государственным заказам для оборонной техники, результаты положительной сертификации системы качества могут использоваться заказчиком как основание для выдачи лицензии на производство и поставку этой продукции. Такая лицензия дает преимущество соответствующему поставщику ПС при конкурсах на производство определенной продукции и при заключении контракта на ее поставку.

Сертификация систем качества предприятия или проекта проводится для оценки достоинств потенциального поставщика, при наличии предложения от него об установлении договорных отношений с заказчиком на проектирование или производство ПС. Кроме того, в рамках договорных отношений она проводится, чтобы установить, что система качества и документация поставщика соответствует установленным требованиям и применяется полностью, а также для внутренней оценки поставщиком собственной системы качества предприятия по отношению к стандартам. Испытания для сертификации проводятся в проблемно-ориентированных, технически компетентных, испытательных лабораториях, аккредитованных на право проведения тех испытаний, которые предусмотрены в ее нормативных документах. Такие проверки могут проводиться по графику или вследствие важных изменений системы качества предприятия, процессов ЖЦ, документации и качества продукции, а также после проведения корректирующих действий. Проведение сертификации систем качества предприятий обычно планируется и осуществляется для целей:

- определения соответствия или несоответствия технологии и компонентов системы качества и документации установленным требованиям стандартов;

- определения эффективности применяемой системы качества предприятия с точки зрения соответствия поставленным целям по обеспечению качества продукции и документации;

- выявления слабых мест в технологии и системе качества предприятия, в наибольшей степени отрицательно влияющих на качество продукции и документации;

- обеспечения возможности проверяемому предприятию улучшить свою систему качества и документации;

- предотвращения и сокращения рекламаций за недостаточное качество и/или дефектную продукцию и документацию.

Сертификационные испытания являются наиболее формализованным и регламентированным этапом тестирования, как объектов - программных продуктов, так и процессов их создания, поддерживаемых значительным числом документов. При сертификации обычно руководствуются следующими адаптированными исходными документами:

- действующими международными и государственными стандартами на проектирование и испытания комплексов программ, на жизненный цикл ПС, системы обеспечения и характеристики их качества, а также на технологическую и эксплуатационную документацию;

- утвержденным заказчиком и согласованным с разработчиком техническим заданием и/или спецификацией требований, утвержденным составом комплекта эксплуатационной документации на ПС и его компоненты, а также на систему обеспечения их качества;

- Программой сертификационных испытаний по всем требованиям технического задания, спецификаций и положениям эксплуатационной документации;

- методиками испытаний по каждому разделу требований технического задания и документации.

Подготовка регламентированной документации и такие испытания оправданы, когда необходимо длительное развитие и модификация крупномасштабных комплексов программ с гарантией малой вероятности проявления дефектов и ошибок.

Таким образом, обычный процесс сопровождения ПС дополняется соответствующей системой последовательных официальных проверок при сертификации качества. При изменениях программ необходимо подтверждение имеющегося сертификата и проведение некоторого минимума проверок, удостоверяющих корректность выполненных изменений. При этом используется система официальных уведомлений пользователей о проведенных изменениях, извещений об изменениях и дополнительных контрольных испытаниях, удостоверяющих их корректность. Ресурсы для сертификации программных средств, документации и систем качества предприятия должны выделяться в зависимости от характеристик испытываемого продукта или процесса. Определяющими ресурсами сертификации обычно являются: возможная трудоемкость и длительность испытаний, совокупная численность и структура коллектива специалистов-сертификаторов, а также их квалификация и подготовленность к коллективной проверке конкретного типа программного продукта, его компонентов и документов или системы качества предприятия.

Сертификация состоит из ряда организационных процессов, составляющих Систему сертификации, которые поддерживаются регламентированными процедурами и документами и должны выполняться квалифицированными, аттестованными экспертами - инспекторами. Перечисленные ниже процессы и документы ориентированы на крупномасштабные проекты, и их состав может сокращаться по согласованию между разработчиками, заказчиками и сертификаторами в более простых случаях. Процесс сертификации программных средств, документации и систем качества предприятия включает:

- анализ и выбор разработчиком или заказчиком (заявителем), компетентных в данной области органа и аттестованной лаборатории для выполнения сертификационных испытаний;

- подачу заявителем заявки на испытания в орган сертификации и принятие сертификаторами решения по заявке, выбор лаборатории и схемы сертификации, заключение договора на сертификацию;

- идентификацию требований к системе качества предприятия и/или к версии программного продукта и документации, подлежащих испытаниям;

- выполнение сертификационных испытаний системы качества предприятия и/или версии программного продукта и документации сертификационной лабораторией;

- анализ полученных результатов и принятие решения лабораторией и/или органом сертификации о возможности выдачи заявителю сертификата соответствия;

- выдачу органом сертификации заявителю - сертификата и лицензии на применение знака соответствия и на выпуск сертифицированной продукции -версий программного продукта и документов;

- осуществление инспекционного контроля органом сертификации системы качества предприятия и/или продукции;

- проведение заявителем корректирующих мероприятий при нарушении соответствия процессов системы качества и/или продукции установленным требованиям и при неправильном применении знака соответствия.

Клиент-заявитель принимает окончательные решения, какие компоненты системы качества, участки и виды организационной и технической деятельности подлежат проверке в заданный интервал времени. Заявитель должен создать условия и представить документы для обеспечения процессов проверок. Эти исходные документы, должны отражать технологию обеспечения жизненного цикла, качество и документацию программного продукта, поставляемую для сертификации. Заявитель вправе направить заявку в любой орган по сертификации, имеющий лицензию на право проведения работ по сертификации данной продукции и предложить схему сертификации из числа установленных в соответствующих правилах сертификации продукции и с учетом конкретных условий их применения. Он может представить в орган по сертификации протоколы испытаний, проведенных при разработке и постановке продукции на производство, документы об испытаниях, выполненных сторонними испытательными лабораториями и другие документы, свидетельствующие о соответствии технологии или продукции и документации установленным требованиям. На основе анализа представленных с заявкой документально подтвержденных доказательств соответствия его продукции установленным требованиям, орган по сертификации может принять решение о сокращении объема испытаний или о выдаче сертификата.

Испытания проводятся испытательными лабораториями, аккредитованными на проведение только тех испытаний, которые предусмотрены в их нормативных документах.

При невозможности проведения испытаний на испытательной базе аккредитованной испытательной лаборатории испытания могут проводиться персоналом аккредитованной испытательной лаборатории у изготовителя и (или) потребителя данной продукции с использованием собственных средств испытаний испытательной лаборатории или имеющихся у изготовителя средств испытаний. Для обоснования частоты проведения испытаний, нужно принимать во внимание существенные изменения в управлении, организации, политике или технологии, которые могли бы оказывать влияние на качество, а также на результаты предыдущей проверки.

При проверке ответственного руководства должно быть определено наличие у предприятия или проекта, документально оформленных: политики, целей и обязательств в области качества, а также степень понимания этой политики, ее практическое осуществление и поддержание в рабочем состоянии на всех уровнях организации должно быть установлено наличие на предприятии представителя руководства, который независимо от других обязанностей имеет полномочия и несет ответственность за постоянное выполнение требований стандартов и нормативных документов системы качества технологии предприятия.

Проверки должны включать определение:

- наличия и полноты технологической документации и соблюдения ее требований на практике;

- состояния средств технологического оснащения и наличия системы их технического обслуживания;

- наличия и эффективности системы контроля и испытаний;

- состояния средств измерений и испытаний;

- наличие системы выявления и устранения выявленных недостатков продукции или технологии.

После получения и проверки комплектности и качества документации специалистами испытательной лаборатории следует провести экспертизу степени реального применения системы качества технологии на предприятии. Испытания начинаются с составления Программы проверки системы качества, которая должна служить рабочим планом проведения последующих работ.

Методики проверок систем качества должны быть обеспечены необходимыми ресурсами для выполнения Программ испытаний, методиками планирования и разработки частных процедур проверок. Методики должны содержать: объекты и цели испытаний; оцениваемые характеристики качества; условия и порядок испытаний; методы обработки, анализа и оценки результатов испытаний; материально-техническое обеспечение испытаний и отчетность. должны быть разработаны методики контроля за действиями по исправлению дефектов, если в службу управления проверок поступит такой запрос. Отчет о проведении испытаний должен содержать сведения о видах испытаний и их результатах для отдельных структурных элементов ПС и документов или системы качества в целом с подробным описанием полученных результатов.

Заключение по результатам сертификационных испытаний разрабатывается экспертами и содержит обобщенные сведения о результатах испытаний и обоснование целесообразности выдачи сертификата. Ориентировочный состав результирующих документов, сертификационных испытаний системы качества предприятия и/или программного продукта. В случае получения отрицательных результатов сертификационных испытаний принимается решение об отказе в выдаче сертификата соответствия. Кроме того, предприятию-заявителю могут быть направлены предложения по устранению предполагаемых причин отрицательных результатов испытаний. После доработки сертифицируемой продукции или системы качества испытания могут быть повторены. Результаты анализа состояния технологии или продукции оформляются актом, в котором даются оценки по всем позициям Программы испытаний и содержатся выводы, включающие общую оценку состояния производства, необходимость корректирующих мероприятий.

За сертифицированным программным продуктом и документацией в процессе их эксплуатации в течение всего срока действия сертификата соответствия осуществляется инспекционный контроль. Контроль проводится в форме периодических и внеплановых проверок соблюдения на предприятии требований к качеству сертифицированной технологии и продукции. По результатам инспекционного контроля орган по сертификации может приостановить или отменить действие сертификата и аннулировать лицензию на право применения знака соответствия в случае несоответствия продукции или системы качества требованиям нормативных документов, контролируемых при сертификации. Решение о приостановлении действия сертификата и лицензии на право применения знака соответствия не принимается в том случае, если путем корректирующих мероприятий, согласованных с органом по сертификации, его выдавшим, заявитель может устранить обнаруженные причины несоответствия и подтвердить без повторных испытаний в аккредитованной лаборатории, соответствие продукции или процессов нормативным документам. Результаты инспекционного контроля оформляют актом, в котором дается оценка результатов испытаний и других проверок, делается вывод о возможности сохранения действия выданного сертификата.

Состав и содержание документации системы качества предприятия зависят от характеристик проектирования, разработки и модификации программных средств и документов, а также от требований к их качеству и особенностей технологической среды. Оцениваемыми при сертификации характеристиками системы качества являются наличия соответствующих документов и практическое выполнение требований международных стандартов на ЖЦ ПС и серии ISO 9000, а также должностных инструкций специалистами предприятия-разработчика. Клиент-заявитель должен подготовить и предъявить испытательной лаборатории согласованный между заказчиком и разработчиком и утвержденный комплект документов для проверки их достоверности, достаточности состава и качества изготовления в соответствии с нормативными документами. Ориентировочный комплект основных документов при сертификации ПС состоит из трех групп:

- базовые, нормативные документы систем качества в соответствии с номенклатурой и содержанием серии стандартов ISO 9000:2000, а также подготовленные разработчиками на их основе Программа, Руководство и инструкции, предъявляемые испытателям (экспертам) системы качества или продукции проверяемого предприятия;

- исходные документы, характеризующие конкретное предприятие или проект, а также жизненный цикл программного средства, подготавливаемые руководством предприятия или проекта для сертификации его качества);

- отчетные документы испытателей, отражающие результаты проверки (сертификации) системы качества предприятия, представляемые органу сертификации, заявителю и руководству проверяемого предприятия.

Предъявляемые на сертификацию программные продукты или системы качества предприятия должны представляться в комплекте соответствующей документацией. Перечень и приблизительное содержание групп этих документов ориентированы на общий случай проверки систем качества предприятий, обеспечивающих жизненный цикл крупномасштабных ПС. Комплект документов может сокращаться и адаптироваться по согласованию между заявителем, испытателем и руководством проверяемого предприятия в соответствии с характеристиками проектов программных средств. Некоторые документы могут объединяться в интегрированные отчеты с четкой ответственностью определенных специалистов за их выполнение. В результате должно оформляться соглашение между заказчиком и разработчиком-поставщиком о структуре и содержании документации, предъявляемой при сертификации.