8.1. Организация сертификации программных продуктов

Сертификация состоит из ряда организацион­ных процессов, составляющих систему серти­фикации. Эти процессы поддерживаются регла­ментированными процедурами и документами и должны выполняться квалифицированными, ат­тестованными экспертами – инспекторами. Для сертификации предприятия-разработчика и результатов его деятельности – программных продуктов, моделями СММI или профилями стандартов ISO рекомендуется определен­ная дисциплина, которая должна быть адаптиро­вана к конкретным характеристикам объектов и внешней среды ЖЦ ПС. Пере­численные ниже процессы и документы ориен­тированы на крупные проекты, и их состав мо­жет сокращаться по согласованию между разра­ботчиками, заказчиками и сертификаторами в более простых случаях.

Работы по сертификации начинаются с ак­кредитации органа или испытательной лаборато­рии, формирования и представления в Центральный орган по сертификации заявки и ком­плекта документов для принятия решения о целесообразности аккредитации. При положи­тельных результатах проверки оформляется и выдается аттестат аккредитации.

Положение об органе сертификации или лаборатории является основным документом, устанавливающим тематическую область аккредитации, юридический статус, функции, струк­туру, права и обязанности, методы, средства и организацию испытаний.

Паспорт сертифика­ционной лаборатории (центра) должен содер­жать сведения об оснащенности средствами вы­числительной техники, необходимыми для про­ведения испытаний, о персонале и кадровом составе, оснащенности инструментальными средствами проведения испытаний, обеспече­нии нормативными, техническими и методичес­кими документами, а также другими ресурсами, необходимыми для испытаний.

Руководство по качеству содержит изло­жение принципов, описание методов и про­цедур, связанных с выполнением основных функций и задач органа по сертификации или лаборатории, обеспечивающих качество прово­димых испытаний и доверие к результатам оце­нок, испытаний и экспертиз. Руководство по ка­честву, как правило, включает разделы:

• политика в области обеспечения качества проведения испытаний и экспертиз;

• оснащение центра актуальными методоло­гическими материалами и программно-инструментальными средствами испытаний;

• формализация требований к объектам ис­пытаний;

• политика в области технической оснащен­ности центра и повышения квалификации персонала;

• архивация и контроль сохранности доку­ментации результатов сертификации.

Заявитель для оценивания продукции или процесса, подлежащих сертификации, направ­ляет в орган по сертификации заявку по форме, принятой в системе сертификации. Орган по сертификации проводит работу по подготовке и организации сертификации продукции по заяв­ке. Эта работа включает в себя:

• выбор схемы сертификации с учетом специ­фики продукции (объем, технология, требо­вания нормативных документов и др.) и предложений разработчика;

• определение количества и порядка отбора образцов и компонентов, подлежащих ис­пытаниям, если это не указано в стандартах;

• выбор и определение аккредитованной ис­пытательной лаборатории, которая должна проводить испытания;

• подготовку проекта договора на выполне­ние работ.

Подготовительная часть работы по серти­фикации заканчивается выпуском решения по форме, принятой в системе сертификации. Ре­шение вместе с проектами договора на выпол­нение работ направляется заявителю. При ор­ганизации сертификационных испытаний осу­ществляется подбор и изучение действующих нормативных документов на продукцию, заяв­ленную к сертификации, методов ее испытаний и оценки результатов.

Заявитель принимает окончательные ре­шения, какие элементы системы качества, уча­стки и виды организационной и технической деятельности подлежат проверке при сертифика­ции в заданный интервал времени. Заявитель должен создать условия и представить докумен­ты для обеспечения процессов проверок. Он мо­жет представить в орган по сертификации про­токолы испытаний, проведенных при разработ­ке и постановке продукции на производство, документы об испытаниях, выполненных сто­ронними испытательными лабораториями и другие документы, свидетельствующие о соот­ветствии технологии или продукции уста­новленным требованиям. На основе анализа представленных с заявкой документально под­твержденных доказательств соответствия его продукции установленным требованиям, орган по сертификации может принять решение о со­кращении объема испытаний или о выдаче сертификата.

Испытания проводятся испытательными лабораториями, аккредитованными на проведе­ние только тех испытаний, которые предусмот­рены в их нормативных аккредитационных документах. При невозможности проведения испытаний на испытательной базе аккредитованной лаборатории, испытания могут прово­диться персоналом этой лаборатории у изгото­вителя или потребителя данной продукции с использованием собственных средств испытатель­ной лаборатории или имеющихся у поставщика средств испытаний.

Процесс сертификации программных продуктов и систем качества предприятия включает:

• анализ и выбор разработчиком или заказчи­ком (заявителем) компетентных в данной области органа и аттестованной лаборато­рии для выполнения сертификационных ис­пытаний;

• подачу заявителем заявки на испытания в орган сертификации и принятие сертифи­каторами решения по заявке, выбор схемы сертификации, заключение договора на сертификацию;

• идентификацию требований к системе ка­чества предприятия и/или к версии про­граммного продукта, подлежащих испыта­ниям;

• выполнение сертификационных испытаний системы качества предприятия или версии ПС сертификационной лабораторией;

• анализ полученных результатов и принятие решения лабораторией и/или органом сер­тификации о возможности выдачи заявите­лю сертификата соответствия;

• выдачу органом сертификации заявителю – сертификата и лицензии на применение знака соответствия и на выпуск сертифици­рованной продукции – версий програм­много продукта;

• осуществление инспекционного контроля органом сертификации сертифицирован­ной системы качества предприятия и/или продукции;

• проведение заявителем корректирующих ме­роприятий при нарушении соответствия про­цессов системы качества и/или продукции установленным требованиям и при непра­вильном применении знака соответствия.

При проверке ответственности руковод­ства разработчика за качество продукции долж­но быть определено наличие у предприятия или проекта, документально оформленных полити­ки, целей и обязательств в области качества, а также степень понимания этой политики, ее практическое осуществление и поддержание в рабочем состоянии на всех уровнях организа­ции. Должно быть установлено наличие на пред­приятии представителя руководства, который независимо от других обязанностей имеет пол­номочия и несет ответственность за постоянное выполнение требований стандартов и норма­тивных документов системы качества. Следует проверять наличие требований, процедур, средств и обученного персонала для практичес­кой реализации процессов системы качества, а также актуальность и систематичность оформ­ления документации на все компоненты, требо­вания и положения системы качества, представ­ляющей собой интегрированный процесс на протяжении всего жизненного цикла ПС. Про­верки системы качества должны включать оп­ределение:

• наличия и полноты технологической доку­ментации и соблюдения ее требований на практике;

• состояния средств технологического осна­щения и наличия системы их технического обслуживания;

• наличия и эффективности системы контро­ля и испытаний;

• состояния средств измерений и испытаний;

• наличие системы выявления и устранения выявленных недостатков продукции или технологии.

На основании испытаний оцениваются полученные результаты и обосновываются вы­воды о соответствии или несоответствии про­дукции или процессов требованиям норматив­ных документов. Протоколы испытаний пред­ставляются в орган по сертификации, а также заявителю по его требованию. Протоколы испы­таний подлежат хранению в течение сроков, ус­тановленных в правилах систем сертификации продукции и в документах испытательной лабо­ратории, но не менее трех лет.

После получения и проверки комплектно­сти и качества документации специалистами испытательной лаборатории следует провести экспертизу степени реального применения сис­темы качества на предприятии.

Испытания на­чинаются с составления программы проверки системы качества, которая должна служить ра­бочим планом проведения последующих работ. Программа является внутренним рабочим документом испытательной лаборатории и должна содержать перечень работ, детализируемый в соответствии со спецификой предприятия–разработчика и включающий в себя анализ полно­ты и качества представленных исходных доку­ментов и степени их практического применения при проектировании, разработке и поставке ПС.

Экспертиза применения процедур системы качества осуществляется испытательной лабо­раторией на рабочих местах предприятия, обеспечивающего ЖЦ ПС. Проверки проводятся по наличию на рабочих местах специалистов–раз­работчиков соответствующих документов и по полноте использования их положений и реко­мендаций. Анализы состояния проекта и внут­ренние проверки системы качества, процессов и/или продукции должны проводиться персона­лом, независимым от лиц, непосредственно от­ветственных за выполнение этих работ.

Методики проверок качества разработки должны быть обеспечены необходимыми ресур­сами для выполнения программы испытаний, методиками планирования и разработки част­ных процедур проверок. Методики должны со­держать:

• объекты и цели испытаний;

• оценивае­мые показатели качества;

• условия и порядок ис­пытаний;

• методы обработки, анализа и оценки результатов испытаний;

• техническое обеспече­ние испытаний;

• отчетность.

Следует указывать технические и программные средства, используемые во время проведения испытаний, и порядок проведения испытаний, а также ожида­емые результаты проверок. Должны быть разработаны методики контроля за корректировка­ми, действиями по исправлению дефектов, если в службу управления проверок поступит такой запрос. Служба управления программами испы­таний должна разработать методики сохране­ния конфиденциальности любой информации об испытаниях, а также данных, имеющихся у экспертов.

Протоколы испытаний представляются заявителю и в орган по сертификации. Заяви­тель может представить в орган по сертифика­ции протоколы испытаний с учетом сроков их действия, проведенных при разработке и поста­новке продукции на производство, или докумен­ты об испытаниях, выполненных отечественны­ми или зарубежными испытательными лабора­ториями, аккредитованными или признанными в системе сертификации. На основании прото­колов сертификационных испытаний оценива­ются полученные результаты и обосновываются сделанные выводы о соответствии или несоот­ветствии продукции требованиям НД.

Заключение по результатам сертифика­ционных испытаний разрабатывается сертифи­каторами и содержит обобщенные сведения о результатах испытаний и обоснование целесо­образности выдачи сертификата. В случае полу­чения отрицательных результатов сертификационных испытаний принимается решение об отказе в выдаче сертификата соответствия. По­сле доработки сертифицируемой продукции или системы качества испытания могут быть по­вторены.

Результаты анализа состояния техно­логии или качества продукции оформляются ак­том, в котором даются оценки по всем позициям программы испытаний и содержатся выводы, включающие общую оценку состояния произ­водства и продукции, необходимость корректи­рующих мероприятий. Акт используется орга­ном по сертификации наряду с протоколами ис­пытаний, заявкой для выдачи и определения срока действия сертификата на программный продукт, периодичности инспекционного кон­троля, а также для составления корректирую­щих мероприятий.

По результатам сертификационных испы­таний и экспертизы документации принимается решение о выдаче сертификата. В случае полу­чения отрицательных результатов сертифика­ционных испытаний принимается решение об отказе в выдаче сертификата соответствия. Кроме того, предприятию–заявителю может быть направлены предложения по устранению предполагаемых причин отрицательных резуль­татов испытаний. После доработки сертифици­руемой продукции испытания могут быть повто­рены.

Орган по сертификации после анализа протоколов испытаний, оценки производства, сертификации системы качества, анализа документации, указанной в решении по заявке, осуществляет оценку соответствия продукции установленным требованиям, оформляет сертификат на основании заключения экспертов и регистрирует его.

При внесении изменений в конструкторскую или эксплуатационную доку­ментацию, которые могут повлиять на качество системы или программный продукт, удостоверя­емые при сертификации, заявитель должен из­вестить об этом орган по сертификации, для принятия решения о необходимости проведе­ния дополнительных испытаний.

После регистрации сертификат вступает в силу и направляет­ся предприятию–заявителю. Одновременно с выдачей сертификата предприятию–заявителю может выдаваться лицензия на право примене­ния знака соответствия.

За сертифицированными программными продуктами в процессе их эксплуатации в тече­ние всего срока действия сертификата соответ­ствия должен осуществляться инспекционный контроль. Инспекционный контроль прово­дится в форме периодических и внеплановых проверок соблюдения требований к качеству технологии и сертифицированной продукции. Объектами контроля, в зависимости от схемы сертификации, является сертифицированная продукция, система качества или стабильность производства предприятия–разработчика.

При определении периодичности и объема инспек­ционной проверки учитываются следующие факторы: степень потенциальной опасности программного продукта, стабильность произ­водства, объем выпуска, наличие и применение системы качества при разработке, информация о результатах испытаний продукта и его произ­водства, проведенных изготовителем, органами государственного контроля и надзора.

Результаты инспекционного контроля оформляются актом, в котором дается оценка результатов испытаний образцов и других проверок, делается общее заключение о состоянии производства сертифицированной продукции и возможности сохранения действия выданного сертификата. Акт хранится в органе по серти­фикации, а его копии направляются разработ­чику и в организации, принимавшие участие в инспекционном контроле. По результатам ин­спекционного контроля орган по сертификации может приостановить или отменить действие сертификата и аннулировать лицензию на пра­во применения знака соответствия в случае несоответствия продукции требованиям нормативных документов, контролируемых при сер­тификации, а также в случаях:

• принципиальных изменений модели зрело­сти, профиля стандартов, нормативных до­кументов на продукцию или метода испыта­ний;

• изменения конструкции (состава), ком­плектности продукции;

• изменения организации или технологии разработки и производства;

• невыполнения требований технологии, ме­тодов контроля и испытаний, системы каче­ства, если изменения могут вызвать несоответствие продукции требова­ниям, контролируемым при сертификации.

Решение о приостановлении действия сертификата и лицензии на право применения знака соответствия не принимается в слу­чае, если путем корректирующих мероприятий, согласованных с органом по сертификации, его выдавшим, заявитель может устранить обнару­женные причины несоответствия и подтвердить без повторных испытаний в аккредитованной лаборатории, соответствие продукта или про­цессов НД. Если этого сделать нельзя, то действие сертификата отме­няется, и лицензия на право применения знака соответствия аннулируется.

Информация о при­остановлении или отмене действия сертификата доводится органом по сертификации, его выдав­шим, до сведения заявителя, потребителей и других заинтересованных организаций.

Дейст­вие сертификата и право маркирования продук­ции знаком соответствия могут быть возобнов­лены при выполнении предприятием–разработ­чиком следующих условий:

• выявления причин несоответствия и их уст­ранения;

• представления в орган по сертификации от­чета о проделанной работе по улучшению и обеспечению качества продукции;

• проведения по методикам и под контролем органа по сертификации дополнительных испытаний продукции и получения положи­тельных результатов.