logo
+++_Аналитика_методология_книга

2.3 Оценивание эффективности

Одной из ключевых проблем при выборе той или иной стратегии достижения поставленной цели является проблема априорного оценивания эффективности. Относительно содержания понятия эффективности существует ряд разночтений.

Многими исследователями эффективность трактуется, как характеристика (некоторая величина или их совокупность), отражающая вероятность решения поставленной задачи при существующей системе ограничений (в их число входят количество и состав ресурсов, требования к качеству решения задачи, характеристики возмущающих воздействий и т. д.). Данный подход наиболее гибок и характерен для системного подхода к анализу эффективности. Естественно, что там, где речь идет о технических системах, для производства расчетов берутся величины, наиболее объективно отражающие тот или иной аспект функционирования системы с учетом вариации условий (например, результаты анализа разнообразных статистических распределений). В системах же, сильно завязанных на человека, как правило, берутся субъективные оценки вероятностей (данные экспертами). От этого сущность подхода не меняется — он потенциально мощнее, чем многие другие, традиционно используемые во многих отраслях методы оценивания эффективности.

В ряде случаев весьма полезным оказывается подход к рассмотрению эффективности, как относительной величины, расчет которой осуществляется исходя из предположения о существовании идеальной (абсолютно эффективной) системы, обеспечивающей наилучшее соотношение результат/затраты (такое соотношение устанавливается как эталонное, равное единице). Примером такого подхода является известный со школьной скамьи коэффициент полезного действия. Фразы, в которых эффективность той или иной деятельности приравнивается к КПД паровоза, слышатся и там и тут, хотя применение этого сравнения уместно отнюдь не всегда. Последний подход характерен для физикалистских концепций, в которых все типы ресурсов уподобляются источникам энергии, и лишь отчасти применим для априорного вычисления эффективности систем, функционирование которых сильно зависит от действия человеческого фактора. Достаточно обратиться к отрасли экономических наук, чтобы убедиться в неприменимости подобного подхода к задачам оценивания эффективности систем, завязанных на психическую активность человека — энергетическая эффективность действительно имеет предел, но там, где люди оперируют абстрактными единицами измерения стоимости, при вычислении соотношения «результат/затраты» ситуация деления на ноль, и та — не кажется бессмысленной.

В экономике довольно распространен подход к рассмотрению эффективности, как отношения экономического эффекта к затратам, без фиксации верхней планки роста показателя эффективности. В качестве эталона (без него обходиться нелегко) может быть избрано некое состояние, относящееся к прошлому, настоящему (прототип или текущее состояние системы) или будущему (цель). Так, в СССР в начале 1980-х принято было считать эффективность сельского хозяйства относительно состояния 1913 г., а в конце 1980-х гг. — уже относительно показателей производительности, характерных для юга современной Канады. Внутри этой группы методов определения эффективности существует, как минимум, два подхода, различающихся тем, учитывается или нет при расчете эффективности затраты на восполнение расходуемого ресурса. Ситуация же деления на ноль, естественно, является преувеличением — все определяется тем, насколько полон перечень ресурсов, затраты которых учитываются при расчете эффективности.

Однако, во всех этих трактовках есть нечто общее... Вне зависимости от трактовки, эффективность всегда выступает в качестве показателя, характеризующего абстрактную систему, описываемую совокупностью элементов: цель, качество, результат, метод достижения и затраты ресурсов. Когда говорят об эффективности некоторой системы (в том числе, эффективности системы мероприятий), цель, качество и метод ее достижения не всегда упоминаются, однако о неявном «присутствии» этих составляющих следует помнить. Дело в том, что в ряде случаев относительно качества и начальных условий решения задачи вводятся настолько широкие допущения, что задача теряет свой первоначальный смысл.

Рассмотрим простейшую бытовую ситуацию: допустим, что вы решили отциклевать полы в квартире. Вы обзваниваете несколько организаций, разместивших в газете объявлений соответствующую рекламу, и выясняете уровень цен. Проанализировав цены, вы делаете выбор и приглашаете на дом бригаду из фирмы «N», однако, когда бригада приезжает, выясняется, что бесплатным являлся только вызов, но не доставка циклевочной машины, что расценки на дубовый паркет иные, нежели чем на березовый, и что лакированный пол циклюется по специальным расценкам... Эффективность ваших затрат снижается прямо на глазах, вы расстроены... Но если разобраться, вы считали эффективность по упрощенной формуле, исключив из рассмотрения те начальные условия, которые непосредственно сказываются на стоимости работ (и затратах исполнителя), тезаурус исполнителя вы также не подвергли анализу. А вот сотрудники отдела по работе с клиентами в фирме «N» деньги не даром получают. Расчет простой: все еще немного в нашей стране людей, способных сказать двум тщедушным мужичкам, втащившим на n-тый этаж тяжелый агрегат, о том, что в их услугах не нуждаются. Кстати, на подобных «само собой разумеющихся» умолчаниях строятся и чрезвычайно эффективные системы, обычно именуемые мошенничеством.

Термин «полезность» обычно кажется наполненным более ясным содержанием, нежели «эффективность». Мы привыкли делить все на «полезное» и «вредное», отчего возникает иллюзия, что полезность — это бинарное отношение, отображающееся на значения «истина» и «ложь». На самом же деле эта интуитивная понятность лишь маскирует весьма непростые проблемы, связанные с оцениванием полезности.

Начнем с того, что термин «полезность» — это русская интерпретация английского термина «utility». В русском языке это слово носит оттенок, связанный с понятиями о пользе и благе, а в английском — скорее, указывает на пригодность к использованию. В первый раз понятие было введено в обращение Д. Бернулли в 1738 году, и интерпретировалось, как мера предпочтительности некоторого выбора, однако тогда оно не привлекло внимания научной общественности. Повторно термин был «открыт» И. Бентамом в конце XVIII века, но уже не как метрика, а как неметризованное отношение предпочтения. Именно в таком значении термин и прижился в экономических науках.

Однако такая трактовка не учитывала всех мотивов, подталкивающих субъекта выбора к решению: ведь часто выбор продиктован не столько осознанием потенциальной пользы, сколько осознанием потенциального ущерба, который может нанести отказ от той или иной альтернативы. Либо и того сложнее — выбор может быть продиктован сопоставлением рисков. С момента осознания этого факта начался процесс возврата к пониманию полезности как меры предпочтительности, то есть возврата к идее Д. Бернулли (а произошло это уже XX веке). Конечно же, речь уже не идет о «единицах полезности» — аппарат теории вероятности оперирует безразмерными величинами, но все же.

Итак, при принятии решений приходится оперировать либо априорными оценками эффективности, либо априорными оценками рисков, либо оценками полезности и ранжированными отношениями предпочтения — и то и другое может быть выражено с использованием одной из следующих форм представления:

Рассмотрим перечисленные варианты форм представления более детально.

Эвристическая свертка — это такой способ представления показателей, при котором благодаря применению правила, полученного в результате анализа совокупности экспертных оценок важности частных показателей, полученных как аналитическим, так и экспертным путем, эти показатели приводятся к виду безразмерной скалярной величины. Эвристические свертки представляют собой один из наиболее распространенных приемов представления оснований для принятия решений. При этом частные показатели приводятся к безразмерному виду, после чего подвергаются либо суммированию с некоторыми весовыми коэффициентами (что приводит к получению, так называемой, аддитивной свертки), либо умножению с возведением частных показателей в степени, определяющие их «ранг» (что приводит к получению мультипликативной свертки). Данная разновидность сверток широко используется при решении управленческих задач, связанных с выбором. К числу таких задач могут быть отнесены задачи реинжениринга бизнес-процессов, выбора проектных решений, связанных с проектированием организационно-технических систем, и иных. Степень субъективизма может быть снижена за счет использования процедур обработки экспертных оценок.

Экономическая свертка — это такой способ представления показателей, при котором результат деятельности (экономический эффект) некоторым образом сопоставляется с затратами (некоторым образом организованной совокупностью частных стоимостных показателей), для чего, как правило, используются операции вычитания или деления. В принципе, такой подход применим тогда, когда результат может быть выражен в тех же единицах измерения, что и затраты (например, при оценивании эффективности систем производства энергии таким образом может быть получен показатель энергетической эффективности). Способ организации частных показателей в зависимости от целей исследования может варьироваться (в частности, здесь могут быть использованы методы, характерные для эвристических сверток), но при этом исследователь должен четко осознавать, что полученная свертка будет отражать специфическую величину, которая может быть использована только для нужд конкретного исследования.

Физическая свертка — это такой способ представления показателей, при котором совокупность частных показателей функционирования системы при построении свертки уподобляется совокупности взаимосвязанных физических величин, что позволяет впоследствии получить свертку, по своим свойствам аналогичную такому показателю, как КПД системы. Основы данного подхода были заложены П.Г. Кузнецовым, в качестве метафоры использовавшим кинематическую систему физических величин, предложенную P.O. ди Бартини. В этой системе в качестве основных размерных величин используются только путь и время — все остальные величины (скорость, ускорение, масса, энергия и т. д. могут быть выражены через эти базовые величины). В принципе, аналогии такого рода могут быть введены как для технических, так и для экономических систем, но степень адекватности такого рода сверток реальным процессам, протекающим в системе, будет определяться точностью выбора метафор. За основу построения такой физикалистской картины мира может быть взята и электротехника, и теория электро- и радио- цепей, и теория электромагнитного поля, и иные разделы физики и технических наук. Например, в некоторых случаях полезными показателями могут оказаться «номинальная и пиковая финансовая мощность» организации. Однако, несмотря на очевидные преимущества, которые в частных случаях приносит использование такого рода метафор, решение о допустимости применения той или иной физической свертки всегда сопряжено с высоким риском и нуждается в серьезном обосновании.

Функциональная свертка — это такой способ представления показателей, при котором в качестве частных показателей используются такие параметры, от значения каждого из которых зависит способность некоторого элемента или подсистемы, входящего в состав системы, выполнять свои функции (соответственно, функциональная свертка представляет собой вид свертки, отражающей способность системы выполнять свои функции). Иными словами, функциональные свертки призваны отражать целевую эффективность системы. Однако этому виду сверток так же, как и всем видам сверток, используемых для решения задач однокритериальной оптимизации, свойственен недостаток, связанный с наличием субъективизма в выборе способа свертывания частных параметров. Наиболее широкое распространение получили, так называемые, вероятностные свертки. Эта разновидность функциональной свертки, представляет собой вероятность превышения каждым из свертываемых показателей соответствующего ему порогового значения. При использовании вероятностных сверток существует опасность ошибочного выбора пороговых значений, как правило, назначаемых для частных параметров по произволу эксперта. Кроме того, при проектировании принципиально новых систем априорная информация о вероятности отказа тех или иных подсистем отсутствует, отчего параметры устанавливаются по аналогии с показателями известных прототипов.

Смешанная свертка — это такой способ представления показателей, при котором комбинируются показатели, относящиеся к различным аспектам оценивания системы. В таких свертках в качестве параметров, как правило, выступают другие типы сверток, например, для получения комплексного показателя могут быть использованы функциональная и экономическая свертки. В частности, широко используются свертки, полученные путем деления обобщенного показателя функциональной эффективности на стоимость.

Заметим, что по мере роста степени интеграции показателей их семантика становится все менее доступной пониманию аналитика (в некоторых случаях разработчики интегральных показателей эффективности сами не в состоянии объяснить их сущность). Некоторые показатели обладают столь сложной семантикой, что только исследование их поведения в динамике и сопоставление с некими реальными событиями функционирования системы (или жизни общества) способно показать их прикладную значимость. В качестве одного из примеров сверток можно привести такие, ставшие привычными слуху россиян, показатели как индекс Доу-Джонса, РТСБ и подобные им, семантика которых, в принципе, прозрачна (они относятся к классу однородных эвристических сверток), но зато довольно часто претерпевает изменения. Например, процентный и «поименный» состав учитываемых при расчете РТСБ акций нередко изменяется, а это означает, что аналитик должен внимательно относиться не только к абсолютному номиналу этого показателя, но и отслеживать всевозможные изменения его семантики. При желании, на подобных манипуляциях семантикой показателей их разработчики могут управлять довольно обширным классом непрофессиональных участников рынка ценных бумаг, либо, ведя игру на более высоком уровне, управлять политической конъюнктурой.

Векторное представление — это такой способ представления совокупности частных параметров или сверток, при котором не используются приемы понижения размерности множества показателей. Этот вид представления отличаются от скалярных сверток тем, что семантика частных показателей не маскируется за интегральным показателем, а сохраняется для непосредственного восприятия потребителем. У аналитика, не располагающего навыком работы с конкретным набором частных показателей, такой способ представления способен вызвать серьезные затруднения с интерпретацией, здесь крайне важен способ представления, например, порядок размещения частных показателей в векторе. Однако потенциально этот способ представления более информативен, более того, при наличии желания и фантазии на его основе может быть построено множество самых разнообразных сверток, способных обосновать любые выводы (даже самые абсурдные).

Итак, мы уже указали на общий недостаток любых показателей эффективности — субъективность установления их семантики или порогового значения. При самом, что ни на есть, респектабельном виде десятиэтажная формула вычисления эффективности системы может оказаться всего лишь «яркой заплатой на драных штанах». Уважение к языку науки зачастую играет с людьми злую шутку: гипнотическое воздействие формул лишает способности думать даже весьма образованных людей.

Именно поэтому вопрос системного обоснования интегральных показателей эффективности занимает одно из центральных мест в аналитике. По существу, задача обоснования справедливости выбора интегрального показателя эффективности — это задача, сводящаяся к доказательству того, что объективно существует некоторое множество ограничений, позволяющих исключить из рассмотрения те или иные аспекты функционирования системы. А уж далее — решается задача доказательства того, что в данных конкретных условиях невозможно решить проблему иным, более экономным, способом. Таким образом, задача обоснования выбора показателей эффективности связана с ограничением свободы субъективного выбора.

Одним из путей ее решения является использование экспертных методов. При выборе такого подхода участникам экспертной группы предлагается совокупность показателей, значения которых неким образом сказываются на результативности деятельности. Семантика каждого показателя подробно раскрывается, а также привлекаются данные, полученные в результате проведения моделирования. На основе анализа этих показателей и их динамики эксперты дают оценку значимости тех или иных показателей, осуществляют их ранжирование. Методика опроса избирается в зависимости от того, каков состав экспертной группы, какими средствами и временными ресурсами располагает заказчик проводимой экспертизы. Более подробно вопросы, связанные с проведением коллективных экспертиз, мы рассматривали ранее, по этой причине мы не станем возвращаться к проблемам методологического и организационного плана. Заметим лишь, что решение коллектива экспертов может оказаться не более объективным, чем решение одного эксперта, хотя, при условии правильного подбора состава экспертной группы, вероятность того, что при проведении коллективной экспертизы будет учтено все многообразие вариантов, безусловно, выше.

Другой путь решения задачи обоснования выбора показателей эффективности — это путь системного обоснования объективности выбора показателей с применением методик операционного анализа, в частности — анализа дерева целей и задач. Для решения этой задачи также привлекается экспертная группа, но стратегия применения ее коллективного (гибридного) интеллекта — иная. В случае применения экспертных методов речь идет об исходно равноправных отношениях предпочтения, которые подвергаются ранжированию. Соответственно, задачей группы экспертов является синтез иерархии отношений предпочтения, основывающихся на некотором множестве частных показателей. В случае же использования методик операционного анализа стратегия является принципиально иной: речь идет не об упорядочивании частных показателей, а о разработке инвариантной упорядоченной структуры задач/процессов, на которой позже определяются частные показатели эффективности и задаются отношения предпочтения.

Для реализации подхода, основанного на использовании методик операционного анализа, крайне ответственным этапом является этап синтеза иерархии процессов и оценивания их роли и места в решении главной задачи. На начальном этапе этой процедуры задачей группы экспертов является конкретизация цели и ее декомпозиция на подчиненные задачи (сначала не ранжированные по значимости, а лишь упорядоченные по принципу согласования выхода «младшей» со входом «старшей»). Далее осуществляется параметризация задач (то есть декомпозиция должна осуществляться до того уровня, пока не станет возможным получение измеримого параметра, определяющего качество решения задачи, количество потребных ресурсов и так далее). На следующем этапе осуществляется привязка к полученному дереву целей и задач тех методов и технологий, которые нацелены на их решение. Здесь каждая задача снабжается одним или более методом ее решения, то есть методом реализации процесса, который может быть охарактеризован тем набором параметров, который был синтезирован на этапе параметризации. В результате может быть получена либо совокупность альтернативных деревьев, либо «сводное» дерево, на котором отображаются все возможные альтернативы.

Не следует забывать о том, что всякий метод помимо целевого эффекта обладает и побочным действием (проблема повышения эффективности предполагает и анализ вариантов использования нецелевого продукта). Часто вовлечение нецелевого продукта в деловой процесс способно существенно повысить эффективность системы, однако при отсутствии путей полезной утилизации побочного продукта возникают проблемы экологического плана, решение которых всегда связано с дополнительными затратами. И, несмотря на то, что затраты на решение экологических проблем ведут к снижению целевой эффективности, пренебрегать решением проблем экологического плана становится все опаснее, поскольку ресурсы адаптации экосистем находятся на грани истощения.

Полезным свойством дерева целей и задач является то, что оно может отображать не только иерархию процессов, уточняющих содержание отдельных операций, но и временную развертку процесса. Развертывание дерева целей и задач во времени позволяет ввести процедуры анализа ресурсоемкости на каждом из этапов реализации замысла, установить режим рационального распределения ресурсов, обеспечивающий соответствие темпов поступления различных ресурсов текущим частным задачам. То есть, речь идет не о конструктивной декомпозиции, а о комбинации структурной и временной декомпозиции.

Параллельно может быть синтезировано дерево, предназначенное для отображения и анализа частных показателей эффективности и рисков. При этом заметим, что каждому частному процессу дерева целей и задач может быть сопоставлена совокупность таких показателей (следует понимать, что эффективность и риск — это две различных характеристики, в общем случае, пребывающие в антагонистических отношениях). Приведем упрощенный пример: если при выезде из гаража автомобиль заправляется топливом в расчете на оптимальный маршрут следования и режим «зеленой волны», то риск (вероятность того, что при минимальном изменении условий задача не будет решена) становится максимальным. Автомобиль может истратить топливо, стоя в пробке где-нибудь на дальних подъездах к конечной точке следования. При функционировании в нестационарных условиях ни одна абсолютно эффективная (в физикалистской трактовке) система не может быть признана устойчивой.

Далее полученные деревья (развернутое во времени дерево целей и задач, а также дерево частных показателей рисков и эффективности) комбинируются и предоставляются на повторное обозрение экспертов, задачей которых является выбор того или иного варианта (на основе личного опыта). При этом чрезвычайно важно, чтобы эксперты мобилизовали свой опыт решения задач, связанный с вариациями обстановки, и на его основе оценили объем необходимых резервных мощностей (запас прочности предлагаемого решения). Производится ранжирование по степени предпочтительности выбора того или иного метода решения для каждой частной задачи. Здесь, в частности, могут быть использованы методы многомерного шкалирования с последующей обработкой результатов (по схеме с одним или несколькими турами опроса), а также методы сравнительного анализа векторов, входящих в множество Парето-оптимальных вариантов117. Впрочем, конкретных вариантов реализации существует масса, в том числе и таких, которые являются специфичными для данной отрасли.

Выбор методов операционного анализа в сочетании с методами теории отношений предпочтения и полезности позволяет снизить значимость субъективного фактора, сократить размерность пространства альтернатив и лишь потом обращаться к установлению полезности тех или иных объектов или действий. Кроме того, подход к определению эффективности с позиций теории отношений предпочтения и полезности позволяет оценить приемлемость использования конкретных типов сверток, о которых говорилось выше.

Применение теории отношений предпочтения и полезности предполагает необходимость проведения строгого обоснования выбора определенного набора показателей (выражаемых через другие показатели) на основе морфологического анализа системы показателей, построения дерева целей и задач, анализа возможностей замещения тех или иных подцелей дерева соответствующими показателями. Полученный в результате такой работы набор показателей должен удовлетворять требованиям:

Следует помнить, что задачи оценивания эффективности всегда решаются путем сопоставления с эталоном (не важно существующим или мыслимым). Однако относительно мыслимого эталона следует иметь в виду, что часто эталон является лишь теоретически достижимым. Разработчик такого эталона должен точно знать, какими именно ограничениями он пренебрег и какими должны быть последствия этого решения. Например, при оценивании эффективности систем преобразования видов энергии, пользуются заведомо недостижимой моделью абсолютно эффективной системы (по существу, сводящейся к концепции вечного двигателя), однако все разработчики сознают, что достижение предельного значения показателя эффективности (КПД = 1) нереально.