第三节 国际发展援助的问责和评价政策分析
近年来,国际发展援助的评估越来越受到双边和多边援助机构的重视。各援助国都制定了本国的援助评估政策,并据此建立了自身的援助评估体系。作为发展援助的一个重要组成部分,评估对提高援助的有效性和改善问责都非常重要。本节主要研究援助评估的基本原则和评估方法,分析主要的双边和多边援助机构的评估体系,指出评估中存在的问题,并提出相关的政策建议。
一 引言
OECD/DAC将评估定义为:“对一项正在进行或已经完成的工程、项目或政策的设计、实施和结果进行的系统和客观的评价,评估旨在确定目标之间的相关性和完成情况,援助的效率、有效性、影响和可持续性。一项评估应该提供可信和有用的信息,使得获取的经验教训能够纳入援助国和受援国的决策过程中。”评估能够提供反馈,进行经验学习和改善问责,并最终提高援助的有效性。因此,DAC要求其成员国的援助机构必须制定清晰的评估政策,对援助的评估也日益成为援助双方以及其他援助机构援助活动中不可或缺的部分。
现有国际发展援助评估的基本原则,主要以DAC各成员国于1991年在巴黎一致通过的《发展援助评估原则》(Principles for Evaluation of Development Assistance)为基础。自DAC制定《发展援助评估原则》以来,国际发展援助的评估原则和方法随着援助环境和援助方式的变化不断修改,各国的援助评估体系也根据本国援助活动的变化不断调整。但是,援助的基本原则并未发生根本性的变化。本节在分析国际发展援助评估的基本原则和方法的基础上,着重探讨国际发展援助整体的评估政策和典型援助国的评估体系。从国际层面来讲,国际发展援助评估政策的主要内容通常包括评估政策的功能和内容、评估的独立性、评估结果的报告、使用和后续行动及评估主体的参与度;从单个国家层面来讲,各国的援助评估体系又各有特色,如评估体系最为复杂、最具特色的法国,独立性较好的瑞典,建立了完善的管理层回应和后续行动系统的挪威。
近年来,评估原则和方法的运用及其改进的确促进了援助独立性和有效性的提高;但是,就评估本身而言,在评估资金的来源和应用、评估结果的传播和使用、援助双方在评估中的自主性和主动性程度等方面仍然存在一些问题和不足。这些问题和不足限制了评估功能的发挥,进而影响了问责和整个援助活动的有效性。鉴于此,本节最后提出了改善国际发展援助评估的政策建议,以更好地适应新时期国际发展援助的需要。
二 国际发展援助评估的基本原则和方法
评估原则和方法的制定是评估的前提和基础。评估原则侧重于对评估的管理和制度性安排,为评估提供整体性指导,保证评估过程的顺利进行和评估目标的实现。评估方法为评估提供具体的指导,评估方法和问题的设计是否恰当同样会影响评估的效果。因此,DAC制定了全球性的评估原则和方法。
(一)评估原则
国际发展援助的评估原则基于现有的援助政策和惯例,并结合了各援助机构的实践经验,表达了DAC成员国对评估过程最重要的要求。这些原则主要是对正在进行或已经完成的援助活动进行评估,是对DAC已有的针对特定领域的评估原则的一般化和补充。国际发展援助评估原则中最重要的是DAC 1991年制定的《发展援助评估原则》,其核心原则包括以下主要内容。
一是评估机构必须制定评估政策,明确规定评估的指导原则和方法并阐明其在整个援助框架中的作用、责任和地位。
二是评估过程必须公正,且独立于援助政策的制定、援助款项的拨付及援助活动的管理。
三是评估过程必须尽可能公开透明,评估结果能够被广泛获得。
四是为保证评估的有用性,评估结果必须被使用,必须向决策者和实地员工提供反馈。
五是在评估过程中,受援国与援助国之间及援助国之间应进行合作;评估合作是受援国援助制度建设和援助协调的重要组成部分,可以减少受援国的管理成本。
六是援助评估及其要求必须在一开始就作为援助计划的主要部分。确定援助想要达到的目标是客观评估的必要前提。
新援助方式的出现,《援助有效性巴黎宣言》(Paris Declaration on Aid Effectivenees,2005)和《阿克拉行动议程》(Accra Agenda for Action,2008)的达成不断改变着世界各国应对全球性挑战的方式。在这一新的援助背景下,2010年DAC制定了《援助评估质量标准》(Quality Standards for Development Evaluation,2010)。该标准与上述基本的评估原则一脉相承,但更为具体,主要用于告知评估进程和结果。其关于评估的质量标准包括:①自由和公开透明的评估进程;②评估的道德标准;③合作方式;④协调一致;⑤评估能力的建设;⑥评估质量的控制。
除了这些基本的评估原则,在评估具体的项目和工程时,一般要应用相关性(Relevance)、有效性(Effectiveness)、效率(Efficiency)、援助影响(Impacts)和可持续性(Sustainability)等具体的、可操作性的评估准则[18]。
(二)评估方法
评估方法的选择主要取决于评估希望达到的目标,主要的评估方法有面谈、问卷调查、样本调查、案例研究、文献回顾等。评估方法的选择是整个评估过程的一部分,图1-5展示了评估的一般过程。一个完整的评估过程依次为:评估规划、评估实施、评估结果使用、反馈。评估规划是评估的前期准备阶段,主要任务是确定评估的原则、目的、方法、范围和评估小组等;接下来是评估的具体实施,主要进行数据搜集和分析、通过实地访问获取各利益相关主体的评论和建议,并起草评估报告;第三步是对评估结果的报告、传播及管理层回应;最后是所采取的改善未来评估的后续行动及对评估结果和建议的反馈。
图1-5 国际发展援助评估的一般过程
资料来源:根据OECD《Quality Standards for Development Evaluation》和《Evaluation Guidelines between Past and Future》绘制。www.oecd.org/dac/evaluationnetwork。
三 国际发展援助的评估政策分析
尽管所有双边和多边援助机构评估的核心功能相似,但各援助机构的评估政策特别是评估的管理却相差很大,国际上并未形成统一的评估体系。与此同时,各援助机构的评估政策也处于不断变动中。对国际发展援助整体的评估政策进行分析,有助于把握各援助机构评估政策共同的发展趋势,推动国际发展援助评估体系的统一协调;而对典型援助机构的评估进行分析有利于援助机构之间互相学习,取长补短,更好地促进评估功能和作用的发挥。
(一)国际发展援助整体评估政策分析
国际发展援助整体的评估政策是各国援助评估政策的一般化,体现各国援助评估体系的共同特点和趋势。结合评估原则和评估过程,可以从评估政策的功能和内容、评估的独立性、评估结果的报告、评估结果的使用和后续行动及评估主体的参与度几个方面对国际发展援助评估政策进行具体分析。
1.评估政策的功能和内容
援助机构必须制定明确的评估政策,以界定评估的功能和内容。至今,大部分援助机构已经建立了至少一个评估部门,并且明确规定了评估政策的功能、地位及其内容。各国评估机构的功能各不相同,有的评估跨政府部门的整个援助项目的有效性(如德国);有的不仅评估官方发展援助的影响,而且评估外交部其他政策的影响(如荷兰);有的仅评估某一部门援助的作用(如瑞典);所有多边援助机构的评估机构都用来解决组织的有效性和影响问题。而且,各国评估机构的评估功能不再仅仅服务于问责,同时还有助于该组织的整体策略。
早期的评估政策只关注援助机构的管理和绩效,现在的评估政策则更加关注相互问责、受援国的评估能力建设等。图1-6概括性地描述了援助国评估政策的主要内容。在38个援助评估机构[19]中,所有评估机构的评估政策中都明确规定了评估的作用和功能,其中,约91%的评估机构的评估政策涉及评估的法律地位,81%的评估机构的评估政策设定了评估的质量标准。在评估政策中规定明确的报告程序的评估机构仅占所有评估机构的约2/3,且报告程序存在很大差异。虽然评估结果的传播和使用比率很高(91%),但是对评估结果做出反应进而采取后续行动的评估机构则相对较少(78%)。一半左右的评估机构在其评估政策中强调了受援国在评估中的地位,主张进行联合评估并指出了评估机构在支持受援国评估能力建设中的重要作用。
图1-6 国际发展援助评估政策的内容——评估政策中包含内容的评估机构占比
资料来源:根据OECD《Evaluation in Development Agencies,Better Aid,2010》绘制。
2.评估的独立性
评估的独立性能够保证评估的可信性和客观性,因而独立性是评估的核心原则之一。独立的评估意味着评估不会受到政治因素的影响,没有组织方面的压力,具有完全的信息获取权,在开展调查和报告评估结果时拥有完全的自主权[20]。独立性包括几个相互联系的方面:组织独立,评估人员的行为独立,免受外部因素影响,避免利益冲突(世界银行,2004)。
近年来,评估功能的独立性日益增强,但在评估目标的选择和评估预算的安排方面,独立性仍显不足。为了确保评估的独立性,一些评估机构的评估政策中做出了相关规定,包括:在法律地位方面,建立独立于援助规划部门和执行部门的评估机构;在劳动分工方面,分散评估功能,并令与援助的实际执行无关的内部员工负责评估;在监督方面,聘请外部的咨询专家和指导小组保证评估的质量;在报告方面,批准评估部门全权负责最终报告的拟定和发布,管理部门不能干预。
3.评估结果报告
正如前文所述,一些援助机构在评估政策中规定了清晰和不受干预的报告程序,以保证评估的独立性。在保证一定程度的可信性和客观性的基础上,评估机构也在试图增加与援助管理和执行部门的联系,以使其报告结果应用到援助项目的规划和管理中。基于这些考虑,援助机构建立了不同的报告体制。从表1-3可知,主要的评估机构都倾向于向更高层的领导汇报,约2/3的援助机构向整个援助机构的主管或外交部部长汇报。所有的多边援助机构都通过直接或间接的方式向其执行董事会汇报。2009年,为了增加评估的独立性,法国开发署( French Development Agency,AFD)设置了一个外部评估委员会(External Evaluation Committee),委员会由4名来自监督部门的成员和4名外部专家组成,受一名外部专家的领导。法国开发署内部的评估和信息发展部(Evaluation and Knowledge Development Unit,EVA)的评估报告必须经过该外部评估委员会再上报给执行董事会。比利时的专门评估委员会(Special Evaluation Office,SEO)和荷兰的政策与执行评估部(Policy and Operations Evaluation Department,IOB)均直接向议会报告,虽然中间会经由外交部或援助部门,但它们不能对报告做任何改动。其他评估部门(如英国、美国的USAID等)直接向援助的管理、规划或执行部门的负责人汇报。
表1-3 国际发展援助评估报告体制——评估机构(或评估负责人)向谁报告
4.评估结果的使用和后续行动
各国的同行评议及其他研究指出,评估过程存在的最大问题是援助机构常常缺乏对评估结果的关注和使用,这与评估原则相悖。从一定程度上来讲,援助的规划和执行部门对评估结果的使用和据此采取的后续行动是整个评估的直接目的;只有评估结果被这些部门使用并采取后续行动,才能实现评估的最终目的,即提高援助的有效性。
评估结果的传播是评估结果使用的第一步。评估结果可通过报告发布、研讨会、概要的传播或其他方式来传播。一般而言,援助国的相关部门和员工(包括总部的和实地的)会较好地获得评估结果;开展联合评估的援助国也可能会将评估结果传达给合作国;约有一半的援助国还会将评估结果发布给本国的民间团体。然而,受援国的援助部门及其他机构获取评估结果的程度相对较低。
评估结果必须得到管理层的回应且采取相关行动,才能提高未来援助的效果,保证评估的有用性。为了实现这个目标,援助机构必须建立一个正式的管理层评估应对系统,把评估结果纳入援助政策的制定和项目管理中。该系统通常应包括援助规划部门正式的、书面的回应文件以及与评估建议相对应的后续行动的共同协议。目前,已有20多个援助国建立了这样的应对系统。但是,援助机构所采取的后续行动远远落后于对评估做出的回应。迄今为止,至少有一半的援助机构缺少确保后续行动被实施的系统;即使设立了实施系统的机构,执行效果也不理想。
5.评估主体的参与度
联合评估(Joint evaluation)的比重是衡量评估主体参与度的最重要的指标。联合评估是由不同援助国和/或受援国共同开展的评估[21]。联合评估既包括援助国之间的合作,也包括援助国和受援国之间的合作。在DAC援助评估系统(Network on Development Evaluation)[22]中,成员国之间联合评估的比重相差很大,有的成员国几乎所有的评估都是与别国联合开展的,有的则至今未开展过联合评估[23]。成员国每年平均共开展696项评估,其中76%是一国单独进行的;在其余24%的联合评估中,15%是与受援国合作进行的,7%是与其他援助国合作进行的,剩下2%是未指明合作对象(即未指出是与援助国还是受援国联合开展)的联合评估所占的比重。
图1-7 双边援助机构的评估
资料来源:根据OECD《Evaluation in Development Agencies,Better Aid,2010》绘制。
如图1-7和图1-8所示,双边援助国和多边援助机构之间的联合评估存在很大差别。与双边援助国每年平均29%的联合评估相比,多边援助机构仅开展9%的联合评估。这种差别部分是因为,日本国际合作署开展了大量联合评估,拉高了双边援助国家联合评估的比重。总体而言,多边援助机构的联合评估在受援国和其他援助国之间的分配比较平均,各占4%左右;而双边援助国与受援国之间的合作则远多于与其他援助国之间的合作(分别为18%和8%)。这一方面反映了援助国扩大受援国的评估参与度,支持受援国评估能力建设的原则;另一方面也说明援助国之间在评估政策及援助政策等方面的分歧较大,因而合作程度相对较低。近十几年来,联合评估较以前已明显增加,但要取得更多进展尚需时日。只有当援助方式本身变得更为“联合”时,联合评估才会成为其必然结果。
图1-8 多边援助机构的评估
资料来源:根据OECD《Evaluation in Development Agencies,Better Aid,2010》绘制。
(二)典型援助国评估体系的特色分析
虽然国际发展援助的评估体系整体上具有一些共同的趋势和特征,但是各国援助机构的评估体系却形式各异、相差甚远。其中,法国的报告体系最为复杂和典型,瑞典评估的独立性相对较好,而挪威则建立了较为完善的管理层回应和后续行动系统。
1.最为复杂和典型的报告体系——法国
法国的评估体系比较复杂,评估机构包括5个部门。其中,评估点(Evaluation Pole)与评估和信息发展部及援助活动评估部(Development Activities Evaluation Unit)负责整个评估过程;评估委员会(Evaluation committee)和评估部(Evaluation Unit)负责评估质量控制,可以对评估报告附加评论,但不能修改原始报告;外部评估委员会(External Evaluation committee)是为增加评估的独立性而新设立的(2010年),接收评估和信息发展部的报告并直接转交给法国开发署的董事会。前三个评估部门向不同的部门递交报告。
如图1-9所示,评估和信息发展部是研究部(Research Department)的一部分,独立于援助管理和执行部门,主要负责法国开发署的援助评估活动,并通过外部评估委员会向法国开发署的董事会报告。评估点隶属于国际援助和合作部,评估国际援助和合作部进行的官方发展援助,并通过评估委员会这一质量监控部门向国际援助和合作部报告。国际援助和合作部会将报告上交至外国和欧洲事务部(Ministry of Foreign and European Affairs)。援助活动评估部隶属于财政部(DG Treasury),通过评估部这一质量监控部门向财政部报告,财政部将报告上交至经济、产业和就业部(Ministry of Economy,Industry and Employment)。三条评估线路相互协调,最终由法国开发署、外国和欧洲事务部及经济、产业和就业部向议会递交一份关于评估结果的年度联合报告。
图1-9 法国发展援助评估体系
注:椭圆代表上一级决策部门,一般为评估报告的接收部门;圆角矩形代表评估部门;直角矩形代表援助的规划或执行部门。瑞典评估体系同此规定。
资料来源:根据OECD《Evaluation in Development Agencies,Better Aid,2010》绘制。
2.较好的独立性保证——瑞典
图1-10展示了瑞典的发展援助评估体系。由图1-10可知,瑞典建立了一个完全独立的评估机构——瑞典援助评估署,它具有自主决策权和机构上的独立性,其独立地位可以大大提高其援助评估的独立性。瑞典援助评估署可以评估瑞典所有的援助项目,并通过外交部直接向瑞典政府报告。瑞典援助评估署制定了一份评估手册以保证评估质量,该手册基于DAC的《援助评估质量标准》(Quality Standards for Development Evaluation,2010),内容包括使用内部和外部顾问、举办研讨会及审查事实和决策透明度等方面的规则。与此同时,瑞典在瑞典国际援助署(Swedish International Development Agency,Sida)内部设立了外部顾问(External consultants),执行国际援助署的大部分援助评估活动,以进一步提高评估的独立性和有效性。瑞典国际援助署下的另一个部门——援助评估局,管理其战略性评估,例如,对援助政策、援助方式及一些较大的援助项目的评估,并向瑞典国际援助署报告。之后,瑞典国际援助署会经外交部向瑞典政府报告。目前,瑞典还没有正式的机制确保政府、外交部或瑞典国际援助署对其援助评估机构的评估结果进行评估。
图1-10 瑞典发展援助评估体系
资料来源:根据OECD《Evaluation in Development Agencies,Better Aid,2010》绘制。
3.较为完善的管理层回应和后续行动系统——挪威
挪威的评估体系比较简单,是直线式的层层上报程序:外部顾问执行评估局确定的所有评估,向评估局报告并受其领导;评估局经挪威发展合作署(Norwegian Agency for Development Co-operation,Norad)将报告上交给外交部。六周之内,外交部秘书长会将一份官方回应文件交给相关的项目部门,即挪威发展合作署和评估局。援助的规划和执行部门将依据官方回应文件采取后续行动,对其援助政策和相关的援助活动进行调整和改进。一年以后,项目部门向秘书长提交关于规划部门和执行部门后续行动的报告。
四 改善国际发展援助评估的政策建议
自20世纪50年代末期开展援助评估以来,国际发展援助的评估取得了很大进步:评估范围扩大,评估的独立性增强,评估主体的参与程度和协调程度不断提高。但是,国际发展援助的评估仍然存在一些不足,影响了评估功能的发挥。因此,必须进一步改善国际发展援助评估,增强评估的有效性。
(一)兼顾评估的独立性和整体性
为了确保独立性这一评估的核心原则,大多数评估机构不再从属于援助的政策、管理或执行部门,也不必向管理部门报告。如前文所述,建立独立的评估机构,改善报告体制,聘用外部专家等,都可以提高评估的独立性。但是,这些措施也可能割裂评估部门和其他部门的联系,影响援助机构内部的整合,甚至使得评估结果和建议被拒绝采纳。因此,在肯定评估部门独立性的法律地位的同时,要兼顾其他部门人员的参与权,权衡评估的独立性及其与其他部门之间关系的构建,从而确保其他部门能够尊重并使用评估结果。
(二)改善评估结果的传播和使用
在评估结果的传播方面,发布结果时要面向不同的群体,采取不同的传播方式;应通过机构内部和外部的研讨会、学术会议或新闻发布会广泛传播评估结果,并确保公众能够方便地获取评估结果。
在评估结果的使用方面,可采取的方式包括:开设长期、系统的评估结果研习班,加强各部门对评估结果及建议的学习和使用,向学习型机构转变;加强总部和实地机构、政策和执行、援助国和受援国及其他援助国之间的联系,保证评估结果被实地员工和其他国家的相关人员学习和使用;建立正式的管理层回应和后续行动系统以及包括所有主体的反馈机制,从而为评估部门提供反馈以进一步改善评估。
(三)提高援助主体的参与度
提高援助主体的参与度既涉及与其他援助国的合作,也涉及与受援国的合作,而且更重要的是受援国对评估的参与度及其评估能力建设。尽管受援国参与的评估有所增加,但其真正的参与度并不高。受援国对评估的参与主要集中在数据搜集和实地访问阶段,在评估的规划、结果的使用及后续行动阶段参与度相对较低。另外,援助国大多强调本国的评估能力建设,很少关注受援国的评估能力建设。因此,必须采取实际的努力使受援国真正参与到评估的整个过程中;讨论受援国参与评估的恰当方式;要与受援国的评估机构合作,尽可能地利用受援国的信息系统和评估系统,培养受援国对评估的主事权,促进其评估能力建设。
在与其他援助国合作时,要尽量选择与本机构具有相似的援助哲学、组织文化和评估体系的评估机构合作;协调解决联合评估的目标、方法、进程、问责、成本控制等问题;确保评估报告的沟通和共享等。
(四)克服资源约束
资源约束主要包括预算约束和人力资源约束。与日益严格的评估要求相比,评估预算显得不足。评估预算主要来自总的援助资金,一般而言,援助资金越多,则评估预算越充足。援助资金传统上来源于国民收入,因而受到种种限制,受经济危机的影响较大。但随着援助资金来源方式的创新,援助资金从而评估预算的压力都会减轻。同时,可以创新评估预算资金的来源方式,运用“成本—收益”分析法,提高评估资金的使用效率。
人力资源方面会面临数量约束和技能约束。评估机构的人力资源常常不足,评估技能也不能满足需要,且评估人员往往缺乏评估经验。评估部门应该积极发挥外部顾问的作用,聘用更多拥有综合的评估技能以及战略决策能力的人员;在确保独立性的前提下,尽可能地吸纳执行部门和项目部门的员工参与评估。同时,积极开展评估技能培训,尤其注重培养评估人员应对动荡地区和冲突后地区的援助评估,特别是人道主义援助和紧急援助评估的能力;建立激励机制,加强对实地评估人员特别是动荡地区评估人员的激励。