作者简介：茹宁，女，教授，南开大学周恩来政府管理学院，高等教育研究所所长，主要从事教育行政与政策研究；闫广芬，女，教授，天津大学教育学院院长，主要从事职业教育、教育史研究。
文章来源：《国家教育行政学院学报》2020年第09期。
摘要：对科学研究所产生的社会价值与影响进行评价，正在成为世界各国科研评价机制改革的新趋势。英国在REF中引入“科研影响”评估，明确将非学术性质的社会影响作为评估对象。该评估采用了以定性为主、以定量为辅的混合评价方法，并借助对评估结果的“后分析”技术，形成了英国科研影响的全球可持续扩散机制。REF科研影响评估的诸多创新为我国开发高校社会服务与贡献评价机制提供了有益借鉴。
关键词：REF，科研影响评估，非学术影响
一直以来，科学研究被视为国家的事业，政府作为最大的“资助人”，相信社会能够从高质量的科学研究中“自动”获益，因此，科研评估只需确保科研的产出与质量即可。然而，20世纪80年代以来，随着各国公共财政经费的紧缩和新公共行政、新公共管理运动的兴起，政府的角色从科研“资助人”向“投资人”转变。作为投资人的政治决策者们，一方面希望研究机构通过证据展示研究成果对社会的价值，以帮助他们在“应从GDP中拿出多少用于研发”“哪些研究值得投资”“应优先资助哪些研究”等问题上做出明智决策；另一方面通过“投入-回报”展示，使捐资者、纳税人看到公共研发经费的绩效收益，进而理解“社会究竟从公共科研资助中获得了哪些好处”。在这种新观念下，科研评估仅仅关注研究成果本身的“量”与“质”已经不够了，还需要强调其“溢出”学术界之外的社会效益与社会影响，这催发了各国对探索实施科研社会影响评价机制的改革浪潮。
美国是最早对科研项目的“投入-产出”效益开展评估的国家之一。“美国项目评估评级工具”（Program Assessment Rating Tool，PART）是1993年《政府绩效与成果法》（Government Performance and Results Act，GPRA）催生下的科研绩效评估工具，它采用基于证据的分析方法（evidence-based analysis），至2008年已评估了1000多个大型联邦科研项目的社会效益。[1]《美国再投资与复苏法案》（American Recovery and Reinvestment Act，ARRA）催生了“科学和技术对美国再投资：衡量研究对创新、竞争力和科学的影响”（Science and Technology for America’s Reinvestment：Measuring the Effect of Research on Innovation，Competitiveness and Science，STAR METRICS）评估。STAR METRICS于2010年投入使用，专注于使用数据分析联邦科研项目在经济、就业、劳动产出和公共卫生等领域的收益回报。[2]加拿大创新基金会（CFI）主要负责加拿大基础研究的经费拨款。从2007年开始，如何评价CFI资助项目的社会影响开始进入政策议程。“效果测量研究”（the Outcome Measurement Study，OMS）评估就是最近的一项成果，它引入了“创新与外部收益”（innovation & extrinsic benefits）评价，并采用了“活动-产出-成果（包括直接、间接、长期）-最终影响（ultimate impacts）”的评价模型。[3]荷兰于2006年开发的“情境下的科研评估”（the Dutch Evaluating Research in Context，ERiC），通过研究团队与科研用户之间“生成性互动”（productive interaction）的过程性评估，[4]来评价研究在私营部门和公共部门所产生的社会影响。2009年，欧盟出资80万欧元研发“基于生产性互动的科研社会影响”（Social Impact Assessment Methods through Productive Interactions，SIAMPI），SIAMPI是ERiC在欧盟的进一步推广，荷兰、英、法、西班牙参加了该评估在卫生、纳米、信息技术等领域的试点。[5]澳大利亚于2004年开发了“研究质量与可行性评估框架”（Research Quality Framework，RQF），对公共经费资助的科学研究在区域、国家或国际范围所产生的经济、社会、环境和文化等方面的贡献进行评价。澳大利亚政府本打算在全国高校推行RQF评估，但遗憾的是，执政党更迭导致该计划流产。[6]英国于2014年取消了自1992年以来一直使用的RAE（Research Assessment Exercise）评估，而代之以REF（Research Excellence Framework）评估。REF相对于RAE的改革重点就是，以“科研影响”取代了“科研声誉”板块。RAE2008评估中三个板块的内容和权重分别为：科研产出（70%）、科研声誉（10%）、科研环境（20%），在REF2014评估中调整为：科研产出（65%）、科研影响（20%）、科研环境（15%）。与上述国家针对项目、某学科或学科（群）领域开发的影响评估不同，REF采用统一的科研影响评估框架，基本覆盖了全英高校和科研机构的所有学科。不同学科的研究产生社会影响的时间、方式、路径和效果非常不同，能否采用统一的框架与方法对不同学科的研究影响进行评价，一直是科研影响评估的难点。REF在这一问题上的突破成为科研影响评估理论与实践的重要发展，在国际社会引发了强烈关注。我国学术界目前对REF评估的研究已相对丰富，但这些研究大多侧重于REF相对于RAE而言在整个评估框架与方法上所进行的改革，而缺乏针对其中“科研影响”评估的深度分析。进一步说，我们还没有从国际上新出现的这一评估“类型”，即非学术影响评估的视角来开展对REF科研影响评估的系统研究。近年来，针对我国高校科研成果的社会转化与应用一直处于较低水平的现状，我国颁发了一系列政策文件，强调要提高高校服务经济社会发展的能力，加强对高校科研质量与社会贡献的评价。REF的科研影响评估在“非学术影响”评价方面的创新做法，可为改进和完善我国高校的社会服务与贡献评价体系提供借鉴经验。鉴于此，本文以REF在2014年基础上最新修订出台的2021年评估指南为范本，对其中“科研影响”板块的改革进行全面分析，尤其着重从“非学术影响”评价的视角来探讨其在内容、方法及结果呈现等方面的创新特性。
一、评估内容创新：明确“非学术影响”评价的内涵及评价维度
科学研究所产生的影响，从广义上讲，包含两个层面的内容：一是在学术界之内产生的影响，称为学术影响；二是在学术界之外产生的影响，称为非学术影响或社会影响。REF评估将“科研影响”界定为：“对学术界以外的经济、社会、文化、公共政策或服务、健康、环境或生活质量所产生的影响、改变或益处”，并在评估中把科研影响具体化为“人类与动物健康”“文化创造”“商业经济”“公共政策、法律与服务”“职业道德与行为实践”“环境”“生产”“参与学习”“社会福利”九个社会维度。[7]显然，REF的“科研影响”仅指科学研究所产生的非学术性质的社会影响，这种“狭义”化的概念在评估中是否科学、可行呢？目前，大多数科研影响评估尚未对研究的学术影响与非学术影响做出明确区分。具体而言，很多科研影响评估把H指数、G指数、期刊影响因子（Impact Factor，IF）等学术影响评价指标与专利转化率、研发收入、衍生公司数等非学术影响评价指标放在一起来评价科研影响。然而，学术影响与非学术影响形成的路径与作用机理不同，高学术影响力并不意味着高社会影响力，这从评价指标上也可以反映出来。以IF为例，高IF值意味着该期刊发表的研究成果学术影响力高，但是，高IF期刊的封闭性限制了研究成果的社会影响范围，因为在大多数情况下，只有学者才能接触到这些研究成果。相比之下，开放期刊（Open Access Journals）的IF值较低，但读者群更丰富，受众更广泛。由此我们可以合理地推断，发表在高IF期刊上的研究成果的学术影响大，社会影响反而小。可见，对科研影响不做“学术”与“非学术”的划分，混用两者的评价指标是有问题的。REF评估采用“科研影响”的狭义内涵避免了这种含混，明确将科研影响评价界定为超出“学术界”之外的社会影响，而将“学术影响”排除在“科研影响”评价之外，这可谓在厘清科研影响评估的对象上迈出了重要一步。当然，把科研影响限定为“非学术”性质的社会影响，并不意味着REF舍弃了研究的学术影响评价，REF评估指南解释道，“科研影响不包括对学术研究的影响或对知识进步的贡献，因为有关此部分的内容将在REF的‘科研产出’部分进行”[8]。REF虽然取消了RAE的“科研声誉”板块，但在11个学科引入了文献计量法（bibliometric），把评价科研声誉的H指数、G指数、期刊影响因子等指标调整到“科研产出”板块，这实际是把“科研声誉”所测量的“学术性质的影响”以质量评价的方式纳入“科研产出”板块，从而加强了研究产出的质量绩效与学术影响力评价。REF通过这样的改革调整，明确区分了科研的“学术影响”与“非学术影响”评价的界限，使REF形成了“投入-产出-绩效”和“产出-应用-影响”两个清晰的评估环节，前一个环节以“科研产出质量与绩效”评价为主题，后一个环节侧重“科研社会应用与影响”评价。这样，REF形成了覆盖“知识产出-知识质量-知识影响”的完整评估链，使整个评估框架设计更加完整而连贯。从评估实践来看，正是厘清了科研影响的内涵与外延，REF科研影响评估环节才能聚焦到研究成果所产生的九大社会领域上来，形成九个明确的评估维度，提高了评估对象的明晰性和评估的可操作性，为采用适切的评估方法奠定了基础。
二、评估方法创新：混合评估方法在“非学术影响”评价中的整合使用
大量实证研究表明，只有在极少数的情况下，科学研究所产生的非学术性质的社会影响才会以直接的、明确可识别的方式呈现出来。因此，对于科研影响评估而言，没有一种单一的评估方法是充分有效的。尤其对于REF评估而言，全英国有154所高校和科研机构参加，这种大规模的特点也决定了REF不可能采用单一的评估方法。经过多轮咨询和前期试点之后，REF专家组最终采用了以定性为主、以定量为辅的混合评价方法。
1.以结构化的案例模板呈现非线性的社会影响案例法是REF的基本评估方法。在REF2014评估中，参评院校需要提交“影响案例”和“影响模板”，案例占80%的评估权重，模板占20%。影响案例提供关于研究产生何种影响的详细信息，影响模板阐明学校在促进研究影响产生的过程中所采用的战略和实施路径。REF2021评估将取消“影响模板”，将其部分内容整合到“科研环境”板块，这意味着影响案例将成为未来REF科研影响板块的唯一评估内容。影响的发生不是知识的“用与不用”这么简单的两种状态，而是源于复杂的人类和社会的非线性交互过程，尤其是那些改变人们的意见、观念和信念的影响，往往要经历一个不易察觉的长期过程，其中的影响因素复杂而隐蔽。量化方法虽然客观明了，但却由于简化而可能忽略掉一些关键的影响因素，导致无法提供科研影响评价的“完整图景”。相比之下，案例相对“宽松”的叙事方式，更容易在知识扩散的过程中撒下一张“广泛的网”，因而比数据、指标或公式更能有效地“捕捉”到影响；案例由科研发现者来阐述影响与其研究之间的关系，更有利于影响与研究之间的归因分析；案例允许灵活自由的分析思路和表达方式，这使影响在案例“叙事”中能更好地呈现出来。当然，案例法也有明显缺陷。案例的表述如果过于随意就会导致无法在案例之间进行有效比较，案例的撰写如果掺杂过多的主观甚至是夸大其词的内容就会干扰评价的客观性。为克服这些问题，REF制定了高度结构化的案例模板，并对每部分的写作内容、规范、字数等做了详细规定。案例模板由A、B、C三部分构成：A部分填写参评院校与人员基本信息；C部分主要提供研究资助信息，但不是必填内容，评估组要求时才填写；B部分是主体部分，包括“影响概要”“研究详情”“研究佐证文献”“影响详情”“影响佐证来源”五个部分（见表1）。限于篇幅，此处只节选了“影响详情”部分的填写指南。从模板格式与填写要求可以看出REF案例的特点：一是尽量客观，对研究和影响的描述都需要提供相应的证据和佐证材料；二是重在阐述研究与影响之间的归因关系，如果影响与研究没有实质性关联，案例将直接被评为“无等级”（unclassified）。可见，通过结构化、标准化、证据化处理后，REF案例模板将“叙事描述”限定在一个可比较、可分析和可评价的框架内，避免了案例撰写的主观随意性，加强了案例评估的可行性和有效性。
2.以来自社会各界的“专家评议”法取代学术界的“同行评议”法案例本质上是学术界就科研成果与其社会影响之间的关系进行的主观陈述，如果将案例交给同行专家评议，那么，评价结果仍然局限于学科或学界内部的看法，而无法反映社会影响。鉴于此，REF在评估方法上的一个重要改革，就是邀请科研用户和其他利益相关者参与案例评价。在REF2014评估中，聘请的外部专家占到23%，这些专家的来源非常多样化，私营、公共和第三部门均有分布，参与评估的角色也非常多元，有主席、顾问、观察员、评估专员、国际专家等（见表2）。他们各司其职，为评估提供了不同于学界专家的独特看法。
不过，REF评估指出，外部利益相关者的加入，并不意味着学术专家在科研影响评价中的作用式微，他们在影响评估中仍将保持重要的发言权。这是因为非学术影响评价不应以损害学术自治为代价，保持一定比例的学术专家参与就是保障学术界知识生产的自治权限。只是参加影响评估的学术专家，其身份不再是单一的研究者，而与其他利益相关者一样，代表了社会各界中的“一界”。所以，严谨地说，REF科研影响评估是以来自社会各界代表的“专家评价”（expert review）代替了传统的“同行评价”（peer review）。专家评议法的优势，一是促进学者将学术自由权与服务国家战略的社会责任统一起来；二是在学术界与社会各界之间就科学研究的社会贡献与价值标准形成公共对话空间，全面而公正地反映出研究影响的社会“图景”。3.基于社会影响客观证据集的“去赋值”评价法案例法与专家评议法都属于定性评价方法，容易因掺入评估者的主观价值判断而降低评估的有效性。为了克服这一缺陷，REF专家组研发了一个包含上百个指标的证据集作为辅助评价工具。该证据集对应九个评估维度，在每个影响维度下设立了相应的证据指标，以“措施、证明、书面记录、点击量、专利数、许可证书、合同、收入、销售额、营业额、利润”等可量化形式出现（见表3）。①
REF开发与引入证据集，是以“循证学”（Evidence-Based Practice）为学理依据的。20世纪末兴起的循证思潮，激发了对社会科学进行非学术评估的需求，并在布莱尔政府任内备受推崇。②此次证据集的开发可视为该理论在REF评估中的深化应用。需要指出的是，证据指标集并不是指标评价法，正如REF评估指南指出的，证据只是“列举”而不是穷尽所有的“影响”，它起指导、参考作用，但不是直接的评价工具。[9]尽管如此，证据集的引入具有重要作用，一方面为影响案例“佐证材料”的撰写提供规范，另一方面为专家提供评价依据，这就在案例描述与专家评价两个环节之间形成了客观而统一的“评价链”，较好地实现了定性描述和定量评估之间的平衡。在平衡定性和定量评价问题之后，REF还面临的一个问题是，如何对不同类型的影响进行评分，这涉及影响的价值赋值问题。影响的价值赋值其实隐含了一个前提假设，即“影响”一定是有价值的，而价值又有高低之分。斯托克（Stoker）对此假设提出了质疑，他以药品沙利度胺（thalidomide）的例子③来证明：往往最初看起来没有价值的研究，后来却被证明对人类有重大贡献；而那些被认为有价值的研究成果，后来却被证明对人类无益甚至有害。在进步和贡献相对确定并易于衡量的医学领域尚且如此，更不用说政治和社会政策领域了。毕竟，“政治是一个利益与价值观的优先次序相互竞争的领域……政治学家们最关心的问题在政治上和道德上的好坏更不清晰，因此也更有风险……如果使用预设的价值来评价影响，其结果很可能是损害科学研究的自治本质”[10]。鉴于此，REF摒弃了“回报”“效益”“价值”等评判标准，而采用了“广度”（reach）与“强度”（significance）两个标准来评价影响，形成了五个评价等级。以影响的“广度”与“强度”为标准，评价重点不再是“价值”，而是“改变”。这种改变包括两种：一是行为的改变，导致行为改变的影响往往是显见而易于计量的；二是态度或观念的改变，导致观念改变的影响是长期而潜移默化的，但往往更加重大且深远。循证方法更适用于捕捉此类影响，这也佐证了REF采用证据集的必要性与可行性。
三、评估结果创新：“后分析”技术促进科研社会影响力的全球扩散
为了将评价结果以直观清晰的形式传达给决策者和公众，REF2014评估结果发布之后，英国高等教育拨款委员会（Higher Education Funding Council for England，HEFCE）还委托兰德欧洲公司（LAND Europe）、Techpolics调查公司、麦克米林公司（Macmillan）、伦敦国王学院的数字人文系（Department of Digital Humanities）等第三方组织，对REF科研影响评估开展了一系列“后分析”（post-REF analysis），以更好地呈现英国科研的社会影响力。1.在线案例数据库的创建麦克米林公司旗下的数字科学研究所（Digital Science）对参评机构提交的6000多个影响案例进行了通用格式处理，并对案例的佐证文献鉴定后提供了原文链接，在此基础上成功开发了一个英国大学科研影响案例在线数据库，该数据库已在REF官网发布。该案例库按照参评院校、评估单元、研究领域、影响类型和影响范围等进行了分类整理，并开发了简单检索、定向检索、通配符检索、文本检索等多种检索方法，公众可按分类便捷地搜索到想要查询的案例。REF官网声明，“案例数据库是公开免费的，任何对此感兴趣的英国及海外政策分析人士都可以查阅与下载”[11]。2.全球影响力“地图”的开发伦敦国王学院的研究团队采用主题建模、关键字搜索和信息提取等多种文本挖掘技术，对在线案例文本进行了综合分析，以揭示英国科研影响的主题、性质、路径、规模、学科分布、受益者类型等特征。其中最引发关注的是，项目组开发了一款可视化地图软件，直观地显示出目前在世界上的249个国家和地区中④，英国高校2014年在REF评审中提交的影响案例已经覆盖了205个，表明过去20年里英国高校的科研成果在世界范围产生了广泛影响力。地图还显示，英国高校科研对“金砖四国”的影响颇为显著，在17932个非英国地理标签中，1640个被标记为“金砖四国”，其中，对巴西的影响学科覆盖比例最广，而中国在影响案例中最经常被提及，且影响明显集中于A组和B组，也就是说，在生命医学和自然科学研究方面，中英开展了更多的合作研究。[12]3.“影响力发现”工具的应用“影响力发现”工具（The ImpactFinder）是以“影响数组阵列”的点阵聚集度来呈现影响发生的密集领域的一款可视化工具，其功能是可以直观地呈现出科研影响在学科分布的密度和强度。The ImpactFinder最初是由兰德欧洲公司开发，用来评估生物医学研究对健康的影响，现已在许多研究资助机构的评估中使用。REF引入科研影响评估后，兰德公司和Ranmore咨询集团合作，将The ImpactFinder的评估单位从学科扩展到学校，并开发了“分析包”和“建议包”两项内容，“分析包”的功能提供一个关于学校整体科研影响分布状况的“影响数组阵列”图，显示学校的影响案例发生比较密集的学科，学校可根据演示结果寻找典型案例，进而搜集影响证据；“建议包”则在“分析包”的基础上，指导学校明确本校科研影响的特征以及科研成果转化的战略路径。[13]
四、关于REF科研影响评估的争论REF的评估结果不仅决定了英国官方近20亿英镑的研究经费在下一个拨款期的分配去向，而且是工商业界研发投资和社会慈善捐资的重要参考依据。科研影响作为一个崭新的板块被引入REF评估，势必对英国高校的经费分配乃至科研战略与办学方向产生重大影响。因此，自REF2014实施科研影响评估以来，英国本土关于这一改革的讨论就没有停止过，争论的焦点集中在以下三个方面。1.非学术影响评估是否会危害学术自治对非学术影响评估最普遍的质疑就是，学术自治将被来自社会的“他治”关系所规制而受到侵蚀。尤其在社会科学领域，这种质疑之声从未停止过。简·塞尔比（Jan Selby）阅读了REF政治学科排前15名的学校提交的43个案例文本，发现没有一个案例以马克思主义、激进女权主义或后殖民主义思想为研究基础，也没有出现“对抗”、“抵制”或“谴责”等字眼的标题。这引发的争论是，专业知识没有用来改进政策，而只是用于证明当前决策的理性过程，从而为根深蒂固的党派信仰和既定权力提供支持。[14]理查德（Richard）警告说：“为了产生影响而接近权力带来了风险，学者们被吸入威斯敏斯特泡沫（Westminster bubble）之中，他们有意识或无意识地受内部特权（privileged insider access）的诱惑而失去了价值中立的判断。”[15]然而，持不同意见的学者认为，科研影响评估为研究与社会之间提供了一个公共对话空间，是对研究与社会规约关系的积极构建，并不侵蚀学术自治。卡隆（Callon）说：“自治并不是通过将社会与科研问题选择相分离或通过研究者对知识运用的自我隔离来实现的，而是通过构建确保特定情境场域之间知识转化过程中高度自治的机构实现的。”[16]因此，“研究影响不是一个让我们充满恐惧和厌恶的问题，而是作为一名研究人员应做事情的一部分”[17]。2.非学术影响评估是否会损害基础研究THE官网的一篇分析报道指出，老牌的曼彻斯特大学是REF2014评估中最大的“输家”（biggest loser），损失了1060万英镑科研经费。伦敦帝国理工学院获得的经费资助也下降5%，剑桥大学则出现3.4%的损失。相比之下，一些92后大学（post-92 universities）却成为最大的“赢家”。诺森比亚大学（Northumbria University）的科研拨款增加330万英镑，哈德斯菲尔德大学（University of Huddersfield）增加280万英镑。而在获得科研经费低于100万英镑的大学中，科研经费增幅最大的是贝德福德郡大学（University of Bedfordshire）和边缘山大学（Edge Hill University），经费资助都翻了一番。[18]一些学者由此担心非学术影响评估将研究资金导向更容易证明影响的应用研究，而削弱基础研究：“科研影响评估正在改变研究的性质，使其更具有实用性。这是件坏事吗？如果它破坏了蓝天研究（blue sky research），如果它缺乏科学的想象力，那就有可能。”[19]但相反的意见却认为，REF引入科研影响评价有望打破“马太效应”，使长期以来被罗素集团大学⑤所垄断的科研经费流向具有显著服务特色和社会影响潜力的新型大学，这实际给了基础研究和应用研究公平的竞争机会。因为基础研究如果无法在科研影响评价环节获得优势，则可以在“科研产出”板块证明自己的卓越性，而“科研产出”板块在REF评估中所占权重高达65%。可见，基础研究不会因为REF引入科研影响评价而处于不利地位，更不会因此而导致基础研究贬值。3.非学术影响评估方法是否有效可行对于REF2014采用的“影响案例+影响模板”的评估方法，不少人提出了质疑。他们指出，案例的写作质量直接影响评分，一些高校为了获得高分，甚至雇用“枪手”来写作案例，结果导致案例“缺乏专业性，评估专家很可能是根据案例的写作水平而不是实质性的影响做出评价的”[20]。还有批评者指出，影响模板反映的大都是学校的战略计划，这些计划很可能是撰写人想象出来的，而不是基于现实的做法，也难以进行核实，这让评估变得很不可靠。有人甚至调侃说，“影响模板具有‘童话性质’，影响案例则是一种‘修饰性的文字游戏’”[21]。而对REF科研影响评估最直接的批评是其高额成本。根据兰德公司对20所院校的分析调查，准备一个影响案例的成本约为7500英镑，一个影响模板的成本约3500英镑。英国高校共花费约5500万英镑准备提交影响评估的材料。[22]一直以来，英国科研评估因成本不断攀升，耗资巨大而备受诟病，此次REF引入科研影响评估，评估成本不降反升，必然带来对其可行性的质疑。这些意见得到了重视和回应。为了降低成本，HEFCE决定REF2021评估取消“影响模板”，并对案例模板进行了更加结构化的处理，要求撰写内容聚焦于研究与影响之间关系的说明。任何评估方法都不是完美无缺的，尤其科学研究所产生的非学术影响具有长期性和非线性特征，其评估方法的完善必然会经历一个长期实践与修正的过程。总体来看，HEFCE对REF的科研影响评估充满信心，决定2021年继续科研影响评估，并将其比重从20%提高至25%。[23]这意味着将近5亿的科研经费与高校科研产生的非学术性质的社会影响挂钩。科研影响评估的持续进行，对英国大学的科研行为、发展战略所产生的影响由此可想而知。正如一位大学校长所言，“我们不能保证我们的研究产生什么影响，但是，科研影响评估使我们认识到，我们需要观念和文化的改变来培养影响力的产生”[24]。兰德公司的调查也显示，英国高校正在积极采取应对之策，一些高校开始将科研影响纳入其研究战略，利用编制案例模板的经验来指导正在进行的研究；一些高校正在考虑采用一种系统的机制或方法来收集、跟踪和记录研究影响；还有一些高校通过采取扩大宣传策略，提高研究影响的社会知名度。可以说，“高等教育内部的文化正在发生着变化，一种基于社会影响力的文化正在培育之中”[25]。
注释：
①受篇幅所限，本文仅节选“社会、文化和创造力”维度的证据集。表中的“影响类型”指影响主要发生的领域或呈现的形式。
②循证学由David L Sackett教授首次提出，本意是“基于证据的实践”，其理念始于20世纪末发展起来的循证医学，最初指医生“将当前所能获得的最佳研究证据与自身的专业技能及患者的价值观整合起来进行治疗”。此后，它以迅雷不及掩耳之势席卷了整个医疗卫生领域，并不断向邻近学科渗透，形成了循证心理治疗、循证教育学、循证社会学等数十个新的学科领域。循证学关注什么研究是有效的证据，如何提高研究证据的质量，如何更好地使用研究证据等，这些都促成了对研究的非学术影响的关注。
③沙利度胺是人类药物史上一个著名的案例。沙利度胺被发现有镇静催眠作用，还能够显著抑制妊娠反应。自20世纪50年代末开始陆续投放欧洲、日本、澳大利亚、非洲和拉丁美洲市场，直到60年代初发现，服用沙利度胺使46个国家的超过一万名新生儿出现畸形。
④该地图软件的国家单位参照的是ISO3166-1标准制定的国家代码。目前，世界上有249个国家、地区在ISO中被指定了代码，这比联合国官方承认的国家数字要高，因为ISO编码包括未被联合国承认的国家。⑤罗素大学集团（The Russell Group）成立于1994年，由英国最顶尖的24所世界一流研究型大学组成。该高校联盟代表着英国大学的最高学术水平，集团成员每年共获得全英大学65%以上的科研经费和赞助资金。
参考文献：
[1]ESPINOSA D. Guide to the Program Assessment Rating Tool（PART）[EB/OL].（2007-01-12）[2020-08-16].https：//www.researchgate.net/publication/235069738_Guide_to_the_Program_Assessment_Rating_Tool_PART.
[2]STAR METRICS. Science and technology in America’s reinvestment：measuring the effects of research on innovation，competitiveness and science research institution[EB/OL].（2015-05-21）[2020-08-16].https：//www.starmetrics.nih.gov/st-atic-1-0-12/Content/Downloads/STAR-METRICS-Participation-Guide.pdf.
[3]TREMBLAY G，ZOHAR S，BRAVO J，et al. The Canada foundation for innovation’s outcome measurement study：a pioneering approach to research evaluation[J]. Research evaluation，2010，19（5）：333-345.
[4]SPAAPEN J，DIJSTELBLOEM H，WAMELINK F. Evaluating research in context，a method for comprehensive assessment.[DB/OL].（2007-12-08）[2020-08-16].https：//www.researchgate.net/publication/270477109_Evaluating_research_in_context_A_method_for_comprehensive_research_assessment_Jack_Spaapen_Huub_Dijstelbloem_and_Frank_Wamelink.
[5]SIAMPI Final Report[EB/OL].（2012-07-24）[2020-08-16].http：//www.siampi.eu/28/950.bGFuZz1FTkc.html.
[6]DONOVAN C. The Australian Research Quality Framework：a live experiment in capturing the social，economic，environmental，and cultural returns of publicly funded research[EB/OL].（2008-05-28）[2020-09-06].https：//onlinelibrary.wiley.com/doi/epdf/10.1002/ev.260.
[7][8]REF2014. Assessment framework and guidance on submissions[EB/OL].（2014-07-28）[2020-08-16].http：//www.ref.ac.uk/pubs/2011-02/.
[9]REF 2021. Panel criteria and working methods[EB/OL].（2019-04-22）[2020-08-16].https：//www.ref.ac.uk/publications/panel-criteria-and-working-methods-201902.
[10]STOKER G. Challenging three block-ages to relevance and political science：the obvious，the avoidable，and the thorny[C]//In STOKER G，PETERS B G，and PIERRE J（eds）. The relevance of political science，2015：19-35.
[11]REF2014. impact case studies[EB/OL].（2019-08-06）[2020-08-16].https：//impact.ref.ac.uk/casestudies/Search1.aspx.
[12][20]King’s College London，Digital Science. The nature，scale and beneficiaries of research impact：an initial analysis of Research Excellence Framework（REF）2014 impact case studies[R].（2015-03）[2020-09-06].https：//xueshu.baidu.com/usercenter/paper/show？paperid=d8dabb75f167892896b4a9ef38d6ce18&site=xueshu_se.
[13]Rand Europe. Impact and the Research Excellence Framework：new challenges for universities[EB/OL].（2019-08-06）[2020-08-16].https：//www.rand.org/pubs/corporate_pubs/CP661.html.
[14]MORAN C R，BROWNING C S. Impact and the discipline of politics and international studies[J]. British politics，2018，13（3）：249-269.
[15]WATERMEYER R. Impact in the REF：issues and obstacles[J]. Studies in higher education，2016（2）：199-214.[16]CALLON M，LASCOUMES P，BARTHE Y. Acting in an uncertain world：an essay on technical democracy[M]. Cambridge：The MIT Press，2009：68.
[17][19]Manville C，JONESMM，FREARSON M，et al. Preparing impact submissions for REF 2014：an evaluation[DB/OL].（2019-06-03）[2020-08-16].https：//www.rand.org/pubs/research_reports/RR727.html.
[18]JUMP P. Winners and losers in Hefce funding allocations[EB/OL].（2019-03-06）[2020-08-16].https：//www.timeshighereducation.com/news/winners-and-losers-in-hefce-funding-allocations/2019306.article.
[21]JONATHAN G，BRUTSCHER，Ella K S，et al. Capturing research impacts：a review of international practice[DB/OL].（2019-04-18）[2020-08-16].https：//www.rand.org/pubs/documented_briefings/DB578.html.
[22]JUMP P. REF 2014：impact element cost£55 million[EB/OL].（2015-06-12）[2020-08-16].https：//www.timeshighereducation.com/
