科技成果社會影響力評估的國際經驗及啟示
新聞鏈接：https://mp.weixin.qq.com/s/mY78Ux5bf2gBte-ifsIiDQ
轉自：科技導報（STReview）
本文發表于《科技導報》2019 年第14期
作者：范英杰，徐芳
從全球發展趨勢看，開展科技成果社會影響力評估勢在必行。多元化的科研活動產生形式多樣化的科研成果，也會產生不盡相同的社會影響力，這對科技成果社會影響力的評估方法和標準體系提出了挑戰。本文分析了英國的卓越研究框架、荷蘭的標準評估協議和美國的STARMETRICS這3個典型的科技成果社會影響力評估方案，聚焦其關于科技成果社會影響力評估的內容與方法，旨在為中國未來開展相關理論和實踐探索提供啟示與建議。
隨著公共財政資金支持基礎研究的力度不斷加大，如何認識和評估科技成果的社會影響力成為一個至關重要的問題，引起了學術界和政策制定者的廣泛關注。美國、澳大利亞和歐洲各國對國家、機構等項目層面上科技成果的社會影響開展了評估。如英國的卓越研究框架（research
excellence framework, REF），荷蘭的標準評估協議（standard evaluation protocol,
SEP），澳大利亞的研究質量框架（research quality
framework,RQF）等，均針對大學、科研機構的科學研究成果的社會影響開展綜合性評估。此外，利用數據挖掘技術，通過算法找到大型數據庫中的關聯和模式，并以有意義的方式加以呈現，從而達到理解已有數據的目的，是相對較為新穎的社會影響評估模式。目前，比較典型的基于數據挖掘的評估框架有美國的
STAR METRICS（Science and Technology for America's
Reinvestment:Measuring the Effect of Research on Innovation,
Competitiveness and
Science），其第二階段的目標便是使用革命性的數字技術獲取科研投入在科學、社會、經濟以及勞動力產出等方面的影響，代表了科技成果社會影響評估的一個新的方向。
中國在建設創新型國家的過程中，科技成果的社會影響力評估已經被放在毋庸置疑的重要位置。2016年“科技創新三會”上，習近平總書記強調：“要改革科技評價制度，建立以科技創新質量、貢獻、績效為導向的分類評價體系，正確評價科技創新成果的科學價值、技術價值、經濟價值、社會價值、文化價值。”這表明了對研究成果多維度影響（包括社會影響）的認可與重視，這也意味著科技評價的未來方向之一是科技成果的社會影響評價。在這種形勢下，如何認識和評估科技成果的社會影響力值得所有科研人員和管理人員深思。
盡管中國學術界和實踐界圍繞科技成果評價開展了大量的探索，但對科技成果社會影響力評估的關注還遠遠不夠。科技成果社會影響力評估的缺失，進一步導致了只關注期刊影響因子，不求解決重大科技和社會問題的價值導向，嚴重影響了國家創新驅動發展戰略的實施。鑒于此，本研究分析英國的卓越研究框架（REF）、荷蘭的標準評估協議（SEP）和美國的
STAR METRICS
等典型的科技成果社會影響力評估方案，聚焦其關于科技成果社會影響力評估的內容與方法，旨在為中國未來開展相關理論和實踐探索提供啟示與建議。
西方國家科技成果社會影響力評估的典型方案
英國REF評估
卓越研究框架（REF）是 2008年英國高等教育撥款委員會（Higher Education Funding Council for
England,HEFCE）提出的高等學校科研水平評估框架，評估
HEFCE撥款的投入產出結果與影響，鑒定科研資助機構投資的成效，以證明投資的合理性并向納稅人交賬，同時也為改善管理或資金分配提供合理依據。
REF 評估的前身是英國高等學校科研水平評估。20世紀 80年代后期，英國在大學撥款中引入擇優分配政策（policy of
selective funding），為了改進科研經費撥款的合理性，采用了基于公式的撥款模式（formula based funding
model）——通過英國高等教育撥款委員會（HEFCE）組織的高等學校科研水平評估實施完成。自1986年開始，HEFCE每4~5年組織一次評估，迄今已經于
1986、1989、1992、1996、2001和 2008年共進行了 6次評估活動。前 2 次被稱為 RSE 評估（Research
Selectivity Exercise），后 4 次被稱為 RAE 評估（Research Assessment Exercise）。
與之前的評估方法相比，REF評估更加強調突出科學研究成果在學術價值以外的經濟社會貢獻，在原有的“科學產出質量”和“科研環境”指標上新增了“社會影響力”評估指標。2008年首次
REF評估實踐在英國國內和國際上都引起較大反響，“根據非學術影響決定研究經費分配是一個相對較為新穎的觀念，REF
是第一個在整個研究系統內進行應用的例子，所取得的結果值得深入研究。”2014年
REF評估結束以后，HEFCE對其影響力評估結果已有一系列深入考察和研究，尤其對評估過程中暴露出的問題已有深入剖析以及相應的改進建議。在此基礎上提出了
REF 2020 評估方案，并對社會影響評估的相關框架做了微調。經過多年的實踐，REF
在研究的社會影響評估方面所做的探索為科學的社會影響評估奠定了堅實的基礎。
值得注意的是，英國學界對REF
研究成果的社會影響力評估有很大爭議，認為可能會阻礙“藍天”研究的發展，讓應用研究比基礎研究更占優勢，也讓那些更容易展示影響力的研究占得先機，而來自各行各業的同行評估專家團的參與也可能會影響到學術自治。雖然
REF 的成功開展部分壓制了這種聲音，但英國學界目前對此項評議仍有較多爭議。英國大學聯合會（University and College
Union）甚至曾發起過“站出來力挺科研”的請愿活動，反對 REF
的影響力評估，認為科學與其社會或經濟應用之間存在清晰界限，應“抵制粗糙的應用概念”，這一點還有待日后觀察。
荷蘭SEP評估
荷蘭是具有較為完善的科學研究體系中系統性評估的歐洲大陸國家，2018年路透社發布的“歐洲最具創新力大學”百強榜單中，荷蘭有
9所大學入選。荷蘭高效的科研管理制度和良好的科研環境是促成大學發展的重要因素，其中科研評估制度獨具特色，對于不斷反思和改進科研工作起著重要的引導和推動作用。
荷蘭自20世紀90年代就開始對公共資助研究進行系統性評估，形成了標準評估協議（SEP）。SEP評估包括外部評估和自評估兩個方面，外部評估要求在自評估之后進行，接受外部同行專家的評審。評估標準和流程每
6年修訂一輪次，迄今完成了2003—2008年、2009—2015年兩輪評估，逐步重視對公共資助研究“社會影響”的評估。在第一輪SEP評估時，“社會相關性”已被列為評估標準之一，但對研究社會影響及貢獻的評估卻一直未有合適的方法體系，并因此一直被科學界所詬病。為此，荷蘭科學界進行了不懈的探索，并在2006
年發起了“情境依賴的評估研究”（evaluating research in
context,ERiC）項目。ERiC的目標是為評估建立標準、指標和方法體系，為完善第二輪 SEP
提供依據。其中，ERiC所設定的研究的“社會影響”評估框架影響了之后的 SEP，在第二輪 2009—2015 的 SEP
中，“社會影響與活力”與“質量、產出、可行性”共同成為評估的 4 個主要標準。2014 年，第三輪覆蓋 2015—2021年度的
SEP由荷蘭大學協會（The Association of Universities in the Netherlands,
VSNU）、荷蘭國家科學研究組織（The Netherlands Organization for Scientific Research,
NWO）和荷蘭皇家藝術和科學院（Royal Netherlands Academy of Arts and Sciences,
KNAW）聯合制定并授權發布，進一步將主要的評估標準凝練為“研究質量、社會相關性以及活力（策略）”，把科學研究的社會影響作為與科學研究質量同等重要的評估指標。第三輪SEP正在研究如何度量和報告“社會影響”，面臨建立合理評估框架的挑戰。
與英國科學界對影響力評估的反感不同，荷蘭科學界目前似乎已經非常接受將社會影響作為其研究評估標準之一的現實。如前所述，2008
年以各大學、KNAW 和 NWO 下屬研究所為代表的荷蘭科學界曾主動提出 SEP（2009—2015）評估應加強社會影響力（societal
relevance）評估，定位以及標準設置。同時，為了更好地為社會影響評估建立標準、指標和方法體系，荷蘭科學界進行了不懈的探索，并在
2006年主動發起了“特定情境下的研究評估”（evaluating research in
context,ERiC）項目。在與荷蘭皇家藝術和科學院（KNAW）院長的訪談中，他認為荷蘭大部分科學家已經接受了用社會影響和相關性衡量其研究產出的做法，目前荷蘭在此方面的目標是如何更好地改進在此方面的評估質量，以更好地鼓勵各學科的均衡發展。經過SEP評估的長期完善，很多學者認為荷蘭已經擁有了較為成熟的評估模式，積累的經驗值得在其他國家推廣應用。筆者認為在社會影響評估框架和體系建立起來，在學術界和社會之間達成充分共識之前，荷蘭
SEP 所采取的“雙向對話”以及“與撥款的弱關聯”的模式，可能更容易被科學界所接受。
美國STAR METRICS評估
STAR METRICS 計劃開始于 2009 年，由白宮科技政策辦公室指導國立衛生研究院（National Institutes of
Health, NIH）和美國科學基金會（National Science Foundation,
NSF）聯合發起，目標是通過收集科研資助部門、科研管理部門現有的數據，搭建科研資助機構和大學、科技政策研究者共享的科研管理以及政策研究數據平臺。在此基礎上構建成熟的分析工具集合，來反映聯邦科學投資在經濟、社會以及科學上的成效。具體分析目標分為兩個階段：第一階段重點關注科研投資如何創造就業崗位，第二階段重點關注科研投資更廣泛的影響。分析研究成果不與資金分配直接關聯，而被用來接受社會問責、輔助資助戰略決策（圖1）。
圖1 STAR METRICS評估的基本程序
STAR METRICS 項目框架是由大學或科研資助機構自愿提出參與意愿，參與科研機構每季度接收一份來自 STAR METRICS
團隊發回的本單位分析報告，主要以可視化圖標的方式展示受資助科研工作情況。分析報告能夠清晰、直觀地反映聯邦政府的科學投資是支持的誰、被支持的機構分布在什么位置，以及各科研機構在科研投資方面的其他相關信息。現階段計劃已覆蓋美國大部分聯邦政府投資的科研機構。
STAR METRICS
的分析結果主要用以向大學董事會報告科學投資對當地就業影響的數據依據，以獲得相應支持。這些信息還可改善信息問責和機構管理與績效。在適當情況下，STAR
METRICS團隊也會對來自不同科研機構的匯總數據進行綜合分析，并將結果向公眾公開，以滿足評價政府科研投資是否能夠有效促進就業的要求。同時，科研機構也可利用這些信息去評估和改善本單位的績效。
該框架出臺后在國際上受到廣泛關注并產生了很大影響。日本和歐洲已經加入了該項目。2011年 4月，日本借鑒 STAR
METRICS提出了“發展科學、技術與創新政策方法學的倡議”（Initiative for Development of Science of
Science, Technology and Innovation Policy）；歐洲委員會受 STAR
METRICS啟發也將類似方法應用于其科研評價工作之中進行了探索。
STAR
METRICS框架也面臨著巨大的挑戰，最主要的問題是如何選擇，并只選擇那些可能能夠反應研究與社會影響之間直接因果關系的數據。另外在實際應用中，圍繞
STAR
METRICS的問題遠比其能回答的多，如，聯邦政府機構的數據庫如何與公司和大學的數據匯集到一起、數據的取舍；“科學影響”的定義與準確區分、短期內的分析是否可靠等，但無論如何這代表了科學研究影響力測度的一個方向。在完成第一階段的部分工作以后，2015
年 5 月 4 日，STAR METRICS 團隊代表 Sally
Rockey在項目網站發布聲明，宣布將該項目的所有資源遷移至正在建設中的聯邦政府報告，這意味著 STAR METRICS 項目自 2016年
1月 1日起停止了數據收集工作，也意味著 STAR METRICS
并未有機會按計劃開展第二階段的科學投入社會影響數據的收集與分析工作。雖然政府更替與此有很大關系，但項目本身所面臨的問題和挑戰也表明該評估框架和方法在現實應用中遭遇困境。
本研究選取英國 REF、荷蘭 SEP、美國 STAR METRICS評估項目，分別從評估內容、程序、方式和目標方面，對上述評估項目進行比較分析，分析結果如表 1所示。
表1 REF、SEP、STAR METRICS評估機制比較
科技成果社會影響力評估指標與方法的比較分析
英國 REF、荷蘭 SEP與美國的 STAR METRICS這 3個框架在社會影響評估方面做出了有益的探索。以下將圍繞“什么是科學的社會影響”和“如何評價科學的社會影響”兩個問題，從科學社會影響的定義與指標設定，以及科學社會影響評價方法兩方面進一步探討。
英國REF相關的社會影響評估
英國的 REF
對影響力（impact）定義為：“主要指研究成果在學術以外，為經濟、社會、文化、公共政策或服務、健康、生活環境或質量帶來的影響、變化或益處”。REF
評估框架和提交指南（Assessment Framework and Guidance on
Submission）中，列出了可以視為影響力的包括但不僅限于：任何地理位置（無論是本地、某個地區、國家或國際上）的觀眾、受益人、群體、選區、機構或個人在活動、態度、認知、行動能力、機遇、表現、政策、實踐、過程或理解方面產生的效果、改變或效益，也包括減少或防止傷害、風險、成本或其他負面影響。
評估指標方面，REF按照學科特征，將評估對象劃分為4個主要類別，包括A組集中在生命與醫學類；B組主要是理工工程類；C組集中在社科管理類；D組則主要是人文藝術類學科。每類采用不同的評估指標，最大程度上保證評價標準在不同學科之間的適用性。其中影響力指標方面，生命與醫學（A
組）、理工工程（B組）和社科管理（C組）的影響力指標包括健康和社會福利；社會、文化和創造力；經濟和商業；公共政策和服務；生產；從業者和服務；環境；國際發展等。人文藝術類（D組），影響力范圍更為廣泛，與前三類的差異也更明顯，還涉及公民社會、教育事業、公共話語權等方面。
針對每一個影響力指標的測量指標，REF
還提出了可參考的指標池，供被評單位和評估專家在進行材料準備和評審時參考使用。如在健康和社會福利方面的建議參考的測量指標是臨床結果、公共行為或健康服務得到改善的指標（如挽救生命，感染率降低）；生活得到改善的指標；消費者對健康風險和利益意識增強的證據；對動物福利法規或指導方針變更的書面證據；臨床實踐中的相關證據；臨床操作手冊變更的書面證據；治療或護理的成本降低等。
評價方法方面，REF
要求被評估人以個案敘述的方式列出研究的相關社會影響，并采用“個案研究（casestudy）”方法進行評估。評估材料的設定上，REF影響力評估主要基于高校或科研機構提供的兩類材料影響力案例研究（REF3b）和影響力模板（REF3a），案例研究提供了研究產出影響力的案例，模板則是圍繞便于將研究轉化為影響力這一目標設置的更為廣泛的戰略。REF主要是通過評價專家組對被評估單位遞交的各種材料進行打分，并在不同學科組之間進行核準完成評估。具體是，評估將科研機構按學科分類，分別組成評價專家組，從研究產出質量（權重為
65%）、社會影響（權重為 20%）與研究環境（權重為
15%）3個方面對被評估單位所遞交的材料進行打分和排名，每份案例和模板都有不止一位評審人進行評估和打分。案例打分后，有一個不同分數的核準過程，不同大學科組之間也有一定的核準。除了核準以外，還有一個步驟就是審計，評估組成員可以要求對個案和模板進行審查，以核實是否符合打分的各項標準，也可以對案例中提到的證據源進行核查。審計并非在所有案例中系統開展，只是基于分評估組的要求。此次評估中，74%的高等教育機構（higher
education institutions, HEI）有至少5%的案例接受過審計。
Jonathan Grant等借助文本挖掘分析（主題模型、關鍵詞搜索和信息提取）工具，對
REF的影響力評價方法效果進行研究，結果顯示，英國高等教育機構研究成果的社會影響力廣泛、深遠，給人留下深刻印象，不同類型的高等教育機構往往在不同類型的影響力方面有專攻。影響力個案研究中使用標準化的信息清單和影響力定義，為未來分析提供了豐富的資料來源，表明個案研究是評估研究成果社會影響力的合適方式。
荷蘭SEP相關的社會影響評估
荷蘭 SEP中關于研究的社會影響的評估中一直使用社會相關性（societal
relevance）概念。SEP（2016—2021）的界定是，社會相關性指的是受政府資助的科學研究，在“針對特定的經濟、社會或文化目標團體，政策方面的咨詢報告，公共辯論”等方面貢獻的質量、規模和相關性。SEP
將社會相關性評估指標具體分為3 類（表2）。
表 2 SEP的評估指標
SEP評估中，被評估單位需以案例敘述的方式列出其研究社會影響，內容也需包括案例、相關證據和在影響力方面所采取的戰略。SEP 既對過去 6
年所取得的成果有回顧式評估，也有對未來在此方面戰略的前瞻式評估。因此被評估單位在自評估報告中須詳細列出未來 5~10
年在社會影響方面擬采取的戰略及舉措。SEP評估大部分基于被評估單位所提供的自評估報告，所提建議也只供被評估單位參考。SEP中各個被評估單位的打分之間并無有效的核準與審計。
相比之下，英國 REF 是按照統一標準來衡量所有被評估單位的全國性的綜合評估框架，其框架和指標的設定更為詳盡、復雜和專業。而荷蘭
SEP的評估因為基于被評估單位的自評估報告，所開展的評估和結論更具針對性，但不同被評估單位之間可比性要弱化很多。這說明根據評估目標不同，影響力評估的內容與程序可以專門設定，不必拘泥于定勢。
美國STAR METRICS相關的社會影響評估
美國 STAR
METRICS對社會影響的評估關注科學研究支持對創造工作崗位和經濟發展的影響。由于《2009年美國復蘇與再投資法案》中直接投資基礎科學研究
76億美元，并承諾科學研究資金將創造工作機會，推動美國經濟復蘇。為了向公眾展示科學研究資金如何對美國經濟社會產生影響，美國政府提出了 STAR
METRICS
項目。評估設立了“科學成果促進就業崗位創造”和“關注科學研究的廣泛影響”兩階段目標，重點關注經濟、社會、健康以及知識產出等方面的社會影響，基于數據平臺構建“科技對經濟效益影響”（如就業崗位創造），“科學研究成效”（如通過引用和專利來測度新科學的產生和接受），以及“科研投資的社會效益”（如公共健康方面）的測度方法。
評估方法方面，現有 STAR METRICS 評估采用科學計量方法。STAR METRICS評估計劃響應
2005年聯邦政府提出的發展“科學政策的科學學”（science of science policy,
SoSP）倡議，重點開展定量化、可視化和邏輯化的科技數據挖掘和展示方法，構建基于證據的聯盟政府科技決策模式，為政府科技政策提供定量化支持。因而，STAR
METRICS在評估方法上，一方面重視數據基礎設施，著力于構建評估數據采集和處理平臺，關注現有數據質量的有效性和數據提取的簡易性；另一方面，STAR
METRICS
將開發和擴展現有的研究工具，綜合利用國內或國際的已有各維度數據，把公共數據與機構數據庫相捆綁，建立可擴展的測度體系以降低參與成本，滿足利益相關人的期望，同時將資助機構和受資助方的負擔降至最低。
綜上，REF 研究的社會影響評價主要用于政府未來的資助撥款決策；SEP主要為了幫助被評估單位提高科學研究質量，發現不足；STAR
METRICS則幫助被評估單位更好地進行數據梳理，以向政府交賬。分別從影響力界定、評估方法和指標三方面，對上述評估項目進行比較分析，分析結果如表3所示。
表 3 REF、SEP、STAR METRICS的影響力界定、評估方法和評估指標比較
中國開展科技成果社會影響力評估的建議
從全球發展趨勢看，開展科技成果社會影響力評估勢在必行。多元化的科研活動產生形式多樣化的科研成果，也會產生不盡相同的社會影響力，這對科技成果社會影響力的評估方法和標準體系提出了挑戰。從上述國際經驗中，可以得到如下啟示與建議。
首先，將科技成果社會影響力評估置于公立研究機構績效評價的核心。當前，無論是從公共研發資金績效管理角度，還是從回應社會公眾關切角度，都離不開對科技成果社會影響力的合理評估。中國應當將科技成果的社會影響力評估作為破除量化評價導向、深化科技評價制度改革的突破口。具體可借鑒
REF 和SEP的做法，將社會影響力作為高校和科研機構基礎研究績效評價的重要指標，實施周期性評估，并據此投入公共研發經費和其他公共科研資源。
其次，開發符合中國國情的科技成果社會影響力評估內容與指標體系。為了真正推動中國開展科技成果的社會影響力評估，必須探索符合中國國情的評估內容與指標體系。在評估內容和指標體系設計方面，首先應當貫徹國家重大戰略導向，將科技活動服務國家重大戰略作為評判其社會影響力的首要標準。在此基礎上，要體現三方面的差異。一是評價對象的差異。一方面，正如
REF的做法，不同學科科技成果社會影響力的體現有所不同，應當設置不同的指標。另一方面，不同層次的高校和科研機構定位不同，在社會影響力評估時也需要區別對待。二是區域差異。不同區域間經濟社會發展不平衡是中國的重要國情，也是社會影響力評估內容和指標設計的基本出發點。三是評估結果用途的差異。科技成果社會影響力評估可以用在科技資源投入、宣傳展示、績效考核等多個方面。根據評估結果用途的不同，評估指標和內容也應當有所側重。美國
STAR METRICS的評估指標具有極大的靈活性，可以為不同的評估目的所服務，這為中國科技成果社會影響力的評估提供了有益的啟示。
三是搭建大數據平臺，使用數據驅動的社會影響力評估方法。科技成果的社會影響力評估涉及內容多，難以使用傳統的評估方法。大數據等新一代信息技術的發展為科技成果社會影響力評估提供了新的思路，這也正是美國
STAR METRICS 的發展方向與重要啟示。一方面，中國需要構建一套類似于 STAR
METRICS的基于證據的科技決策系統，建立跨部門的科研活動全過程數據平臺，為科技成果社會影響力的評估提供數據基礎。另一方面，需要積極采納新的技術手段，使用數據驅動的社會影響力評估方法。一是借助數據挖掘、數據整合、自然語言處理、機器學習等技術，結合使用正式數據和圖像、用戶生成內容等網絡數據開展評價。二是使用各類工具手段和數據分析模型，使得評估結果可視化、精細化和智能化。