摘要
現代科學研究和工程技術中,高性能計算應用將建模、算法、軟件研制和計算模擬融為一體,已成為高性能計算機實現在重大科學發現的前沿基礎科學研究領域應用的必要紐帶。文章從高性能計算機的發展趨勢、不同科學計算應用對高性能計算機的需求談起,回顧和剖析了來自中國科學院多個學科的科學家協同通關,發揮學科深度交叉的優勢,在“曙光1000”并行計算機上完成了多個應用軟件并在天然DNA的整體電子結構理論計算、激光晶體材料(LBO)電子態理論分析及廣義本征值并行計算等方面取得了令人矚目的高水平成果的案例。多年來,中國科學院始終位列我國科學計算應用發展的前沿。在應用水平、計算規模及成果顯示度均取得了長足進步的背景下,文章選取了大氣科學、生命科學、高能物理、計算化學和材料科學等典型傳統科學計算應用,從科學家的視角對它們的現狀、領域發展促進及未來趨勢作了介紹,以期能引發讀者更深入的思考與關注。最后,提出了進一步發展我國科學計算的若干建議。
關鍵詞:科學計算 高性能計算機 高性能計算應用
科學計算是指應用計算機處理科學研究和工程技術中所遇到的數學計算問題。在現代科學研究和工程技術中,常常遇到大量復雜數學計算。其復雜程度往往超越了人腦運算的能力,必須使用計算機進行求解。而計算科學的應用水平已成為衡量國家科技發展水平的重要標志之一;其應用的深入程度則反映出對科學問題探索與理解的深度。2013年10月,美國哈佛大學Martin Karplus教授、斯坦福大學Michael Levitt教授和南加州大學Arieh Warshel教授3位科學家獲得了諾貝爾化學獎,獲獎理由是“為復雜化學系統創立了多尺度模型”。評選委員會在聲明中指出,對當今的化學家而言,計算機已成為與試管同等重要的工具,計算機對生命現象的模擬已為化學大部分研究成果的取得立下了“汗馬功勞”。這無疑會進一步加深各學科對計算模型和計算科學的認識與應用,并將引領學科發展進入下一波浪潮。
1.高性能計算應用需應對高度異構的挑戰
自20世紀中葉后,高性能計算機的發展取得了長足進步,其計算能力不斷地得到提高。特別是進入21世紀以來,高性能計算在重大科學發現的前沿基礎科學研究領域已逐漸成為不可或缺的重要手段之一。近年來,高度異構和內部網絡高速互聯是現代高性能計算機體系架構的重要發展方向。而對于若干典型的高性能計算應用,通訊與計算能力不匹配的矛盾較為突出[1, 2]。一般說來,現代計算機的處理器和加速部件往往達到幾千億次至幾萬億次的浮點運算能力,而目前性能較好的內部互聯網絡的帶寬雖達到了200 Gb,仍然相對較慢。
超大規模科學計算的顯著特征是可計算問題的規模巨大,TOP500排名前十的超級計算機系統一般擁有千萬個以上數量的處理器核心,按照單處理器核心可處理100萬個未知量來計,這意味著可計算處理具有1萬億個自由度的復雜系統。即便如此,當今世界上計算能力最強的這些高性能計算機在那些復雜度更高的科學計算應用對計算能力幾乎無止境的需求面前,也顯得杯水車薪[3, 4]。因此,應用和計算科學家往往不得不采用簡化模型、對計算問題進行預條件處理和采用混合精度等手段來降低計算量。從算法的角度來說,美國超算領域的著名數學算法專家Colella[5]于2004年提出了科學計算的7種算法模型,即結構性網格、非結構性網格、快速傅立葉變換(FFT)、稠密線性代數(Dense Linear Algebra)、稀疏線性代數(Sparse Linear Algebra)、粒子動力學(Particles)、蒙特卡洛(Monte Carlo),被稱為“七個小矮人”。這7種算法模型對高性能計算機提出了不同方面和層次的需求,也基本覆蓋了常見高性能計算應用。
2.我國高性能計算應用的矚目成果
2.1 中國科學院科學家聯合攻關取得令人矚目的高性能計算應用成果
高性能計算應用的發展和進步需要數學、計算科學、應用領域等學科的深度交叉融合。20世紀90年代中期[6, 7],中國科學院軟件研究所、生物物理研究所、物理研究所以及北京科技大學、國家智能中心的科學家聯合攻關,在國產“曙光1000”并行計算機上,完成了多個應用軟件,并在天然DNA的整體電子結構理論計算、激光晶體材料(LBO)電子態理論分析及廣義本征值并行計算等方面取得了令人矚目的高水平成果。生物物理學、物理學等應用領域的科學家設計出便于在“曙光1000”上實現的新方案,并在運維人員的密切配合下,使其付諸實施。而計算科學家則針對“曙光1000”的特點,提出了“黑匣子并行”的思想和并行方案;同時,在理論上證明了若干收斂性定理,為保證計算結果的正確性及準確預估迭代時間提供了可靠的理論保證。這是中國科學院非常具有代表性的多領域科學家聯合攻關,發揮物理模型、算法和高性能計算技術多學科優勢和深度交叉的力量,取得高水平成果的成功案例。后來,參與攻關的中國科學院物理研究所王鼎盛與中國科學院生物物理研究所陳潤生分別因在計算物理學與計算生物學上的成就而被增選為中國科學院院士。
2.2 中國高性能計算應用取得“戈登·貝爾”獎的突破
近年來,我國科學家在高性能計算應用領域又取得了新突破。在大氣科學的全球大氣動力學的高性能計算研究方面,由中國科學院軟件研究所楊超、清華大學薛巍和付昊桓領銜的應用成果——“千萬核可擴展全球大氣動力學全隱式模擬” [8]在2016年11月美國鹽湖城舉辦的“全球超級計算大會2016”(SC16)上一舉拿下高性能計算應用領域最高獎——“戈登·貝爾”獎②,實現了我國高性能計算應用在此項大獎上零的突破,成為我國高性能計算應用發展的一個新的里程碑。該課題在應用與算法2個層面實現了重大突破:①應用層面。大氣動力過程的模擬速度較美國下一代大氣模擬系統AM3(GFDL開發)的計算效率提升近1個數量級。全隱式求解方法是未來超高分辨率大氣模式構建的一種新選擇。②算法層面。實現目前世界上第一個可擴展到千萬核,峰值效率超過6%的隱式求解器,它將模擬分辨率提升至500米以內,并行度和峰值效率較2015年“戈登·貝爾”獎工作均提升一個數量級。該成果可應用于全球高分辨率氣候模擬和高精細數值天氣預報,并在航空、地學、工程學等領域的挑戰性計算問題中有廣闊應用前景。
3.我國典型傳統科學計算應用現狀與發展
多年來,中國科學院一直走在我國科學計算應用發展的前列。無論是應用水平、計算規模還是成果顯示度均取得了長足的進步。除了上述代表性成果,中國科學院的應用成果還有許多。但因篇幅所限,以下僅選取幾個中國科學院典型傳統科學計算應用領域,從科學家視角,談談科學計算應用現狀與發展和一些思考,以期窺一斑見全貌,更希望能引發讀者更深入的思考與關注。
3.1 大氣科學之全球氣候海洋模式
3.1.1 現狀
全球氣候海洋模式是氣候系統模式的重要組成部分,也是氣候研究、氣候預測和預估不可或缺的工具??臻g分辨率的持續增加是海洋環流模式發展的重要趨勢之一。全球高分辨率海洋模式的發展要追溯到20世紀90年代初,第一個全球25公里的海洋模式使用了美國地球物理流體力學實驗室(GFDL)發展的MOM模式。21世紀開始,隨著以日本的“地球模擬器”為代表的大型超算平臺的發展,國際上有20多家模式開發中心開始進行全球渦分辨(10公里)模式的發展和研究,包括日本的JAMSTEC,美國的NCAR、NOAA
GFDL、FSU,以及德國的MPI氣象研究所等。
我國國內的高分辨率全球海洋模式多是引進國外的模式,如在氣候模式應用的MOM和POP模式,以及在預報系統中采用的HYCOM和NEMO模式。中國科學院大氣物理研究所在全球海洋模式發展方面進行了長期攻關,所發展的渦分辨率全球海洋環流模式——LASG/IAP氣候系統海洋模式(LASG/ IAP Climate System Ocean Model,LICOM)[10]也是我國唯一自主發展的全球海洋環流模式。LICOM海洋模式的模擬結果參與了歷次國際耦合模式比較計劃(CMIP)并被政府間氣候變化專門委員會(IPCC)引用,其最新版本的模式被國際同行認為是對ENSO(El Ni?o-Southern Oscillation)模擬能力最好的模式之一。不僅如此,基于LICOM海洋模式成功地研制了水平分辨率為10公里的海洋環流模式,可顯式地模擬海洋中尺度渦旋。中國科學院計算機網絡信息中心王文浩等[11]采用MIC并行優化LICOM,實現了較好的加速效果,加速比達到2.09。高分辨率的LICOM支撐了國家和中國科學院的多項大型專項,也應用在國家海洋局環境預報中心等海洋業務中,為日常經濟活動等提供了海洋環境保障。
3.1.2 對領域應用的促進
對歷年參加CMIP計劃模式中海洋分量模式分辨率的分析表明,氣候海洋模式最高分辨率的增長基本與計算機發展的摩爾定律相吻合,即模式的分辨率受限于計算能力。隨著高性能計算的發展,近期美國國家航空航天局(NASA)采用MITgcm海洋模式,進行了全球2公里的試驗。雖然試驗受限于計算量和存儲量,僅僅運行了1年左右,但其結果第一次實現了對全球次中尺度渦的垂直輸送的估算,發現了次中尺度渦在海洋上層熱量收支中的重要作用,對于海洋科學和氣候變化研究都有重要的意義。與此同時,國內的多家海洋研究單位,也在著手嘗試聯合進行此方面的研發,有逐步趕超國際的發展趨勢。
3.1.3 發展趨勢
隨著E超級計算平臺的研發,全球海洋模式的水平分辨率必然也會向公里級、百米級發展,可分辨種類更齊全的海洋運動形式,如次中尺度渦、內波等。在數值模式中分辨更多的海洋運動形式也是海洋科學的重要發展趨勢,而國產計算系統的建設是發展我國自主研制超高分辨率海洋模式的絕佳契機。
3.2 大氣科學之全球空氣質量預報
3.2.1 現狀
為了應對大氣污染問題,歐盟、美國、日本和中國均建立了依托高性能計算機的空氣質量數值預報中心。我國于2015年建立了國家空氣質量預測預警裝置,包括峰值達130萬億次的高性能計算機系統、環境空氣質量數值預報模式系統、環境空氣質量數值預報模式系統并行環境系統、支撐保障系統。這一裝置成為我國近年來應對大氣重污染事件的核心工具,有效支撐了我國大氣污染防治計劃的開展。
西班牙Martín等[12]采用OpenMP對STEM-Ⅱ(Sulphur Transport Eulerian Model 2)進行了并行化,并在SGI O2000多處理器、富士通AP3000多計算機和PC集群上開展了測試,結果表明并行代碼的模式程序可以顯著減小模式運行所需的CPU計算時間。德國Lieber和Wolke[13]發展了一種能有效解決化學傳輸模式負載不均衡問題的改進耦合方案,有效提高了化學傳輸模式的并行計算效率。朱云等[14]研究了CMAQ模型在64位Linux操作系統上不同CPU核心數目并行計算模擬耗時以及結果的差異情況。研究結果表明,并行計算能大幅縮短CMAQ模擬耗時,以16個CPU核心并行處理為性價比最佳值;多于16個核心并行處理時,隨核心數量的增加模型性能提升的趨勢減緩。王自發等[15]基于高性能計算集群建立了具備多模式集合預報功能的空氣質量多模式集成預報業務系統,有效支撐了北京奧運會的空氣質量保障,推動了我國空氣質量預報預警能力的快速提升。Wang等[16]針對空氣質量模式中計算耗時大的氣相化學模塊,設計了化學動力學模擬的新框架,以適應下一代處理器中單一指令多數據(SIMD)技術的使用,通過矢量化實現細粒度級并行化,可使空氣質量預報模式實現3倍以上的加速計算。Wang等[17]利用“地球系統數值模擬裝置”的原型系統“硅立方”首次實現了中國區域5公里水平分辨率多年的大氣污染高精度模擬。
3.2.2 對領域應用的促進
基于高性能計算的城市、區域和國家空氣質量預報雖然已取得了長足的進步并具備了較強的預報預警能力,但全球空氣質量的預報預警能力仍然非常有限且不確定性大。一方面,由于空氣質量數值模擬與預報涉及非常復雜的多尺度大氣物理化學過程以及毫秒級大氣化學反應和微物理過程的模擬,計算代價高昂,全球空氣質量模擬預報仍停留在較粗的空間分辨率(>25公里),難以合理表征很多次網格尺度過程(如機動車、電廠等排放過程以及局地環流過程)。目前,尚未有國家實現高分辨率(<10公里)的全球空氣質量預報。另一方面,受計算資源約束,現有全球模式對很多物理化學過程都進行大幅簡化處理,同時排放源、氣象場等輸入數據不確定性大,進一步加大了全球空氣質量預報的難度和不確定性。因此,我國空氣質量預報能力提升亟待超級計算資源和技術的支撐。
3.2.3 發展趨勢
未來,隨著我國超算能力的不斷增強以及國產計算系統的研發,給我國乃至全球空氣質量預報、預警提升提供了巨大的機會。目前,我國在建的國家重大科技基礎設施“地球系統數值模擬裝置”將研發全國3公里、重點地區1公里水平分辨率的區域高精度大氣污染模式,建成后將大幅提升我國區域大氣污染模擬預報能力。此外,依托國產計算系統也正在研制高分辨率全球空氣質量智能化網格預報系統,必將大幅提升我國在全球空氣質量預報上技術能力和研究水平。
3.3 生命科學之藥物設計
3.3.1 現狀
自20世紀70年代以來,基于計算的藥物發現與設計(Computational Drug Discovery and Design,CDDD),也稱之為計算機輔助藥物設計(Computer-Assisted Drug Design,CADD),經歷了顯著提升。隨著分子生物學和結構生物學的快速發展,大量重要疾病相關的生物大分子的三維結構和生物功能得以確定。同時,隨著高性能計算機的快速發展,計算方法在藥物發現和分子模擬中的應用不斷增加。量子力學、分子力學、分子動力學以及這些方法的組合已廣泛用于疾病靶點及藥物開發研究。
近10年,基于國產超級計算機的發展,中國科學家在生物大分子分子動力學模擬研究領域取得了較大進展,尤其是中國科學院上海藥物研究所的(以下簡稱“上海藥物所”)藥物靶標動態行為研究取得了系列創新成果,闡明了眾多藥物靶標功能及藥物作用機制。目前,基于國產超級計算機,上海藥物所研究團隊開展了40萬個原子體系的全原子十微秒尺度的分子動力學模擬,其水平不落后于世界最高水平。但在中小規模(~5萬個原子)的全原子分子動力學模擬中,國外的超級計算機,如Anton[18]已可以支撐十毫秒級分子動力學模擬,而我國現有超級計算機只能支撐百微秒級分子動力學模擬。
同時,作為藥物分子設計重要手段之一的高通量虛擬篩選(High Throughput Virtual Screening,HTVS)技術,亦稱為并行分子對接(Parallel Molecular Docking)技術的發展,使得藥物分子設計的速度、成功率均得到了大幅提高。但高通量虛擬篩選計算需要消耗大量的高性能計算資源,計算開銷非常昂貴。
3.3.2 對領域應用的促進
傳統上,在制藥行業中上市新藥是非常困難的過程。在美國,一種新藥的上市往往需花費超過10億美元并耗費10—17年的時間。基于生物大分子(如蛋白質和核酸)三維結構的一系列CDDD方法,如高通量虛擬篩選方法,極大地提高了藥物發現的效率。根據美國政府報告,由于CDDD技術應用,每種藥物平均開發成本減少了約1.3億美元,研發時間縮短了約1年。
目前,國際各大制藥企業均開始重視高性能計算在藥物研發中的應用,采用自建高性能計算或與高性能計算服務商及超級計算中心合作的方式來解決創新藥物研發進程緩慢的問題。特別是D. E. Shaw Research通過招募數百名數學、化學、生物學等專業以及計算機軟硬件方面的優秀人才,開發了蛋白質模擬專用機Anton[18]和Anton 2[19],多次獲得“戈登·貝爾”獎;為其專用機發展的分子動力學模擬Desmond程序已經成為藥物研發軟件Schrodinger(薛定諤)的核心組件之一,是該軟件實現高精度自由能計算FEP的主要模塊。2016年,美國500強企業吉利德科學公司(Gilead Sciences)投資1.2億美金購買Nimbus制藥的治療肝病的藥物,該事件成為一時的熱點,被美國著名媒體《福布斯》雜志報道。Nimbus公司是美國薛定諤公司技術參股公司,該藥物完全是用Schrodinger軟件設計,計算機設計加實驗驗證總耗時僅1年時間,時間之短令業界震驚。
“十二五”期間,上海藥物所依托我國自主研發的“天河二號”和“神威·太湖之光”超級計算機開發了大規模并行的分子動力學模擬軟件、虛擬藥物篩選方法及軟件,實現了最高156萬核并行,并行效率達85%;在針對腫瘤、糖尿病、乙肝等重大疾病靶標蛋白的藥物研發中獲得了顯著成果,多個化合物完成技術轉讓,取得了巨大經濟效益。
3.3.3 發展趨勢
新發突發大規模感染性疾病和抗感染藥物耐藥問題嚴重威脅人類生命與健康。應對新發突發大規模感染性疾病,基本上無現成藥物可供選用。因此,快速實現從無到有的突破在應急應對中顯得無比重要,而采用超級計算機藥物虛擬篩選技術可在短時間內獲得候選化合物,提供緊急應對方案。對抗感染藥物耐藥問題,只有采用新策略和新機制開展新類型抗感染藥物研究,方有可能緩解病原微生物對傳統抗感染藥物的耐受難題。與病菌耐藥相關的蛋白以及途徑種類繁多,且在結構水平上的耐藥機制尚未完全闡明。因此,對細菌蛋白耐藥機制進行研究十分必要,而這就需要對生物大分子的結構與功能進行研究。近2年內的技術突破使超大復合物的高分辨結構研究成為可能,高分辨冷凍電鏡技術的突破則成為重要的推動手段之一。科學家利用各種技術獲得蛋白質三維結構后,采用分子動力學模擬進行結構功能研究和自由能微擾方法進行小分子藥物設計改造。冷凍電鏡三維重構、分子動力學模擬均需要耗費大量的高性能計算機時,而隨著國產超級計算系統的應用,將會大幅減少藥物設計對實驗的依賴并顯著提高藥物研發效率。
3.4 基礎科學之高能物理
3.4.1 現狀
高能物理的研究對象是物質世界的基本結構及基本相互作用。量子色動力學(QCD)和電弱統一理論(EW)通稱為粒子物理的標準模型,是目前高能物理研究的基本理論體系。高能物理的前沿重要課題有強相互作用中的夸克禁閉、標準模型精確檢驗和超出標準模型的新物理的尋找;與之相關的重大物理問題有強子結構和強相互作用低能特性、宇宙早期演化、中微子性質和中微子質量起源、暗物質和暗能量等。
高性能計算在高能物理中發揮著日益重要的作用,應用范圍包括海量的高能物理實驗數據的分析(數據密集型)、對撞機和探測器的計算機模擬輔助設計(計算密集型),以及以格點量子色動力學(格點QCD)為代表的高能物理理論計算(計算密集型)。隨著計算機技術的發展,高能物理中的高性能計算已經成為與傳統的高能物理實驗、理論研究并列的第三大分支;其中格點QCD以其高強度、高可擴展性、高并行效率等特點,長期成為高性能科學計算的主要應用領域之一。曾于1988年、1998年和2006年3次獲得“戈登·貝爾”獎,2018年也入圍了該獎項的候選名單。
歐、美、日等發達國家和地區歷來十分重視格點QCD研究并保持在該領域的領先地位。目前,美國格點QCD研究每年消耗的計算資源為幾百兆CPU核小時,預計到2025年將達到目前的幾十至一百倍。格點QCD已被美國列為其未來E級計算機的重點應用之一,并組織研究隊伍在物理課題、算法研究和程序開發等方面開展研究。
我國的格點QCD研究也有長期積累,目前正在組織相關團隊基于國內的超級計算系統調試和開發格點QCD的應用軟件,期望在未來參與到該領域E計算應用發展中。
3.4.2 對領域應用的促進
格點QCD的研究手段是進行大規模的Monte Carlo數值模擬研究,屬于典型的高性能科學計算領域。其對于高能物理中的重大科學問題研究有不可替代的作用,直接服務于未來高能物理的重大物理發現。在標準模型精確檢驗和超出標準模型新物理尋找方面,格點QCD可以提供標準模型基本參數(如夸克質量、強耦合常數等)的最精確的理論結果;可以從第一性原理提供對新物理敏感的強子矩陣元的精確、可靠的理論輸入。在夸克禁閉等強相互作用低能特性方面,格點QCD可以對新型強子態、強子-強子相互作用以及強子結構等問題給出模型無關的物理結果。
格點QCD研究成果的物理意義和國際地位直接決定于對統計誤差和各種系統誤差的控制水平,而誤差大小直接決定于計算規模和計算資源。格點QCD的系統誤差主要來自四維時空格點體系的物理大小、格點細密程度以及夸克質量參數的選取。目前國際上格點QCD研究的最大的格點體系大小為1283×256,計算規模大約十萬或數十萬核;如果未來規模提高到2563×512,則計算規模將增大到數百萬核,必須使用E級計算。正所謂“計算決定未來”,計算能力和資源對高能物理未來的重要發現和理論突破的意義是不言而喻的。
3.4.3 發展趨勢
美國面向格點QCD研究的未來E級計算應用早已開始布局,國產高性能計算系統將為我國的格點QCD研究直接參與國際競爭提供十分重要的計算支撐。北京正負電子對撞機和北京譜儀(BEPCII/BESIII)是國際上工作在粲夸克能區獨一無二的高亮度的實驗裝置。在輕強子性質研究,尤其是在新型強子態(如膠球、混雜態和XYZ粒子)研究方面有潛在的重大物理發現,但需要理論研究的支持,其中格點QCD的研究必不可少。
我國格點QCD研究將基于國產高性能計算系統開展與BESIII物理密切相關的研究,為實驗研究提供精確可靠的物理判據,以期產生重要物理成果。核子(質子和中子)是宇宙可見物質的主要組成,但我們對其結構并不十分清楚,我國籌建的中國高能電子-離子對撞機(EicC)和美國的高能電子-離子對撞機(EIC)及JLab的重要目標之一是研究核子結構。中國的格點QCD研究將針對核子質量、自旋核子三維結構以及對新物理敏感的強子矩陣元進行具有原創性的科學研究。同時,通過大規模的科學計算實踐,我國科學家可為格點QCD研究的計算方案、算法和軟件作出貢獻。
本文摘抄自《中國科學院院刊》2019年第6期
由金鐘、陸忠華、李會元、遲學斌、孫家昶等撰寫
(未完待續)