云端高性能計算崛起，亞馬遜云科技再為人先

HyperionResearch的最新調(diào)查顯示，2021年全球HPC的整體支出（包括本地、云和人工智能）達到了348億美元，并有望在2022年達到400億美元，預計到2026年可以達到500億美元的規(guī)模。而市場增長的亮點來自于云端HPC的旺盛需求，HPC與云的深度融合正在提速。而作為云計算龍頭的亞馬遜云科技，其日前舉辦的re:Invent2022上的系列舉措，則更預示著云端高性能計算時代的到來。

HPC發(fā)展迅速，云端HPC崛起

眾所周知，高性能計算（簡稱HPC）是科學家、工程師和研究人員手中用來完成龐大復雜的計算密集型任務的利器，在天氣預報、石油和天然氣勘探、物理學、量子力學和其它科學領域，到處都能看到運行著的HPC任務，典型的任務包括：制造數(shù)字孿生、計算機輔助工程、計算流體動力學；金融交易平臺、風險建模；媒體視覺效果渲染；跨行業(yè)AI、機器學習、深度學習；醫(yī)學研究、藥物發(fā)現(xiàn)、基因組學、氣候變化；生命科學、分析原子或分子中的物理運動，執(zhí)行核苷酸和基因組測序。

據(jù)TrendForce預測，2021年全球HPC市場規(guī)模達約368億美元，相較2020年增長7.1％，并預估2022年全球HPC市場規(guī)模有望達397億美元，年增長率為7.3%。此外，HPC市場規(guī)模將在2027年前持續(xù)增長，并且2022年的增長率為近幾年最高水平7.3％。

然而，隨著云計算被企業(yè)廣泛采用，業(yè)內(nèi)發(fā)現(xiàn)近年來高性能腦計算的發(fā)展與以往有所不同。那就是云端高性能計算的崛起。

據(jù)Hyperion Research的市場調(diào)研數(shù)據(jù)顯示，2022年底將有18.8%的HPC在云端運行，而這個數(shù)據(jù)在2021年只有12.3%。而來自Market Research Future的報告也表明，云端高性能計算在未來五年會保持21%的年復合增長率，2023年的市場規(guī)模將達220億美元。

對此，專家預測該數(shù)據(jù)在未來幾年還將呈現(xiàn)加速增長的態(tài)勢，因為云可以賦予HPC豐富的“彈性”和更多、更廣的選擇能力，包括資源的擴展性、敏捷性等，還可以大幅降低運維的復雜度，使計價模式更靈活。

欲善其事先利其器：打造最佳HPC云平臺，架構與芯片創(chuàng)新是關鍵

說到云端HPC，目前在全球高性能計算轉(zhuǎn)向云平臺的過程中，約有58%的高性能計算云端計算量處于亞馬遜云科技平臺上。與此同時，亞馬遜云科技在高性能計算領域?qū)覄?chuàng)佳績，連續(xù)四年入選HPC連線雜志“最佳HPC云平臺”，并在2021 CCF年會上獲得高性能計算實例產(chǎn)品創(chuàng)新大獎。

所謂工欲善其事必先利其器，亞馬遜云科技何以打造出最佳HPC云平臺？這就不得不提及AmazonNitro。

眾所周知，Amazon Nitro是亞馬遜云科技基礎架構的核心，從2013年發(fā)展AmazonNitro系統(tǒng)，至今已經(jīng)接近十年的時間。

作為獨立專業(yè)硬件系統(tǒng)，Amazon Nitro深植在每一套物理機里面控制網(wǎng)絡、存儲，以及其他系統(tǒng)，結合其他VPC的環(huán)境、管理、安全的控制，以及監(jiān)控的系統(tǒng)、虛擬化層，最終將計算力交付給客戶。

具體表現(xiàn)在所有跟虛擬化有關的工作全部由Amazon Nitro系統(tǒng)完成，不再占用服務器里面的CPU內(nèi)存本身的資源，意味著釋放CPU內(nèi)存，交付真正的工作負載，而在傳統(tǒng)的數(shù)據(jù)中心環(huán)境里面自己搭建機器虛擬化的系統(tǒng)，可能虛擬化這一層會占整個算力20%，甚至更多的開銷，這是非常大的浪費。相比之下，從底層技術上Amazon Nitro會讓虛擬化的開銷控制在1%以內(nèi)，幾乎和完整的物理機給你的功能是一樣的，但是賦予了云的管理能力、云的安全能力等等。Amazon Nitro在性能上能夠把最新的硬件技術充分地發(fā)揮出來，運用到高性能計算的實際案例中。

此外，網(wǎng)絡能力透過Amazon Nitro可以實現(xiàn)非常低的延時和很高的穩(wěn)定性，同時優(yōu)化了成本，Amazon Nitro是模塊化的系統(tǒng)，可以獨立發(fā)展，每一個模塊可以自由演進，也可以和物理服務器脫離開來，這樣一個靈活的機構加上非常緊密的配合，可以與時俱進地跟上所有硬件的需要，新的硬件的推出Amazon Nitro會給它新的能力，Amazon Nitro的發(fā)展也會給硬件帶來能力進一步的提升，兩者相輔相成。

在我們看來，Amazon Nitro幾乎是業(yè)內(nèi)最早開始嘗試將硬件虛擬化、云計算專用芯片整合而成一個統(tǒng)一架構平臺的產(chǎn)品嘗試，背后的核心的動力源于亞馬遜云科技對云計算本身的理解，即：彈性、安全、性能、成本、可用性及可持續(xù)性，這也是亞馬遜云科技在云計算領域的建設理念。在Amazon Nitro出現(xiàn)前，無論何種虛擬化方案，都無法將大部分資源用于客戶的計算服務，也無法降低服務采用門檻，Amazon Nitro實現(xiàn)了近乎裸機的性能是一種事實上的突破。另外，云計算的安全問題自虛擬化技術誕生之初就伴隨出現(xiàn)，Amazon Nitro則把安全性推到一個新的高度。

簡而言之，Amazon Nitro很好地化解了此前在云端獲取高性能計算時用戶所面臨的管理、能效及安全的挑戰(zhàn)，加速了云端高性能計算的落地。

目前亞馬遜云科技已經(jīng)在Amazon Nitro系統(tǒng)的加持下，有超過600款計算實例，幾乎可以滿足一切云上負載的需求。如今每天有超過6000 萬個新的Amazon EC2實例在亞馬遜云科技上被創(chuàng)建。

需要說明的是，自2013年推出 AmazonNitro系統(tǒng)以來，亞馬遜云科技還開發(fā)了多個自研芯片，包括五代Amazon Nitro系統(tǒng)、致力于為各種工作負載提升性能和優(yōu)化成本的三代Amazon Graviton 芯片、用于加速機器學習推理的兩代 Amazon Inferentia芯片，以及用于加速機器學習訓練的Amazon Trainium芯片。

而每推出一款新的芯片，亞馬遜云科技都進一步提升了這些芯片支持的Amazon EC2實例的性能、效率以及更優(yōu)化的成本，為客戶提供了更多的芯片和實例組合選擇。

就像亞馬遜云科技Amazon EC2副總裁David Brown所言：“從Graviton到Trainium、Inferentia再到Nitro，亞馬遜云科技每一代自研芯片都為客戶的各種工作負載提供更高的性能、更優(yōu)化的成本和更高的能效。

當然，除了上述架構及芯片的創(chuàng)新外，面向行業(yè)需求與用戶痛點，具備大量高度產(chǎn)業(yè)指向的軟硬件構成的HPC生態(tài)也是亞馬遜云科技在云端高性能計算領域不可或缺的因素。

一切剛剛開始：re:Invent 2022，云端高性能計算創(chuàng)新不止

盡管在云端高性能計算已經(jīng)處在領先的位置，但對于亞馬遜云科技而言，一切剛剛開始。

日前召開的re:Invent 2022 大會上，亞馬遜云科技正式推出了針對高性能計算優(yōu)化的Amazon Graviton3E芯片，進一步優(yōu)化了浮點運算性能，在HPL基線測試中，工作負載的性能提升35%，對比上一代耗能減少60%。

與此同時，亞馬遜云科技還發(fā)布了第五代Nitro系統(tǒng)，相比于前一代產(chǎn)品，晶體管數(shù)量比前一代增加了一倍，提供更高的計算性能，同時DRAM內(nèi)存性能提升了一半，PCle帶寬提升兩倍，降低約三成延遲，每瓦性能提高四成，網(wǎng)絡轉(zhuǎn)發(fā)性能提高六成。

基于上述新發(fā)布的芯片和系統(tǒng)，亞馬遜云科技推出了面向不同工作負載的全新高性能計算實例，以幫助高性能計算客戶更好地應對不同的工作負載，如計算密集型負載、計算和網(wǎng)絡密集型負載、數(shù)據(jù)和內(nèi)存密集型負載等，同時提供超高的性價比，進一步推動高性能計算的普及。

例如Amazon EC2 Hpc實例就采用了新發(fā)布的Graviton3E芯片，提供了更多的網(wǎng)絡功能，擁有更高的內(nèi)存帶寬和200Gbps的EFA彈性結構適配器網(wǎng)絡，性能方面與當前一代C6gn實例相比浮點性能提高了2倍，與當前一代Hpc實例相比性能提高了20%，為亞馬遜云科技上的高性能計算工作負載提供了超高性價比。

而Amazon EC2 Hpc6id實例則是基于Amazon Nitro系統(tǒng)構建，旨在為數(shù)據(jù)和內(nèi)存密集型HPC工作負載提供領先的性價比，具有更高的每核內(nèi)存帶寬、更快的本地SSD存儲以及帶有彈性結構適配器的增強網(wǎng)絡。Hpc6id實例提供200Gbps彈性結構適配器網(wǎng)絡，用于高吞吐量節(jié)點間通信，使客戶HPC工作負載能夠大規(guī)模運行。

Amazon Hpc實例則是此前推出的計算密集型實例，廣泛用于天氣預報、流體動力學計算、金融期權定價等領域，與基于X86架構的實例相比，它的性價比高出65%。

眾所周知，模擬仿真是高性能計算的一大應用場景，為此，亞馬遜云科技在re:Invent2022全球大會還推出了完全托管的計算服務Amazon SimSpace Weaver，基于亞馬遜云科技的高性能算力，幫助客戶構建、操作和運行大規(guī)模的空間模擬仿真系統(tǒng)。

借助Amazon SimSpace Weaver，客戶可以部署空間模擬應用，對具有多個數(shù)據(jù)點的動態(tài)系統(tǒng)進行建模（例如整個城市的交通、場館內(nèi)流動的人群或工廠車間的布局），模擬可視化的物理空間，運行沉浸式的訓練模型，獲得不同情景下的關鍵指標并做出明智的決策。客戶使用Amazon SimSpace Weaver可模擬出100萬個以上、實時交互的仿真對象，創(chuàng)建比以往更加復雜的環(huán)境，并且將模擬仿真系統(tǒng)部署的時間從數(shù)年縮短至數(shù)月。

直到今天，空間模擬通常僅限于在單個硬件上運行。如果開發(fā)人員想模擬一個包含大量獨立且動態(tài)實體的更大、更復雜的世界，他們需要配置一臺更大的計算機。模擬開發(fā)人員被迫在規(guī)模和保真度之間做出權衡，換句話說，就是要確定世界有多大、有多少獨立實體，亞馬遜云科技突破了這個挑戰(zhàn)。

寫在最后：從天氣建模到基因組作圖，再到搜尋地球外的空間信息，HPC（高性能計算）如今已遍布多個行業(yè)正在幫助推動先進計算技術的發(fā)展，現(xiàn)在云計算已經(jīng)可以全面支持HPC計算并推動HPC在各行各業(yè)的落地。

值得注意的是，隨著硬件技術的創(chuàng)新，以及人工智能的迅猛發(fā)展，亞馬遜云科技發(fā)現(xiàn)越來越多的HPC任務和AI、ML、DL相結合。這就要求為客戶提供相對應的方案，也由此催生出HPC+的概念——從更廣泛的維度，包括加速計算、機器學習、深度學習等多方面去設計服務和構建方案，即一個全新的HPC+的云端高性能計算時代已經(jīng)到來，而亞馬遜云科技無疑再次站在了潮頭。