1956年那個燥熱的夏季,寧靜的漢諾斯小鎮里,那場在后來相當知名的“達特茅斯會議”,雖然敲定了“人工智能”作為“用機器來模仿人類學習以及其他方面的智能”的技術的代名詞,但是對它的未來,應該是沒有明確預判的。那些當時的行業“超腦”沒有想到,“人工智能”在此后的幾十年里波浪式前進、階段性停滯、多次修正,并在某一個階段突然爆發式崛起,而諸如“大模型”、“生成式”這樣的術語,在那時,是未被討論、規劃甚至設想過的:在2020年之后,“人工智能”不僅有了真正的“靴子落地”的傾向,而且“腳印”加深,“腳步”加快。
特別是在Transformer出現后,大模型的規模平均每隔半年就會翻倍。目前,OpenAI最先進的大模型有1.8萬億參數,而前述擴張速度或許代表,這種參數規模,對于未來,仍然不過是個“開始”。這個時候,壓力就越來越明確地給到了“算力”。
在英偉達 GTC 2024的主旨演講中,英偉達創始人兼首席執行官黃仁勛表示,如果用一顆petaflop(每秒鐘可進行1千萬億次運算)量級的GPU來應對前述大模型需要的計算規模,用時約1000年,“不夠快”,“不夠大”。
也是基于此,GTC 2024現場發布Blackwell GPU,AI性能達到20 petaflops,相比作為主要面向大規模AI和HPC應用的英偉達第九代數據中心GPU的Hopper,Blackwell的AI性能提升5倍,片上存儲提升4倍。同時,包含多項計算加速技術。黃仁勛說,“Hopper很棒,但我們需要更大的GPU”,Blackwell就“非常非常大”。
外界將Blackwell稱之為“算力核彈”。
不過,正如“核彈”需要很好的“發射平臺”,要推動AI創新領域的“算力引爆”,英偉達并不是“一個人在戰斗”,與之攜手、提供優秀“平臺”的,是與英偉達有13年合作歷程的亞馬遜云科技。后者致力于讓最先進的AI算力在云端觸手可得,Blackwell GPU平臺即將登陸亞馬遜云科技,亞馬遜云科技將提供NVIDIA GB200 Grace Blackwell 超級芯片和 B100 Tensor Core GPU。
具體而言,雙方的延伸合作,在AI前沿技術探索的規模、性能、安全、應用等維度亮點突出。
在云上加速超萬億級參數大模型研發
從黃仁勛的言語間,不難看到,英偉達Blackwell,劍指萬億參數規模大模型。
Blackwell架構下的新品NVIDIA GB200,包含兩個B200 GPU(單個包含2080億個晶體管)和一個Grace CPU,在具有1750億個參數的GPT-3大語言模型基準測試中,GB200性能是H100的7倍,訓練速度是H100的4倍,成本和能耗上GB200比H100降低了25倍。
亞馬遜云科技將提供配置GB200 NVL72的英偉達Blackwell平臺,該平臺具備配備72顆Blackwell GPU和36顆Grace CPU,通過第五代NVIDIA NVLink?互連。亞馬遜云科技則在云中為其提供強大的EFA網絡連接、高級虛擬化的Amazon Nitro系統和Amazon EC2 UltraClusters超大規模集群等技術支持,客戶能夠在亞馬遜云科技上擴展至數千個GB200 Superchips。
亞馬遜云科技還計劃提供配備基于新的英偉達B100 GPU的Amazon EC2實例,并能夠在Amazon EC2 UltraClusters中進行大規模部署。此前,亞馬遜云科技已經成功推出了基于英偉達H100芯片的Amazon EC2 P5實例,客戶能夠在云上將其P5實例擴展到超過2萬個英偉達H100 GPU,后續還提供可短期使用這些實例的EC2 Capacity Blocks for ML功能,以幫助客戶更好地安排云上生成式AI開發進程。
GB200芯片同時也在亞馬遜云科技和英偉達共同開發的AI平臺NVIDIA DGX? Cloud上可用,這是一個在亞馬遜云科技上雙方共同開發的AI平臺,為企業開發者提供了構建和部署先進生成式AI模型所需的專用基礎設施和軟件。
綜上來看,亞馬遜云科技通過對英偉達的Blackwell GPU的支持,在應對資源密集型和數萬億參數語言模型等推理工作負載加速方面實現了巨大飛躍。
Ceiba性能翻6倍,助力更多領域創新
在去年11月底亞馬遜云科技2023 re:Invent全球大會上,Ceiba首次亮相,是當時英偉達與亞馬遜云科技合作建造的世界上最快的AI超級計算機之一,當時的計算性能為65exaflops,,專為英偉達自身的研究和開發而設計,并獨家托管在亞馬遜云科技上。
伴隨Blackwell出現,Ceiba項目迎來新進展,將采用GB200芯片進行設計。新的Ceiba項目擁有20736顆B200 GPU的超級計算機,采用新型NVIDIA GB200 NVL72系統構建,該系統利用第五代NVLink技術連接10368顆NVIDIA Grace CPU。系統還通過亞馬遜云科技的第四代EFA網絡進行擴展,為每個Superchip提供高達800Gbps的低延遲、高帶寬網絡吞吐量,能夠處理高達414exaflops的AI計算量。
這與之前計劃在Hopper架構上構建的Ceiba相比,性能翻了6倍。
以此為依托,英偉達將基于Ceiba項目推進大語言模型、圖形(圖像/視頻/3D 生成)與仿真、數字生物學、機器人技術、自動駕駛汽車、NVIDIA Earth-2 氣候預測等領域的 AI 技術,從而推動更多領域的生成式 AI 創新。
生成式AI開發安全更進一步
類型、規模龐大的安全問題,在近年來與大模型、生成式AI探索幾乎相伴而生。通過合作,亞馬遜云科技與英偉達繼續強化了生成式AI的安全性。
一方面,英偉達也在Blackwell架構中增加了機密計算功能來強化AI的安全性。另一方面,Blackwell架構包含了可靠性引擎RAS,該引擎通過AI對可靠性、安全性等相關問題進行預測和預先診斷,在穩固運行的同時進一步降低運營成本。
至于亞馬遜云科技,首先,堅持客戶擁有并能夠始終控制其數據,并確保數據不會與第三方模型提供者共享。
其次,Amazon Nitro系統與英偉達GB200結合能夠阻止未授權個體訪問模型權重。
GB200支持對GPU間的NVLink連接物理加密以及CPU和GPU間的數據傳輸加密,同時還能夠利用Amazon EFA對分布式訓練和推理過程的數據進行加密。
受益于Amazon Nitro系統,GB200系統能夠將CPU和GPU的輸入/輸出功能卸載至專門的硬件中,以提供更加一致的性能,其增強的安全性可以在客戶端和云端全程保護客戶的代碼和數據在處理過程中的安全。
推進生成式AI在生命健康領域的應用
亞馬遜云科技與英偉達在利用計算機輔助的藥物發現領域進行合作拓展,推出了新的NVIDIA BioNeMo?基礎模型,用于生成化學、蛋白質結構預測,以及理解藥物分子與目標的相互作用,這些新模型將很快在Amazon HealthOmics上提供。
Amazon HealthOmics是一個專為幫助醫療保健和生命科學組織存儲、查詢和分析基因組、轉錄組及其他組學數據而設計的專用服務。
Amazon HealthOmics和英偉達醫療保健團隊還合作推出生成式AI微服務,以推進藥物發現、醫療技術和數字健康領域的發展,該服務提供一個新的GPU加速的云端服務目錄,涵蓋生物學、化學、成像和醫療保健數據,以便醫療企業能夠在亞馬遜云科技上利用生成式AI的最新成果。
整體而言,這次的合作,是雙方在技術領域的又一次強強聯合:英偉達的超強算力芯片系統與亞馬遜云科技強大的Elastic Fabric Adapte (EFA)網絡連接能力、高級虛擬化( Amazon Nitro System)和超大規模集群(Amazon EC2 UltraClusters)等領先技術的結合,使得客戶能夠更快、更大規模、更低成本且更安全地在云上構建和運行數萬億參數的大語言模型。(丁科技網原創,轉載務必注明“來源:丁科技網”)
- QQ:61149512