成就探路者的故事——在云端讓每一個創新都觸手可及
每一年的re:Invent大會都被視為云計算領域的“朝圣之旅”,人們不僅能在此看到亞馬遜云科技推出的新產品和新技術,領略全球各行各業的數字化實踐,更能窺見未來的科技發展趨勢。“2021年re:Invent的一個關鍵詞就是‘探路者’,亞馬遜云科技作為云計算行業的探路者,我們一直都在探索和創新。”亞馬遜云科技大中華區產品部總經理顧凡說。在re:Invent期間,顧凡的團隊結合亞馬遜云科技在大會上的重點發布梳理了“五大風向標”,分別是重構云計算底座,自研芯片再升級;大云無疆,無限拓展;代碼即云,萬物皆API;降低門檻,云計算普惠;可持續發展。
亞馬遜云科技大中華區產品部總經理顧凡
Amazon EC2已經走過15年的時間,為不同行業、不同場景的客戶提供了多元化的服務,包括為SAP提供超過24TB的內存實例、為媒體行業的內容打包/創作/轉碼提供VT1、為arm架構的M1芯片提供實例等等。不過隨著實例類型的多樣化不斷深入,使得供應商開始思考如何從底層的芯片研發來推動創新,這也是重塑云計算市場游戲規則的重要一環。此前,亞馬遜云科技已擁有Nitro、Graviton、AI/ML(Inferentia等)芯片三條自研的產品線,可以滿足各種各樣的工作負載,并提供更優的性價比,像Graviton支持的管理服務已有包括數據庫、數據分析、無服務器、容器在內的超過20種。
在今年的re:Invent上,亞馬遜云科技推出了四個基于Graviton2的新實例,并發布Amazon Graviton3,較Graviton2可以為科學計算、機器學習和媒體編碼工作負載提供兩倍的浮點運算性能,為加密工作負載速度提升兩倍,為機器學習工作負載提供三倍的性能。能效方面,Amazon Graviton3在相同性能下,與同類型Amazon EC2實例對比,可節省60%的能源消耗。新的C7g實例由Amazon Graviton3處理器支持,與由Amazon Graviton2處理器支持的C6g 實例相比,性能提高25%,也是云上首個支持DDR5的計算實例。
亞馬遜云科技大中華區產品部計算與存儲總監周舸介紹稱,Graviton3的晶體管數量達到500億的量級,比Graviton2增加了200億個,但要想加強CPU性能,單靠提升頻率或增加內核數量都不是完美的辦法,像頻率增長往往會以犧牲功耗為代價。亞馬遜云科技給出的方案是增加內核寬度,利用指令并行的方式讓內核在同一個時鐘周期內能夠執行更多的指令、完成更多的任務、快速處理更多的數據。由此,Nginx和Groovy的性能提升了60%左右,Redshift性能提升超過25%,x264、265的解碼性能提升50%左右,加解密的AES-256性能提升61%。
亞馬遜云科技大中華區產品部計算與存儲總監周舸
在內核層面,考慮到大數據、微服務、HPC等類型的應用對內存帶寬和延時的敏感度要求較高,亞馬遜云科技并沒有選擇增加核心數,而是進一步優化了內存,使得內存帶寬提升50%,讓不少客戶收效顯著。例如,Twitter在大幅提升系統性能的同時,將延遲降低了35%,F1車企使用C7g實例做流體仿真的性能提升了40%,支持BFloat16的C7g比Graviton2的推理性能提高四倍。除此之外,Graviton的應用也深入到了SAP HANA Cloud等企業級的關鍵業務場景中。
在機器學習領域,從P3、P3dn到P4d、Trn1,每年的機器學習專用芯片的性能都在翻倍提升,然而與之相伴的模型規模和復雜度卻呈現數十倍的增長,因此僅憑芯片自身的加速遠遠不夠,還需要解決內存和網絡的問題。從P3dn到Trn1,內存增加至512G,Trn1、Trn1n的網絡也已支持800G、1600G。對于通常要訓練兩周的GPT-3模型,用P3dn訓練需求600個實例,而用Trn1n訓練只需要96個實例,可以大幅降低成本。同時,受到網絡條件的制約,P3dn在訓練時會將49%的開銷用在實例之間的通訊上,Trn1n在這方面的開銷僅為7%。這樣一來,就可以使用更大的集群和訓練卡一同進行訓練,大幅縮短了訓練時間,像P4d最多可以用4000個卡同時訓練, Trn1n則是1萬個。
“我們不止是在提升這些專用芯片本身的能力,我們也在構建更適合這些芯片發揮的網絡環境和配套的所有服務,真正讓機器學習的訓練能力得到大幅提升。目前,每天有超過6000萬個新的Amazon EC2實例被啟動,這是2019年的兩倍。”周舸表示。
第一個硬盤可以溯源到1956年。早期的硬盤是機械設備,有轉軸和盤片通過機械臂將磁頭置于磁道會讀取硬盤上相應的扇區;但這樣有著效率和出錯率的問題,直到后來推出SSD的設計。Amazon S3是亞馬遜云科技最早發布的存儲服務之一,上面已經有超過數萬億個對象。在云上同時運轉的成千上萬的計算離不開Nitro系統,用它來驅動云計算和確保云計算的安全。每個Amazon EC2都有一個Nitro控制器,一是可以用其滿足每個客戶的工作負載性能需求,二是通過Nitro Enclave能提供更安全的能力,三是Nitro能把任何一個服務器變成Amazon EC2實例。
在亞馬遜云科技的平臺上,部署了超過50萬個Nitro SSD,服務于數百萬的客戶。此次,亞馬遜云科技推出了全新的Amazon Nitro SSD固態硬盤控制器,使得最新一代IO優化的Amzon EC2實例I-FORECE的平均IO性能延遲降低60%,降低長尾延遲75%以上。Nitro SSD可以對于不同實例進行硬盤虛擬化、多供型號SSD統一管理,為用戶提供統一的存儲服務體驗并提供更強的性能。Nitro SSD可以為新的I4i實例系列供電,不僅僅支撐實例,還有io2 Block Express,使用Nitro SSD構建Amazon EBS io2 Block Express可以提供云上高性能的存儲類型,還可以提供256K的IOPS值,滿足一致性和超低延遲需求。
此外,亞馬遜云科技在全球所有Region推出了全新的Amazon S3 Glacier即時檢索存儲類(Amazon S3 Glacier Instant Retrieval),能夠以極低存儲成本實現毫秒級數據檢索。如果每季度訪問一次數據,且需要數據能立即取回,與Amazon S3 Standard-Infrequent Access存儲類相比,Amazon S3 Glacier即時檢索可以節省68%的存儲成本。借助Amazon S3 Intelligent-Tiering歸檔即時訪問套餐,可使得存儲成本可節省68%。Amazon S3 Intelligent-Tiering 存儲類現在已自動包括新的歸檔即時訪問層,對于需要毫秒級檢索和高吞吐量性能的很少訪問的數據。客戶可以將Amazon S3 Intelligent-Tiering用作任何工作負載(尤其是數據湖、數據分析、新應用程序和用戶生成的內容)的默認存儲類。
Amazon FSx for OpenZFS是Amazon FSx文件存儲服務系列的最新成員,提供功能齊全且高性能的文件存儲。借助Amazon FSx for OpenZFS,客戶可以在亞馬遜云科技上啟動、運行和擴展完全托管的文件系統,這些系統可以替換本地運行的ZFS或基于Linux的服務器,有助于提供更高的敏捷性和降低成本。利用新一代 Amazon FSx for Lustre文件系統,基于Amazon Graviton處理器的新一代Amazon FSx for Lustre文件系統,每TB吞吐量最高相比上一代可提高5倍(每TB達到1GB/秒)。同時,其支持具有多個網絡接口的客戶端實例,客戶可以在Amazon EC2實例(如P4d和DL1)上驅動400 Gbps的網絡帶寬。與上一代文件系統相比,新一代FSx for Lustre文件系統可將客戶的吞吐量成本降低60%。全新推出的 Amazon EBS 快照歸檔存儲層(Amazon EBS Snapshoots Archive Tier),可使客戶將很少使用但需要長期保存的Amazon EBS快照存儲在這個新的存儲層級,實現75%的成本節省。
所有的這些云服務,亞馬遜云科技都能通過遍布全球六大洲的25個區域、81個可用區,以及9個新的服務區和30個本地區域,傳遞到客戶的應用場景中。例如,Wavelength通過將服務引入5G網絡邊緣,最大限度地減少從移動設備連接到應用程序的延遲。借助Wavelength,開發者可以將其應用程序部署到Wavelength區(在5G網絡邊緣的電信運營商數據中心內嵌入了亞馬遜云科技計算和存儲服務的基礎設施部署)。應用程序流量只需從設備傳輸到移動通信基站,到城域聚合點運行的Wavelength區。這消除了區域聚合點之間、以及互聯網上的多個跳轉導致的延遲,使客戶能夠充分利用5G網絡。Wavelength還將在全球多個5G網絡中提供一致的開發者體驗,讓開發者使用他們已經使用熟悉的亞馬遜云科技服務、API和工具,構建新一代超低延遲應用程序。
如果客戶希望把云能力放在自己的數據中心,Outposts無疑是個好選擇。借助1U和2U的機型,即使是很小的部署環境也能借助Outposts獲得完整的云能力。為了讓客戶在任意環境中獲得云服務,亞馬遜云科技構建了最大規模的專用網絡之一,利用Cloud WAN服務,客戶可以打造軟件定義網絡,讓網絡分層、QoS等功能在統一的中央控制面板上得到管理和控制,在世界任何角落都可隨時接入,并且整合了豐富的SD WAN服務。面向物聯網市場,亞馬遜云科技提供了IoT Code、FreeRTOS、Greengrass、Panorame、Monitron、Snowball等工具,可以幫助客戶存儲數據、連接數據、遷移數據、處理數據,并從中獲得數據洞察。
未來,亞馬遜云科技還將利用Ground Station拓展服務的邊界。Capella Space已經向太空發射了五顆高精度衛星,采用亞馬遜云科技的衛星地面站和云服務進行集成,客戶通過API接入即可獲得毫米級精度的衛星圖像服務。利用這些圖像數據,科學家可以對氣候變化、潛在災難等做出更好的預測。
從誕生之初,亞馬遜云科技的每一項云服務、每一個功能都代表著一個API,通過這些持續更新和迭代的API構筑了堅實的基礎設施,亞馬遜云科技認為,API要具有高度的向后兼容性,不能改變現有的架構和特性,讓開發者可以無縫適配,并且要根植于客戶的業務場景,解決實際痛點,API的故障要有據可查,便于開發者對其持續改進。同時,要創建明確、有目的性、自描述的API,讓開發者可以更便捷的利用其設計功能。此外,要屏蔽底層復雜的基礎架構,讓客戶聚焦于業務需求,而不是技術挑戰。為了讓開發者能夠使用自己擅長的語言進行開發,亞馬遜云科技還提供了豐富的SDK。
“我們會持續不斷地為開發者、云計算先行者們帶來更便捷的體驗,讓他們自由的構建和發揮創造力。”亞馬遜云科技大中華區產品部數據類產品高級經理王曉野表示,“今天的‘探路者’已經不僅僅是這些開發者,我們發現越來越多的企業從初創公司發展到大型跨國企業,越來越多的企業加入到用云進行創新的隊伍中。這些探路者對云提出了新的要求,我們也試著不斷地為各種角色的人降低門檻。對于開發人員來說,我們持續提供能夠讓其輕松構建應用程序的能力,對于運維人員來說,我們提供能夠幫助消除差異、繁瑣工作的能力,對于業務人員來說,我們希望他們能夠從數據中實現洞察。對于各個行業的用戶,我們都希望能夠助力他們完成轉型,賦能業務創新。”
亞馬遜云科技大中華區產品部數據類產品高級經理王曉野
為了降低技術門檻,亞馬遜云科技推出了一系列產品。例如,App Runner可以對底層的Fargate、ALB、Route 53等服務進行封裝,滿足開發者以容器化部署應用和云原生自由擴展的需求,能夠通過代碼或容器鏡像快速大規模的實現;Amplify封裝了Amazon DynamoDB、Amazon Cognito的能力,便于那些對后端服務邏輯沒有開發概念或技能的人進行開發,Amazon Amplify Studio則允許前端的開發人員以低代碼的方式在手機端、web端實現端到端的業務邏輯創建能力;對于更復雜的現代化應用,亞馬遜云科技會通過CDK的方式讓開發者使用簡短的代碼就能構建復雜的應用基礎架構,并且實現Lambda或ECS容器的熱插拔,開發者可以通過Construct Hub找到基于CDK的構造庫。
面向AI/ML領域,亞馬遜云科技在基礎層為機器學習專家提供了豐富的算力和經過優化的深度學習框架,對Tensorflow、MXNet等框架進行了兼容性優化,提升了訓練速度、降低了推理延遲。在中間層降低了創建機器學習平臺的門檻,通過Amazon SageMaker提供了從數據標記、數據處理、特征存儲、算法探索、模型推理到業務上線,以及邊緣設備管理等全流程的能力,包括阿斯利康、現代集團、湯森路透等機構在內的全球數萬家客戶每天都會在Amazon SageMaker平臺上進行模型訓練,有些模型甚至包括數十億參數,這些模型在Amazon SageMaker平臺上每月要進行數千億次的推理。在上層,亞馬遜云科技提供了開箱即用的AI服務,包括機器視覺、語音識別、文檔管理、機器翻譯、自然語言處理等等,這些能力橫向具有豐富的API,便于開發者集成所需的個性化推薦、企業級搜索、欺詐檢測等服務,縱向則會深入到行業應用中,提供如制造行業的預測性維護、醫療行業的保單OCR、診斷分析等服務。
眾所周知,數據是機器學習的燃料。從數據準備角度來看,Amazon SageMaker Ground Truth為NFL等客戶提供了預構建的工作流程、模板和多種勞動力選擇,Amazon SageMaker Ground Truth Plus,則讓用戶無需編寫任何代碼即可快速交付高質量的訓練數據集。從模型構建與算法編寫環節來看,Amazon SageMaker Studio Notebook允許用戶訪問廣泛的數據源,并在一個筆記本中執行數據工程、分析和ML工作流。訓練與調優,模型部署與管理都涉及到了基礎設施層面的創新。
Amazon SageMaker還在平臺上推出了三項新功能,幫助企業在擴展機器學習能力時更加容易,包括Training Compiler模型訓練編譯器,可將模型培訓速度提高50%;Inference Recommender模型推理推薦程序,可將部署時間從數周減少到數小時;Serverless Inference 無服務器推理,通過按使用付費的定價降低擁有成本。
除此之外,亞馬遜云科技希望能夠提供警報以修復數據性能問題,幫助大規模識別性能和運營問題。為此,其發布了基于機器學習的Amazon DevOps Guru for RDS,能在幾分鐘內自動檢測、診斷和解決難以發現的數據庫相關性能問題。Amazon RDS Custom支持SQL Server通過托管式服務節省時間的優勢,實現自動化版本維護與補丁升級,將寶貴的資源專注于更重要的業務。借助Amazon Redshift serverless和Amazon QuickSight Q,開發者可以獲得實時反饋和數據,從而毫不拖延地擴大服務規模。
對于機器學習領域的學生群體和愛好者,亞馬遜云科技同樣有所助力。亞馬遜云科技大中華區機器學習產品高級經理張洋介紹稱,借助Amazon SageMaker Studio Lab,用戶只需郵箱就能注冊使用內置Tensorflow等框架的多種研發工具,獲得12小時CPU和4小時GPU的資源支持,將分析結果一鍵部署至生產環境。亞馬遜云科技還編纂了《動手學機器學習》課程,供用戶交流學習。到2025年,亞馬遜云科技通過免費的云計算培訓,將幫助全球2900萬人提高技術能力。
亞馬遜云科技大中華區機器學習產品高級經理張洋
云技術的普惠只是亞馬遜云科技承擔社會責任的一部分。在re:Invent上,該公司推出了多項舉措推進可持續發展,包括安全責任共擔模型、碳排放追蹤工具、可再生能源項目等等。451 Research公布的一項數據顯示,如果一家公司把企業級的工作負載從本地數據中心遷移到亞馬遜云科技的云平臺上,那么這個工作負載的碳足跡排放平均可以降低88%。在可持續發展的安全責任共擔模型中,亞馬遜云科技承擔了基礎設施、自研芯片、可再生能源等云自身相關的責任,客戶則要更關注應用的可持續發展,如代碼效率、應用架構、數據存儲等,如果選擇了事件驅動型的應用架構,就意味著可以采用無服務器技術,相當于把一部分可持續發展的責任從客戶端轉移到了云廠商,后者會借助彈性伸縮等技術能力,幫助客戶獲得最佳的資源利用率,降低能耗。
借助碳足跡排放工具,用戶可以計算其工作負載運行在亞馬遜云科技的云上產生了多少碳排放量,并且還會獲悉隨著亞馬遜云科技的可再生能源項目上線,工作負載進一步減少的碳排放量。“Architecture”是亞馬遜云科技內部的一個概念,提醒著人們在使用技術賦能時也要注意能耗的影響。亞馬遜云科技的架構師會把可持續發展相關的思維模式、最佳實踐匯總起來,引導更大規模的客戶在開發應用時應該注意哪些問題。2019年,亞馬遜與Global Optimism共同公布了氣候宣言,承諾要快速采取行動,力爭在2040年前實現0碳排放,這一組織的成員已經超過200家。
在顧凡看來,提升云基礎設施的利用效率,以及采用更多的可再生能源支持業務和運營是云計算企業實現可持續發展的兩個關鍵方向。首先,亞馬遜云科技始終專注于基礎設施各方面的效率提升,例如Graviton是其最節能的處理器,每瓦性能比其他Amazon EC2處理器的表現好很多,Inferentia是最節能的針對機器學習推理的處理器,Inf1比基于GPU實例推理的能效提升80%。隨著AI/ML相關的工作負載在數據中心內占據的比例日益增長,減少相關的能耗已是大勢所趨。
其次,亞馬遜承諾在2030年會使用100%的可再生能源,這一目標甚至會提前五年完成。在今年的re:Invent期間,亞馬遜云科技公布了18個新的可再生能源項目落地,包括南非卡拉哈里沙漠的太陽能項目、歐洲的海上風電項目等。2020年,亞馬遜已成為全球最大的可再生能源的企業采購商。截至目前,亞馬遜啟用了超過1.2萬兆瓦的可再生能源,這些可再生能源項目投入運營后,預計每年會減少1370萬噸碳排放,相當于300萬輛汽車一年的碳排放量。
“我們希望亞馬遜云科技的所有新服務和創新,能夠幫助云上的客戶和合作伙伴,在他們所在的領域都可以成為不斷開拓向前的探路者。”顧凡說。
聯想ThinkSystem SR650(Xeon Gold 5220*2/32GB*8/6TB*6+480GB*2)
進入購買
浪潮NF5266M5(Xeon Gold 5218*2/128GB/480GB*2+10TB*8/PM8204)
進入購買
戴爾易安信PowerEdge R440(Xeon Silver 4210R/16GB/2TB)
進入購買
2022-01-13 16:15:53
2022-01-13 14:23:24
2022-01-13 08:29:23
2022-01-13 08:27:53
2022-01-13 08:25:49
2022-01-13 08:24:48
2022-01-13 08:23:24
2022-01-13 08:21:58
2022-01-13 08:19:20
2022-01-13 08:17:53
2022-01-13 08:12:40
2022-01-13 08:11:31
2022-01-13 08:08:09
營業執照公示信息
相關新聞