NVIDIA的下一跳:在數字世界計算未來
從互聯網的誕生到移動互聯網的普及,人們獲取信息的渠道和溝通的實效性有了本質上的躍升,而隨著多媒體、計算機視覺、AI等技術的快速落地,人們看待世界的方式也有了更加多元和立體的視角。如今,元宇宙的到來讓數字世界和虛擬世界的界限變得模糊,相互之間彼此交融。在NVIDIA Omniverse的平臺之上,虛擬世界正在加速使互聯網從2D演變為充滿活力的3D世界。“Omniverse能夠創造一個真正的虛擬世界,通過創新和科學探索成就全新的時代。”NVIDIA中國區高級技術市場經理施澄秋表示。
在秋季GTC大會期間,NVIDIA公布了多項圍繞Omniverse和NVIDIA Studio的最新發布,演示了利用Omniverse創建模擬倉庫、模擬工廠,以及把物理和生物系統、5G的邊緣部署、機器人、自動駕駛車輛,甚至是數字孿生聯結在一起的虛擬世界。根據NVIDIA的說法,全新的Omniverse平臺是物理級準確的3D虛擬世界的“連接件”,擁有AR、VR和多GPU渲染等功能,并集成基礎設施和工業孿生應用程序與Bentley Systems和Esri的軟件。通過將圖形計算、物理模擬和AI相互融合,工程師和設計師可以為建筑和產品構建物理級準確的數字孿生,或創建大規模的仿真環境,以便在現實世界中部署機器人或自動駕駛汽車之前對其進行訓練。
作為GPU的發明者,NVIDIA可謂是全球視覺運算的領軍者之一。近年來,該公司在加速計算、智能計算等新興領域加大投入,例如把AI計算引入Omniverse、將其變成創建和連接虛擬和真實世界的模擬引擎就是頗具代表性的舉措。自去年12月發布Omniverse公測版以來,已有70000多個創作者下載,還有700多家公司的專業人士使用。這些公司包括寶馬集團、CannonDesign、Epigraph、Ericsson、建筑公司HKS和KPF、Lockheed Martin,以及Sony Pictures Animation。在公測版的Omniverse中,有14個基于Omniverse Connect和擴展的程序,超過15款ISV專業應用程序和應用軟件支持USD。USD是NVIDIA與Pixar合作的一種用于通用場景描述的語言,可以把ISV的生產力軟件統一為USD描述性語言來解釋數字資產。
此次,Omniverse帶來了一些新特性,包括Showroom、Farm,以及在VR、AR方面的更新。例如,Showroom允許非技術用戶使用Omniverse技術演示,展示平臺的實時物理和渲染技術。Farm在系統層可以對多GPU進行多節點渲染和模擬,在GTC上有超過6萬幀的畫面和多個演示中的視頻、3D渲染、物理模擬、實時光線追蹤等技術都是基于Omniverse Farm所實現,并且可以進行規模堆疊和拓展,具有很好的資源彈性。Omniverse AR能夠用圖形串流的方式把增強現實串流到設備上,仍在開發中的Omniverse VR則支持全幀率的實時光線追蹤,可以做到實時的虛擬現實體驗。
除此之外,NVIDIA還推出了針對大型企業用戶的Omniverse Enterprise,可以幫助不同行業的專業人士獲得增強傳統可視化工作流程的新功能,改變復雜的3D設計工作流,讓全球團隊在一個共享虛擬空間實現跨軟件實時協作。目前,BOXX Technologies、戴爾、惠普、聯想和超微等公司均可提供NVIDIA Omniverse Enterprise的訂閱服務。該平臺經過優化和認證,可在NVIDIA RTX專業移動工作站和基于NVIDIA EGX平臺的臺式機和服務器等NVIDIA認證系統上運行。
創意和設計團隊可以使用Omniverse Enterprise,通過實時編輯協作功能連接Autodesk 3ds Max、Maya和Revit、Epic Games的虛幻引擎,McNeel & Associates的Rhino、Grasshopper和Trimble SketchUp工作流程。“Omniverse已經成為跨行業的數字孿生基礎平臺。”施澄秋說。
為了推行5G網絡,未來5年全球要部署1500多萬個微基站和塔站,如果沒有數字孿生方法,對移動環境、人員和設備與無線發送端之間的交互的了解便缺少詳細信息,網絡建成后,很多功能必須進行現場測試。在 NVIDIA Omniverse 中,Ericsson正在構建城市規模的數字孿生,幫助準確模擬5G基站與環境之間的交互作用,從而更大程度地提高性能和覆蓋率。
NVIDIA Omniverse可以生成豐富的物理參數匹配到數字孿生的城市中,能夠實時模擬和像素化波束和5G信號。該平臺提供關鍵技術,允許Ericsson跨動態環境元素準確模擬網絡性能。NVIDIA RTX加速的實時光線追蹤允許研究人員實時查看城市每個點的信號質量的精確表示,這在以前是不可能實現的,背后是成千上萬次的光線與環境物體交互迭代后的路徑追蹤。利用RTX GPU光線追蹤功能做路徑渲染,進行不同顏色光線的調整等操作以確定信號強弱、數據吞吐量等信息,就可以讓工程師相應調節基站位置,防止移動車輛的物體、虛擬大流量的移動車輛物體對信號造成影響。
Ericsson在Omniverse中的真實環境模擬
借助Omniverse VR,網絡工程師很快就能佩戴虛擬現實頭顯設備,按照 1:1 的比例以虛擬方式探索任意模型的各個部分,調整參數、天線,真正做到身臨其境,由此獲得通用電信洞察力、更快的開發周期,以更低的成本實現更先進的網絡。
Ericsson在Omniverse中打造城市規模數字孿生,模擬5G微基站和塔的正確放置,以實現最大的性能和覆蓋范圍
據估計,由于氣候變暖和空氣干燥,大規模森林火災席卷全球,去年一年僅是在美國西部就造成近200億美元的損失。截至目前,森林大火今年已經侵襲了美國650多萬英畝的土地,而且問題還遠不止于此。西伯利亞有更多的土地被燒焦,漫天的大火還席卷了地中海地區和澳大利亞。為此,NVIDIA和洛克希德·馬丁與美國農業部林務局和科羅拉多州火災預防與控制部門(DFPC)達成合作,將使用人工智能和數字孿生模擬,更好地了解森林火災并阻止其蔓延。
NVIDIA和洛克希德·馬丁還將共同創建全球首個專門預測和應對森林火災的人工智能實驗室。該實驗室將使用NVIDIA人工智能基礎設施以及NVIDIA Omniverse Enterprise高級可視化和虛擬世界仿真平臺來確定火災等級,并對其發展態勢做出預測。該系統將在一個高度仿真的數字孿生體中再現火災,為滅火提供最佳行動建議。該人工智能開發實驗室將設在硅谷,并采用洛克希德·馬丁公司的認知任務管理器(CMM)系統。作為基于端到端人工智能的規劃與協調平臺,該系統可以把火災相關實時傳感器數據與燃料植被、地形、風速等更多數據源相結合,以預測火災蔓延的趨勢。CMM可以向事故指揮小組提供行動建議,縮短響應時間,提高滅火和人道主義行動的成功率。
在消防行業,主要依靠衍生自Rothermel火災蔓延模型的工具來預測火災進展。洛克希德·馬丁公司的團隊正在與創建該模型的團隊——林業局密蘇拉火災科學實驗室合作,以檢驗人工智能如何從速度和準確性兩方面改進現有的火情預測方法。洛克希德·馬丁公司會提供應用人工智能、平臺集成、規劃和監督領域的專業知識,以及數十名應用工程師和數據科學家,并基于實時、多GPU可擴展模擬平臺,創建了預測火災動向的可視化圖景,并對其在數字復制環境中的流體動力學進行研究。NVIDIA則負責提供數據分析和模擬相關專業知識,幫助實驗室進行開發、建模、測試和部署。
CMM的人工智能模型利用紅外攝像機捕捉到的卡梅隆峰大火的歷史數據,在綜合考慮海拔、坡度、地形和風力等因素后,預測了大火的走勢。隨后,工作人員將相關數據輸入NVIDIA Omniverse可視化和仿真平臺,并創建了上述火災的數字副本。
借助NVIDIA Omniverse,洛克希德·馬丁公司的團隊不僅能展示Rothermel模型和CMM算法如何預測火災,還可以使用真實數據再現過往火災場景,加速新人工智能模型的訓練、開發和評估。工程師也因此能夠同步對比過往火災發展情況與兩個模型的預測結果。NVIDIA Omniverse還為應急響應人員、操作員和工程師提供了沉浸式的數字孿生環境,以評估其滅火行動的成效。
位于蒙大拿州的美國農業部林務局密蘇拉火災科學實驗室在林野火災研究領域處在前沿,并且一直在為火情分析和模擬提供相關應用程序、數據、軟件和產品。該實驗室使用Rothermel火災蔓延模型開發出FARSITE森林火災增長和行為預測工具。該實驗室為洛克希德·馬丁團隊提供了重要的火災走勢和歷史數據專業知識。
DFPC率先采用了兩家公司正在研發的CMM AI技術,通過實時數據收集,提供專業知識、用戶體驗和反饋,并實現平臺集成。洛克希德·馬丁公司的團隊與多任務飛機項目團隊一起參與行動,并直接從多任務飛機的地圖中收集科羅拉多州火災的數據。科羅拉多州消防與控制部門還提供了歷史火災數據,用于NVIDIA Omniverse中的可視化建模。通過三方持續合作,洛克希德·馬丁公司的工程師可以處理數據,并通過CMM對飛機實時觀察到的森林火災進行災情預測,從而為現場的火災應急人員提供幫助。
NVIDIA中國區傳媒娛樂行業經理何展稱:“Omniverse的核心組件就是強大的渲染引擎,如果想嘗試在真實的世界和數字虛擬世界中間有一個可交互的平臺,Omniverse就能提供這樣的可能。未來一定會出現數字虛擬世界,其底層核心離不開我們提供的算力、計算引擎等技術。”
在GTC上,NVIDIA公布了基于Omniverse Enterprise為數字孿生開發的物理AI開發框架NVIDIA Modulus。NVIDIA Modulus可以使用物理加速的機器學習進行深度神經網絡模型訓練,把自然界的一些物理規律分裝到數字孿生中,使得虛擬模型擁有與真實世界相媲美的體驗。之后,NVIDIA Modulus會輸出替代模型應用在各種各樣的程序上。基于數字孿生平臺將數據做模擬和分析,再用物理加速和模擬環境做迭代來探索設計上遇到的問題,可以避免在真實世界的訓練成本,另外由于訓練可能會面臨法理和安全方面的風險,還能通過虛擬平臺內的數字分身讓用戶自定義選擇不同的策略。在Omniverse Enterprise中,NVIDIA Modulus支持多節點多范圍的訓練,可以達到數千倍至十萬倍的能力提升,專門為數字分身訓練和深度神經網絡進行了優化。
Omniverse Replicator是用于3D工作流程的虛擬世界模擬和協作平臺NVIDIA Omniverse的一部分,能夠生成用于訓練深度神經網絡的物理模擬合成數據。NVIDIA發布了兩個用于生成合成數據的應用,分別是用于承載自動駕駛汽車數字孿生的虛擬世界——NVIDIA DRIVE Sim,以及用于可操縱機器人數字孿生的虛擬世界——NVIDIA Isaac Sim。DRIVE Sim可用于無人駕駛車、自駕車、大型自主移動車輛,Isaac Sim可用于自主駕駛車輛、機器人的訓練。Omniverse Replicator平臺就像是復制器,可以把在NVIDIA Modulus中建模做成的相應模組進行復制,變成合成數據的生成引擎,為深度神經網絡訓練提供合成數據,應用復制器可以讓開發者搭建自己的AI模型,來填補真實世界中間事物的空缺,完成超前的訓練和部署,得出人類無法獲知的實踐結論。
首批基于Omniverse Replicator的應用DRIVE Sim和Isaac Sim,加速了自動駕駛汽車和機器人的開發
在無人駕駛車輛路測中,運用NVIDIA Omniverse Replicator中的DRIVE Sim可以完成路徑追蹤等操作,還原真實世界中的實際效果。在模擬各種各樣的LED屏閃、動態模糊,以及其他車輛的激光雷達、多普勒效應、彌漫效應等對無人駕駛車輛衍生出來的邊際效應時,可以利用DRIVE Hyperion 8的自動駕駛工具包,與Omniverse Replicatorer協同進行自駕車的訓練。通過DRIVE Sim的復制器生成數百萬張圖片,與模擬數據進行不亞于真實路訓的模型。在訓練好的模型做好之后,可直接通過DNN方式部署到各式各樣的模型上,大幅節省研發時間。
值得一提的是,NVIDIA還展示了用于生成交互式AI虛擬形象的技術平臺——NVIDIA Omniverse Avatar。Omniverse Avatar能夠連接NVIDIA在語音AI、計算機視覺、自然語言理解、推薦引擎和模擬方面的技術,在該平臺上創建的虛擬形象是具有光線追蹤3D圖像效果的交互式角色,可以看到、說話、談論各種主題,以及合理地理解表達意圖。基于Omniverse Avatar開發的AI助手可以根據各個行業的需求進行定制,例如用于客戶支持的Project Tokkio、用于永久在線車載智能服務的NVIDIA DRIVE Concierge,以及用于視頻會議的Project Maxine等。
黃仁勛的數字分身Toy-me
在Project Tokkio演示中,出現了餐廳自助服務亭中的一個客戶服務虛擬形象。演示中,有兩名顧客正在訂購素食漢堡、薯條和飲料,該虛擬形象看到了他們、與他們交談并理解了他們。在DRIVE Concierge AI平臺演示中,中央儀表盤屏幕上的數字助理幫助駕駛者選擇了最佳駕駛模式以準時到達目的地,然后按照駕駛者的要求,設置在汽車續航里程下降到100英里以下時進行提醒。NVIDIA還展示了Project Maxine如何為虛擬協作和內容創作應用增加先進的視頻和音頻功能——一個講英語的人在嘈雜的咖啡館里進行視頻通話,但是其他人可以清楚地聽到她所說的話,沒有背景噪音。當她講話時,她的話被實時轉錄并翻譯成德語、法語和西班牙語,并且聲音和語調與原話完全相同。
Omniverse Avatar具備的語音AI、計算機視覺、自然語言理解、推薦引擎、面部動畫和圖像元素等技術由一系列工具支持:語音識別基于NVIDIA Riva,這個軟件開發工具包可以識別多種語言的語音,還可通過文本語音轉換功能生成接近真人的語音反饋;自然語言理解基于Megatron 530B大型語言模型,該模型可以識別、理解和生成人類語言,這一個預訓練模型能在很少或沒有訓練的情況下完成句子、回答主題廣泛的問題、總結長而復雜的故事、翻譯成其他語言,并應對許多它未接受過專門訓練的情景;推薦引擎由NVIDIA Merlin提供;該框架使企業可以建立能夠處理大量數據的深度學習推薦系統,以提出更明智的建議;感知功能來自用于視頻分析的計算機視覺框架NVIDIA Metropolis;虛擬形象動畫由AI賦能的2D和3D面部動畫和渲染技術NVIDIA Video2Face和Audio2Face驅動。這些技術被集成在一個應用,使用NVIDIA統一計算框架進行實時處理,在被打包成可擴展、自定義微服務后,能夠通過NVIDIA Fleet Command在多個地點安全地部署、管理和協調。
在Omniverse平臺之上,承載了橫跨企業級和消費級的NVIDIA Studio,快速增長的多媒體受眾可以在NVIDIA Studio認證設備上制作原創的數字內容,有超過3000萬的實時流媒體UP主可能會用到NVIDIA Studio和Omniverse加速后期創意工作流程,以制作更好的特效,實現更逼真、更有親和力的畫面效果和數字內容,還有8500萬的學生群體在學習媒體、工程、數學、技術、理工等課程時,需要配備強大GPU的PC。這些都是NVIDIA面前的商業機遇。
NVIDIA Studio以新一代RTX GPU為核心,具備實時渲染、光線追蹤、AI加速等能力,配合專門優化過的驅動程序為創意工作者提供了高性能且高可靠的體驗。Studio的SDK中匯聚了豐富的組件和功能,NVIDIA的合作伙伴可以借此優化在應用程序在Omniverse、NVIDIA GPU上的性能表現。如同Game Ready驅動,Studio驅動程序也會在專業工具更新時同步上線一個準備就緒的新版本,來確保用戶可以無縫使用。Studio軟件開發工具包疊加于NVIDIA的底層應用和驅動之上,內置了CUDA、視頻AI引擎等工具和技術,可以支持超過200款的創意應用。
NVIDIA Canvas可以利用對抗性生成網絡色生成自主的基于AI的創意的迭代加速平臺,可以讓專業的藝術創作者更快、更好地完成AI 2D圖形創作,支持15種畫筆和19種AI樣式,也可以把文件導入到Photoshop中。在演示中,藝術人員在繪畫板上繪畫時,AI可以根據繪畫內容涂層自由生成實時畫面場景,這些實時的畫面場景可以變成一個Photoshop+人工智能的組合,最后生成文件。
借助NVIDIA Studio SDK和NVIDIA Broadcast,用戶可以做出各式各樣的應用,例如編輯視頻時可以取超分辨率的大畫面,AI可以自動根據聲音的來源將視頻中的人剪裁在畫面中央位置,因為取樣的分辨率場景足夠大,就可以實時保持畫面居中。同時,還可以進行AI降噪、虛擬綠幕、畫面增強、畫面過濾,例如開視頻會議時過濾雜亂的背景、去掉嘈雜的背景聲等。目前,Facebook、LackRoom,RSoft、達芬奇、斗魚等廠商都在使用NVIDIA的Studio SDK、NVIDIA Omniverse、RTX GPU的強勁算力、主流3D渲染器等能力進行開發。
得益于RTX GPU的支持,Adobe Photoshop超分功能縮放圖像可以比CPU處理快25倍,幾乎是無延時且平滑的。基于生成式對抗網絡,可以獲得更自然的Photoshop濾鏡,允許創作者使用拖動條即可編輯人物發型、表情、年齡等元素,并支持實時渲染。借助DLSS(Deep Learning Super Sampling)功能,可以在D5渲染器內調用NVIDIA RTX GPU的Tensor Core進行基于深度學習的超級采樣,對體驗進行多種優化,包括將幀率提升超過兩倍,從19fps提升到35fps,并且支持實時的光線追蹤等。已經有超過18款不同的創意應用程序、創意工作室采用了DLSS,利用AI在同樣幀率下獲得更高的分辨率,或是在同樣分辨率下獲得更高的幀數。
施澄秋介紹稱:“已經有很多不同的應用程序在使用DLSS,比如UE,很多游戲是用UE來開發的,可以在其中創建3D建模、3D場景,3D過場動畫等元素。此外,很多傳統的平面式畫面、VR/AR也是用UE開發的。UE原生支持DLSS,也就是說用UE開發出來的許多的程序自然就可以支持DLSS。”
截至目前,已經有超過70款被NVIDIA Studio SDK加速的垂直創意應用程序,為個人或企業管理更龐大的數字資產。用戶能夠利用Omniverse平臺和USD通用場景描述進行各種ISV應用之間的數字資產的統一調度,構建免導入導出、在線實時分布式的協作平臺。使用Blender、UE等的6K、8K的在線創作者,能夠使用RTX GPU、Studio驅動、Omniverse Enterprise平臺進行綜合創作應用流的加速,滿足各類應用流程的需求。這些應用程序使用NVIDIA Studio SDK進行開發,可以利用NVIDIA GPU和驅動程序進行加速。
可以說,始于圖形計算的NVIDIA正在將運算能力向更廣闊的未來進行延伸,遍及元宇宙世界的各個場景。“NVIDIA對元宇宙的理解是非常純粹的,就是元宇宙始終需要算力來推動,軟件、硬件等融合成一個平臺,這個平臺提供元宇宙的支撐、設計、實施、建模、模擬、測試、訓練、部署,也就是NVIDIA的Omniverse平臺。“ 施澄秋談到,“我們所有對元宇宙的猜想和構建都搭建在Omniverse平臺上,我們希望Omniverse能承載元宇宙。過去十年里,NVIDIA GPU算力呈現爆炸式增長,迭代速度遠超摩爾定律的預期。未來,元宇宙真正的爆發點將是軟硬件、平臺、解決方案堆棧的融合。”
微星GeForce RTX 3070 Ti SUPRIM X 8G 三區域光效,刀鋒6代風扇,空氣動力學,核心7熱管
進入購買
技嘉小雕(GIGABYTE)AORUS GeForce RTX 3060 ELITE 12G 2.0版本競游戲設計智能學習電腦獨立顯卡
進入購買
影馳(Galaxy)GeForce RTX3070?GAMER?OC[FG] N卡/電競專業游戲顯卡
進入購買
2022-01-13 08:29:23
2022-01-13 08:27:53
2022-01-13 08:25:49
2022-01-13 08:24:48
2022-01-13 08:23:24
2022-01-13 08:21:58
2022-01-13 08:19:20
2022-01-13 08:17:53
2022-01-13 08:12:40
2022-01-13 08:11:31
2022-01-13 08:08:09
營業執照公示信息
相關新聞