當(dāng)?shù)貢r間3月18日，NVIDIA宣布推出一系列全新技術(shù)，助力人形機(jī)器人開發(fā)。其中包括全球首個開源且完全可定制的基礎(chǔ)模型 NVIDIA Isaac GR00T N1，該模型可賦能通用人形機(jī)器人實(shí)現(xiàn)推理及各項(xiàng)技能。

其他技術(shù)包括仿真框架和藍(lán)圖，如用于生成合成數(shù)據(jù)的 NVIDIA Isaac GR00T Blueprint，以及和 Google DeepMind 及 Disney Research 共同開發(fā)的、專為機(jī)器人開發(fā)而構(gòu)建的開源物理引擎 Newton。

已推出的 GR00T N1 是 NVIDIA 一系列可完全定制模型中的首個模型。NVIDIA 將對這一系列模型進(jìn)行預(yù)訓(xùn)練，并面向全球機(jī)器人開發(fā)者發(fā)布。對于受全球勞動力短缺困擾的行業(yè)而言（勞動力缺口預(yù)計(jì)超過 5,000 萬），這一模型的推出將有助于加速這些行業(yè)的轉(zhuǎn)型。

“通用機(jī)器人的時代已經(jīng)到來，”NVIDIA 創(chuàng)始人兼 CEO 黃仁勛表示： “借助 NVIDIA Isaac GR00T N1 以及新的數(shù)據(jù)生成和機(jī)器人學(xué)習(xí)框架，全球機(jī)器人開發(fā)者將開啟 AI 時代的全新篇章?！?/p>

受人類認(rèn)知原理的啟發(fā)，GR00T N1 基礎(chǔ)模型采用雙系統(tǒng)架構(gòu)。

“系統(tǒng) 1”是一個快速思考的動作模型，反映人類的本能反應(yīng)或直覺。

“系統(tǒng) 2”是慢思考模型，用于進(jìn)行經(jīng)過深度思考的決策制定。

系統(tǒng) 2 由視覺語言模型提供支持，它會對所處環(huán)境和接收到的指令進(jìn)行推理，從而規(guī)劃行動。系統(tǒng) 1 隨后將這些規(guī)劃轉(zhuǎn)化為精確、連續(xù)的機(jī)器人運(yùn)動。系統(tǒng) 1 基于人類演示數(shù)據(jù)和 NVIDIA Omniverse 平臺生成的海量合成數(shù)據(jù)進(jìn)行訓(xùn)練。

這兩個系統(tǒng)類似于人類的大小腦。

GR00T N1 可輕松適應(yīng)并完成通用任務(wù)，如單手或雙手抓取、移動物體，將物體從一只手臂轉(zhuǎn)移到另一只手臂，或執(zhí)行需要長語境和通用技能組合的多步驟任務(wù)。這些功能可應(yīng)用于物品搬運(yùn)、包裝和檢查等各種使用場景中。

開發(fā)者和研究人員可以使用真實(shí)數(shù)據(jù)或合成數(shù)據(jù)針對特定人形機(jī)器人或任務(wù)對 GR00T N1進(jìn)行后訓(xùn)練。 

在 GTC 主題演講中，黃仁勛展示了 1X 的人形機(jī)器人自主執(zhí)行室內(nèi)清理任務(wù)的過程，該過程利用了基于 GR00T N1 的后訓(xùn)練策略。該款機(jī)器人的自主能力是 1X 與 NVIDIA AI 訓(xùn)練協(xié)作的成果。 

“人形機(jī)器人的未來開發(fā)重點(diǎn)在于適應(yīng)能力和學(xué)習(xí)能力，”1X Technologies 首席執(zhí)行官 Bernt B?rnich 表示。 “NVIDIA 的 GR00T N1 模型在機(jī)器人推理和技能方面實(shí)現(xiàn)了重大突破。 我們僅需最少量的后訓(xùn)練數(shù)據(jù)，就能在 NEO Gamma 上全面部署，這進(jìn)一步推進(jìn)了我們的使命——我們創(chuàng)造的機(jī)器人不是工具，而是伙伴，可以為人類提供有意義、有無限價值的幫助?！?/p>

全球其他優(yōu)先使用 GR00T N1 的領(lǐng)先機(jī)器人公司包括 Agility Robotics、波士頓動力、Mentee Robotics 和 NEURA Robotics。

NVIDIA 宣布與 Google DeepMind 和 Disney Research 合作，共同開發(fā)開源物理引擎 Newton，可讓機(jī)器人學(xué)習(xí)如何以更高的精度處理復(fù)雜任務(wù)。

Newton 基于 NVIDIA Warp 框架構(gòu)建，將針對機(jī)器人學(xué)習(xí)進(jìn)行優(yōu)化，并與 Google DeepMind MuJoCo 和 NVIDIA Isaac? Lab 等仿真框架兼容。此外，三家公司還計(jì)劃讓 Newton 能夠利用迪士尼的物理引擎。

Google DeepMind 正在和 NVIDIA 合作開發(fā) MuJoCo-Warp，預(yù)計(jì)將機(jī)器人機(jī)器學(xué)習(xí)工作負(fù)載處理速度提升至 70 倍以上，并將通過 Google DeepMind 的 MJX 開源庫和 Newton 提供給開發(fā)者。 

Disney Research 將成為首批使用 Newton 以推動其機(jī)器人角色平臺發(fā)展的公司之一，該平臺為下一代娛樂機(jī)器人提供支持，比如此次 GTC 主題演講中和黃仁勛一起登臺、以星球大戰(zhàn)? 為靈感設(shè)計(jì)的富有表現(xiàn)力的 BDX 機(jī)器人，就是該平臺的成果。

“BDX 機(jī)器人只是一個開始。我們致力于以前所未有的方式，為更多角色賦予生命，而與 Disney Research、NVIDIA 和 Google DeepMind 的合作是實(shí)現(xiàn)這一愿景的關(guān)鍵，”Walt Disney 想象工程研發(fā)部門高級副總裁 Kyle Laughlin 說。 “此次合作將使我們能夠創(chuàng)造出比以往更具表現(xiàn)力、更具吸引力的新一代機(jī)器人角色，并以迪士尼獨(dú)有的方式與我們的游客建立聯(lián)系?！?/p>

NVIDIA 還將和 Disney Research 及 Intrinsic 進(jìn)一步合作，為機(jī)器人數(shù)據(jù)流構(gòu)建 OpenUSD 管線和最佳實(shí)踐。

大型、多樣化且高質(zhì)量的數(shù)據(jù)集對機(jī)器人開發(fā)至關(guān)重要，但捕獲成本高昂。真實(shí)世界中，每人一天只有 24 小時，由此產(chǎn)生的人類演示數(shù)據(jù)，對于人形機(jī)器人來說是遠(yuǎn)遠(yuǎn)不夠的。

今天宣布的用于合成運(yùn)動生成的 NVIDIA Isaac GR00T Blueprint 有助于應(yīng)對這一挑戰(zhàn)。 該藍(lán)圖基于 Omniverse 和 NVIDIA Cosmos Transfer 世界基礎(chǔ)模型構(gòu)建，讓開發(fā)者可以通過少量的人工演示生成大量合成運(yùn)動數(shù)據(jù)，以用于操作任務(wù)。

利用為藍(lán)圖提供的首批組件，NVIDIA 能夠在短短 11 小時內(nèi)生成 780,000 個合成軌跡，相當(dāng)于 6,500 小時或連續(xù)九個月的人類演示數(shù)據(jù)。然后，通過將合成數(shù)據(jù)與真實(shí)數(shù)據(jù)相結(jié)合，與僅使用真實(shí)數(shù)據(jù)相比，NVIDIA 將 GR00T N1 的性能提高了 40%。

GTC 上還宣布，為了進(jìn)一步為開發(fā)者社區(qū)提供有價值的訓(xùn)練數(shù)據(jù)，NVIDIA 將發(fā)布 GR00T N1 數(shù)據(jù)集，作為更大的開源物理 AI 數(shù)據(jù)集的一部分，現(xiàn)在可通過 Hugging Face 下載。

NVIDIA GR00T N1 訓(xùn)練數(shù)據(jù)和任務(wù)評估場景現(xiàn)在可以通過 Hugging Face 和 GitHub 下載。用于合成運(yùn)動生成的 NVIDIA Isaac GR00T Blueprint 現(xiàn)在也以交互式演示形式在 build.nvidia.com 展示，也可以通過 GitHub 下載。

今日，GTC 還宣布推出了 NVIDIA DGX Spark，一款個人 AI 超級計(jì)算機(jī)，為開發(fā)者提供一站式系統(tǒng)，可將 GR00T N1 的功能擴(kuò)展到新機(jī)器人、任務(wù)和環(huán)境，而無需進(jìn)行大量自定義編程。

Newton 物理引擎預(yù)計(jì)將在今年晚些時候推出。