英偉達(dá)推出開(kāi)放AI模型，包括面向自動(dòng)駕駛的Alpamayo-R1以及用于機(jī)器人學(xué)和仿真的Cosmos工具套件。

英偉達(dá)正以一項(xiàng)大膽舉措拓展人工智能研究的前沿。該公司于本周一宣布推出開(kāi)放的物理和數(shù)字AI模型，這些模型有望重塑自動(dòng)駕駛汽車(chē)、機(jī)器人學(xué)和語(yǔ)音處理的未來(lái)。

公司在一流人工智能會(huì)議NeurIPS上公布了這些突破，標(biāo)志著開(kāi)源AI開(kāi)發(fā)進(jìn)入新時(shí)代。其中一大亮點(diǎn)是Alpamayo-R1（AR1），這是全球首個(gè)面向自動(dòng)駕駛的開(kāi)放推理視覺(jué)-語(yǔ)言-行動(dòng)模型。

AR1旨在將思維鏈推理與路徑規(guī)劃相結(jié)合，幫助車(chē)輛以類(lèi)似人類(lèi)的判斷力應(yīng)對(duì)復(fù)雜路況。英偉達(dá)表示："AR1通過(guò)分解場(chǎng)景并逐步推理來(lái)實(shí)現(xiàn)這一點(diǎn)。"

該模型評(píng)估可能的行駛軌跡，并利用上下文數(shù)據(jù)選擇最安全的路線，從而使其能夠處理行人密集的十字路口、并排停放的車(chē)輛或即將到來(lái)的車(chē)道封閉等復(fù)雜情況。

開(kāi)放獲取是英偉達(dá)戰(zhàn)略的核心?；谟ミ_(dá)Cosmos Reason構(gòu)建的AR1，可供研究人員針對(duì)非商業(yè)應(yīng)用進(jìn)行定制。與預(yù)訓(xùn)練版本相比，強(qiáng)化學(xué)習(xí)后期訓(xùn)練已顯示出該模型推理能力的顯著提升。

推理驅(qū)動(dòng)自主

AR1已在GitHub和Hugging Face平臺(tái)發(fā)布，同時(shí)部分訓(xùn)練數(shù)據(jù)包含在英偉達(dá)物理AI開(kāi)放數(shù)據(jù)集中。研究人員還可利用AlpaSim框架評(píng)估模型性能。

除了AR1，英偉達(dá)的Cosmos平臺(tái)還提供了一系列用于物理AI開(kāi)發(fā)的工具。其中包括：為自動(dòng)駕駛仿真生成激光雷達(dá)數(shù)據(jù)的LidarGen；用于清理神經(jīng)重建的Omniverse NuRec Fixer；創(chuàng)建機(jī)器人行為規(guī)則的Cosmos Policy；以及在真實(shí)模擬環(huán)境中訓(xùn)練人形機(jī)器人的ProtoMotions3。

全球的開(kāi)發(fā)者和研究人員已開(kāi)始試用這些模型。Voxel51、1X、Figure AI、Foretellix、Gatik、Oxa、PlusAI和X-Humanoid等英偉達(dá)生態(tài)系統(tǒng)合作伙伴正在自動(dòng)駕駛和機(jī)器人學(xué)項(xiàng)目中應(yīng)用Cosmos基礎(chǔ)模型。蘇黎世聯(lián)邦理工學(xué)院的研究人員也在使用Cosmos進(jìn)行3D場(chǎng)景創(chuàng)建，并在NeurIPS上展示了他們的研究成果。

數(shù)字AI擴(kuò)展

在數(shù)字領(lǐng)域，英偉達(dá)正在增強(qiáng)其N(xiāo)emotron工具包。亮點(diǎn)包括多說(shuō)話人自動(dòng)語(yǔ)音識(shí)別模型MultiTalker Parakeet，以及執(zhí)行實(shí)時(shí)說(shuō)話人日志化的Sortformer。Nemotron還引入了基于推理的AI安全模型，以及用于強(qiáng)化學(xué)習(xí)和特定領(lǐng)域AI開(kāi)發(fā)的合成數(shù)據(jù)集。

其他值得注意的更新包括：能夠跨語(yǔ)音、音樂(lè)和聲音進(jìn)行推理的大型音頻語(yǔ)言模型Audio Flamingo 3，以及在不犧牲性能的情況下壓縮混合模型的Minitron-SSM。英偉達(dá)研究人員還展示了專為高效語(yǔ)言模型推理和低延遲優(yōu)化的Jet-Nemotron和Nemotron-Flash。

英偉達(dá)指出："長(zhǎng)期強(qiáng)化學(xué)習(xí)是一種延長(zhǎng)模型訓(xùn)練時(shí)間的技術(shù)。這種方法產(chǎn)生的模型在推理能力上持續(xù)超越基礎(chǔ)模型。"

通過(guò)這些發(fā)布，英偉達(dá)持續(xù)將開(kāi)源AI推向新高度，為研究人員、開(kāi)發(fā)者和自主系統(tǒng)創(chuàng)新者提供強(qiáng)大工具。該公司的努力得到了Artificial Analysis的認(rèn)可，該機(jī)構(gòu)將英偉達(dá)的Nemotron系列評(píng)為AI生態(tài)系統(tǒng)中最開(kāi)放的模型之一。

如果朋友們喜歡，敬請(qǐng)關(guān)注“知新了了”！