Nebius推出了Token Factory（詞元工廠），這是一個(gè)生產(chǎn)推理平臺(tái)，使垂直人工智能（AI）公司和數(shù)字企業(yè)能夠大規(guī)模部署和優(yōu)化開(kāi)源和定制模型，并具有企業(yè)級(jí)的可靠性和控制能力。

Token（詞元）在人工智能領(lǐng)域，是AI 理解語(yǔ)言的最小“單元”。它把人類(lèi)語(yǔ)言（句子、段落）分解成 AI 能看懂的小塊，每塊就是一個(gè) token。AI 通過(guò)處理這些token 來(lái)理解、生成、回答問(wèn)題。

基于Nebius的全棧人工智能基礎(chǔ)設(shè)施，Nebius Token Factory將高性能推理、后訓(xùn)練和細(xì)粒度訪問(wèn)管理整合到一個(gè)單一的治理平臺(tái)中。它支持所有主要的開(kāi)放模型，包括DeepSeek、OpenAI的GPT-OSS、Llama、NVIDIA Nemotron和Qwen，并為客戶(hù)提供托管自己模型的選項(xiàng)。

隨著人工智能從實(shí)驗(yàn)轉(zhuǎn)向生產(chǎn)，依賴(lài)封閉模型可能會(huì)造成擴(kuò)展瓶頸。開(kāi)源和定制模型可以消除這些障礙，釋放創(chuàng)新和更好的經(jīng)濟(jì)性，但對(duì)于大多數(shù)團(tuán)隊(duì)來(lái)說(shuō)，在生產(chǎn)中管理和保護(hù)它們?nèi)匀皇菑?fù)雜和資源密集型的。

Nebius Token Factory通過(guò)將開(kāi)放模型的靈活性與大規(guī)模運(yùn)行人工智能所需的治理、性能和成本效益相結(jié)合，使團(tuán)隊(duì)能夠?qū)崿F(xiàn)這些優(yōu)勢(shì)。它針對(duì)效率進(jìn)行了優(yōu)化，提供亞秒級(jí)延遲、自動(dòng)擴(kuò)展吞吐量和99.9%的正常運(yùn)行時(shí)間，即使對(duì)于每分鐘超過(guò)數(shù)億個(gè)請(qǐng)求的工作負(fù)載也是如此。

Nebius的聯(lián)合創(chuàng)始人兼首席業(yè)務(wù)官Roman Chernin表示：“每個(gè)團(tuán)隊(duì)都有獨(dú)特的要求，他們希望在不繁重工作的情況下實(shí)現(xiàn)速度、可靠性和成本效益。”“我們建立NebiusToken Factory不僅是為了服務(wù)模型，也是為了幫助客戶(hù)解決真正的挑戰(zhàn)和進(jìn)行規(guī)模工程——優(yōu)化推理管道，將開(kāi)放模型轉(zhuǎn)化為生產(chǎn)就緒系統(tǒng)?！?/p>

全棧人工智能基礎(chǔ)設(shè)施作為基礎(chǔ)

Nebius Token Factory建立在Nebius AI Cloud 3.0“以太坊”之上。這確保了企業(yè)級(jí)的安全性、主動(dòng)監(jiān)控和一致的性能，并通過(guò)包括MLPerf推理在內(nèi)的基準(zhǔn)測(cè)試進(jìn)行了驗(yàn)證。通過(guò)將Nebius的全棧基礎(chǔ)設(shè)施與針對(duì)推理進(jìn)行優(yōu)化的技術(shù)棧相結(jié)合，NebiusToken Factory幫助客戶(hù)更快地?cái)U(kuò)展其AI應(yīng)用程序和解決方案。

SemiAnalysis首席分析師Dylan Patel表示：“在SemiAnalysis，我們跟蹤每個(gè)GPU云播放器的總擁有成本。Nebius是唯一一個(gè)使用定制ODM機(jī)箱的新云，這意味著總擁有成本大大降低。我們很高興看到他們的新推理平臺(tái)圍繞成本、每位用戶(hù)的輸出速度和模型質(zhì)量這一權(quán)衡三角進(jìn)行設(shè)計(jì)?！?/p>

人工智能項(xiàng)目形成規(guī)模通常比周?chē)膱F(tuán)隊(duì)更快。Nebius Token Factory簡(jiǎn)化了訓(xùn)練后的生命周期，將開(kāi)源模型權(quán)重轉(zhuǎn)化為優(yōu)化的、生產(chǎn)就緒的系統(tǒng)，具有有保證的性能和透明的每個(gè)Token成本。集成的微調(diào)和蒸餾管道使團(tuán)隊(duì)能夠根據(jù)自己的數(shù)據(jù)調(diào)整大型開(kāi)放模型，同時(shí)將推理成本和延遲降低高達(dá)70%。

優(yōu)化后的模型可以立即部署到生產(chǎn)端點(diǎn)，而無(wú)需手動(dòng)設(shè)置基礎(chǔ)設(shè)施。這種方法使人工智能構(gòu)建者和企業(yè)能夠更快地迭代，可預(yù)測(cè)地管理成本，并對(duì)所服務(wù)的每個(gè)Token保持完全透明。

Token Factory引入了團(tuán)隊(duì)和訪問(wèn)管理、單點(diǎn)登錄（SSO）、項(xiàng)目分離和以企業(yè)為中心的計(jì)費(fèi)，以簡(jiǎn)化協(xié)作并確保合規(guī)性。管理員可以設(shè)置精細(xì)的角色，強(qiáng)制最低權(quán)限訪問(wèn)，并在所有部署中維護(hù)清晰的審計(jì)跟蹤，從早期實(shí)驗(yàn)到關(guān)鍵任務(wù)工作負(fù)載。

Nebius Token Factory——主要特點(diǎn)

具有有保證的性能和隔離的專(zhuān)用端點(diǎn)，具有99.9%的SLA、可預(yù)測(cè)的延遲和自動(dòng)擴(kuò)展的吞吐量。

歐盟或美國(guó)數(shù)據(jù)中心的零保留推斷，支持嚴(yán)格的數(shù)據(jù)駐留要求。

安全認(rèn)證，包括SOC 2 Type II，包括HIPAA、ISO 27001和ISO 27799認(rèn)證。

全面的微調(diào)功能支持LoRA和完整模型訓(xùn)練，實(shí)現(xiàn)無(wú)縫一鍵部署和托管。

支持40多種開(kāi)源模型，包括最新的Deep Seek、Llama、OpenAI和Qwen，針對(duì)最新芯片進(jìn)行了優(yōu)化。

通過(guò)設(shè)計(jì)進(jìn)行治理，包括團(tuán)隊(duì)和訪問(wèn)管理、SSO、統(tǒng)一計(jì)費(fèi)和審計(jì)友好的工作區(qū)。

OpenAI兼容的API，用于從專(zhuān)有端點(diǎn)無(wú)縫遷移。

可用性

Nebius Token Factory是Nebius AI Studio的下一代版本，經(jīng)過(guò)重新設(shè)計(jì)，可用于企業(yè)就緒和完整的模型生命周期管理?，F(xiàn)已可用，支持60多個(gè)跨文本、代碼和視覺(jué)的開(kāi)源模型。當(dāng)前的AI Studio用戶(hù)將自動(dòng)升級(jí)到Token Factory。

關(guān)于Nebius

Nebius是一家為全球人工智能行業(yè)構(gòu)建全棧云基礎(chǔ)設(shè)施的技術(shù)公司。該公司總部位于荷蘭阿姆斯特丹，在納斯達(dá)克（Nasdaq:NBIS）上市，在歐洲、北美和以色列設(shè)有研發(fā)中心，業(yè)務(wù)遍及全球。Nebius AI Cloud是為密集型AI工作負(fù)載從頭開(kāi)始構(gòu)建的。憑借內(nèi)部設(shè)計(jì)的專(zhuān)有軟件和硬件，Nebius AI Cloud為AI構(gòu)建者提供了構(gòu)建、調(diào)整和運(yùn)行模型所需的計(jì)算、存儲(chǔ)、托管服務(wù)和工具。

與 Ai 時(shí)代前沿合作，將大門(mén)向更多普通用戶(hù)敞開(kāi)！無(wú)論你是對(duì)新技術(shù)充滿(mǎn)好奇心的愛(ài)好者，還是希望提升自己技能的職場(chǎng)人士，這里都有適合你的課程和資源。歡迎掃碼加入我們！