始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。

近年來，隨著 “AI 孫燕姿” 等歌聲作品在社交媒體廣泛傳播，以及 Suno、Udio 等生成式音樂模型在大眾用戶中的普及，音樂生成與歌聲轉(zhuǎn)換（Singing Voice Conversion, SVC）正逐漸成為生成式 AI 的重要研究方向。與此同時，從 So-VITS-SVC 到 RVC 等開源項(xiàng)目的快速迭代，使得 SVC 的門檻不斷降低，也推動了相關(guān)技術(shù)在創(chuàng)作者與開發(fā)者群體中的普及。

然而，與社區(qū)中常見的演示樣例相比，Zero-Shot（零樣本）歌聲轉(zhuǎn)換在真實(shí)應(yīng)用場景下仍面臨巨大的技術(shù)挑戰(zhàn)。現(xiàn)有大多數(shù) SOTA 模型通常在干凈、無伴奏的人聲數(shù)據(jù)上訓(xùn)練與評測，而真實(shí)世界中的輸入?yún)s往往是包含伴奏、和聲、混響與各種混音效果的整首歌曲。

即便經(jīng)過聲源分離處理，得到的“人聲軌道”仍可能殘留背景諧波、疊加人聲甚至分離偽影，從而進(jìn)一步導(dǎo)致 F0（基頻）提取不穩(wěn)定。上述因素使得模型在轉(zhuǎn)換過程中容易出現(xiàn)音色不穩(wěn)定、跑調(diào)、破音甚至整體崩壞，嚴(yán)重限制了 Zero-Shot SVC 技術(shù)在大規(guī)模、工業(yè)級場景中的可用性。

針對這一關(guān)鍵問題，來自巨人網(wǎng)絡(luò) AI Lab、清華大學(xué) SATLab、倫敦大學(xué)學(xué)院（UCL）與華東理工大學(xué)的研究團(tuán)隊(duì)提出了 YingMusic-SVC —— 一個面向真實(shí)應(yīng)用需求、具備高魯棒性的 Zero-Shot SVC 框架。

該工作在模型層面引入了多項(xiàng)面向歌聲的歸納偏置（inductive biases），并首次將 Flow-GRPO 強(qiáng)化學(xué)習(xí)方法應(yīng)用于基于 DiT 的歌聲轉(zhuǎn)換模型，使模型能夠在保持音色一致性與清晰度的基礎(chǔ)上，直接優(yōu)化聽感與音樂美學(xué)等高層屬性。相關(guān)模型、代碼和數(shù)據(jù)集已開源已上線始智AI-wisemodel開源社區(qū)，同時在該模型頁面支持部署在線體驗(yàn)，歡迎使用。

相關(guān)地址

https://wisemodel.cn/organization/Giant_AILab

圖 1 現(xiàn)有開源 SVC 模型與 YingMusic-SVC 模型的對比

實(shí)驗(yàn)結(jié)果顯示，YingMusic-SVC 在伴奏泄漏、和聲干擾等復(fù)雜混音條件下仍保持穩(wěn)定表現(xiàn)，并在多項(xiàng)指標(biāo)上顯著超越現(xiàn)有開源 SOTA 模型，為 Zero-Shot SVC 的工程落地提供了實(shí)際可能性。。目前，該團(tuán)隊(duì)計(jì)劃將完整的工業(yè)級 SVC 流程（包含推理代碼、模型權(quán)重、benchmark測試集 及優(yōu)化后的分離模型）全開源，推動 Zero-Shot SVC 技術(shù)在真實(shí)場景下的研究與應(yīng)用 。

Demo展示：

注：原曲輸入（帶有和聲、混響等音樂后期制作）

注：seedvc demo，模型在遇到和聲音軌時會有破音。

注：RVC demo，模型同樣在遇到和聲音軌時會有破音。

注：YingMusic-SVC demo，模型對和聲音軌等有著較好的魯棒性。

01.

核心痛點(diǎn)與解決方案

歌聲轉(zhuǎn)換（SVC）旨在將源歌手的音色轉(zhuǎn)換為目標(biāo)歌手，同時保留原始的音樂內(nèi)容與旋律 。盡管 RVC 等開源框架已能實(shí)現(xiàn)逼真的轉(zhuǎn)換效果，但在面向真實(shí)工業(yè)場景時，特別是 Zero-Shot 場景下，仍存在巨大的技術(shù)鴻溝：

• 非理想輸入源的魯棒性差：現(xiàn)有系統(tǒng)大多在干凈的干聲上進(jìn)行評估。但在實(shí)際業(yè)務(wù)中，輸入往往是包含伴奏的完整歌曲。即使經(jīng)過前置的人聲分離，分離出的軌道仍常伴有和聲殘留（Harmony Bleed）、混響或回聲 。將這種“不完美”的人聲作為輸入，會導(dǎo)致轉(zhuǎn)換結(jié)果出現(xiàn)明顯的偽影或雜音 。

• 歌唱特有屬性建模不足：大多數(shù) Zero-Shot SVC 模型僅簡單地將語音轉(zhuǎn)換（VC）架構(gòu)加上 F0 條件控制，缺乏針對“歌唱”的歸納偏置設(shè)計(jì) 。歌聲相比語音擁有更大的動態(tài)范圍（Dynamics）和更豐富的高頻諧波細(xì)節(jié)，通用模型往往難以捕捉這些特征，導(dǎo)致高音沉悶或細(xì)節(jié)丟失 。

• 聽感與優(yōu)化目標(biāo)的錯位：傳統(tǒng)的監(jiān)督學(xué)習(xí)損失函數(shù)（如 MSE）難以直接優(yōu)化自然度、音色一致性和音樂美感等高層感知屬性 。這導(dǎo)致模型生成的音頻雖然參數(shù)指標(biāo)尚可，但主觀聽感仍有差距。

圖 2：YingMusic-SVC的模型架構(gòu)及訓(xùn)練方法圖

針對上述挑戰(zhàn)，團(tuán)隊(duì)提出了 YingMusic-SVC，這是一個面向工業(yè)級應(yīng)用的魯棒 Zero-Shot SVC 系統(tǒng)。該系統(tǒng)基于 DiT 架構(gòu)進(jìn)行了面向歌聲建模的優(yōu)化設(shè)計(jì)，采用三階段的訓(xùn)練方式，并首次將強(qiáng)化學(xué)習(xí)（RL）應(yīng)用于DiT架構(gòu)的 SVC 的后訓(xùn)練階段。

1、歌唱特異性的模型增強(qiáng)（Singing-Specific Enhancements）

為更精準(zhǔn)地建模歌唱特征，優(yōu)化歌聲中高頻細(xì)節(jié)與音色動態(tài)表現(xiàn)，團(tuán)隊(duì)做了多項(xiàng)改進(jìn)：

• 基于 RVC 的音色隨機(jī)化（RVC Timbre Shifter）：不同于直接使用原始音頻，系統(tǒng)引入了一個在 120 人歌聲數(shù)據(jù)上預(yù)訓(xùn)練的 RVC 模塊，將輸入歌聲轉(zhuǎn)換為隨機(jī)音色后再進(jìn)行內(nèi)容編碼 。這一步驟有效去除了源歌手的音色殘留，使內(nèi)容特征更加純凈，從而提升了轉(zhuǎn)換后的咬字準(zhǔn)確性 。

• F0 感知的動態(tài)音色適配（F0-Aware Adaptive Timbre）： 歌聲的音質(zhì)會隨音高變化（如低音胸腔共鳴 vs 高音頭腔共鳴）。模型引入了 F0 感知的音色適配模塊，根據(jù)當(dāng)前音高動態(tài)調(diào)整音色 Embedding，從而更真實(shí)地還原歌手在不同音域下的表現(xiàn)力 。

• 能量平衡流匹配損失（Energy-Balanced Flow Matching Loss）： 針對歌聲高頻能量低、易被損失函數(shù)忽略的問題，設(shè)計(jì)了頻率加權(quán)的損失函數(shù)，賦予高頻細(xì)節(jié)更高的權(quán)重，顯著提升了高頻諧波和呼吸聲的還原度 。

圖 3：YingMusic-SVC的關(guān)鍵優(yōu)化點(diǎn)

2、三階段訓(xùn)練：

先以 CPT (Continuous Pre-training) 適配并穩(wěn)定歌唱特異模塊，其后在精選與增強(qiáng)語料上進(jìn)行 SFT (Supervised Fine-tuning)以提升魯棒性，最后以 Flow-GRPO 的多目標(biāo)獎勵開展 RL 后訓(xùn)練，直接優(yōu)化可懂度、音色與美學(xué)感知。下面依次展開：

• 繼續(xù)預(yù)訓(xùn)練 （CPT）

模型訓(xùn)練從 SeedVC 的 checkpoint 出發(fā)，利用混合的說話與歌聲數(shù)據(jù)進(jìn)行持續(xù)預(yù)訓(xùn)練，以逐步適配并穩(wěn)定新增的歌唱特異性模塊。這一階段旨在讓模型在保持語音建模能力的同時，更好地遷移至歌唱場景，為后續(xù)的監(jiān)督微調(diào)與強(qiáng)化學(xué)習(xí)奠定穩(wěn)健基礎(chǔ)。

• 魯棒性監(jiān)督微調(diào)（Robust SFT）

為了應(yīng)對真實(shí)場景中的和聲殘留和 F0 提取錯誤，團(tuán)隊(duì)構(gòu)建了魯棒微調(diào)策略。通過在訓(xùn)練中引入 隨機(jī) F0 擾動（模擬抖動、滑音誤差）和 額外的分軌和聲數(shù)據(jù)，強(qiáng)制模型學(xué)習(xí)從受污染的輸入中重建干凈歌聲流 （flow），從而大幅提升了對工業(yè)級輸入的容錯率 。

• 基于 Flow-GRPO 的 RL 后訓(xùn)練

這是 Flow-GRPO 算法在 SVC 領(lǐng)域的首次應(yīng)用 。團(tuán)隊(duì)基于歌聲轉(zhuǎn)換任務(wù)的多維特性，兼顧語義可懂度、音色一致性與主觀聽感三方面指標(biāo)，設(shè)計(jì)了一個多目標(biāo)獎勵函數(shù)，包含：

• 智能度獎勵（Intelligibility）：基于 ASR 模型的詞錯誤率（WER）優(yōu)化咬字清晰度 。

• 音色相似度獎勵（Timbre Similarity）：基于聲紋模型確保目標(biāo)音色的高保真還原 。

• 美學(xué)質(zhì)量獎勵（Aesthetic Quality）：引入 Audiobox Aesthetics 模型優(yōu)化聽感美譽(yù)度 。通過 RL，模型學(xué)會了如何在保證還原度的同時，生成更符合人類審美的歌聲 。

02.

實(shí)驗(yàn)結(jié)果

研究團(tuán)隊(duì)構(gòu)建了一個覆蓋多種真實(shí)場景、具有不同難度等級的測試集，并計(jì)劃向社區(qū)完全開源。其中包括：

• GT Leading：干凈且無伴唱的獨(dú)立主唱軌道，用于評估模型的上限表現(xiàn)；

• Mix Vocal：將主唱與和聲混合，專門模擬伴奏分離不徹底、殘留和聲干擾的真實(shí)應(yīng)用場景；

• Ours Leading：使用團(tuán)隊(duì)自研的分離模型得到的主唱軌，用于測試實(shí)際生產(chǎn)鏈路中的魯棒性。

在對比實(shí)驗(yàn)中，YingMusic-SVC 在各項(xiàng)指標(biāo)上均超越了目前最強(qiáng)的開源基線 Seed-VC 和 FreeSVC 。

• 抗干擾能力強(qiáng)：在最具挑戰(zhàn)性的 Mix Vocal 設(shè)置下，Seed-VC 的 F0 相關(guān)性（LogF0PCC）下降到了 84.02%，而 YingMusic-SVC 依然保持在 86.47%，且 CMOS（比較平均意見分）達(dá)到了 3.31 的高分，遠(yuǎn)超基線的 2.93。

• 聽感更佳：得益于 RL 的引入，YingMusic-SVC 在三種評測設(shè)置下的美學(xué)評分（CE/CU）均取得了顯著優(yōu)勢，證明了 GRPO 在提升生成質(zhì)量方面的有效性 。

• 消融實(shí)驗(yàn)證明：去掉 RVC Timbre Shifter 或 RL 模塊后，各項(xiàng)指標(biāo)均有明顯下降，驗(yàn)證了每個模塊的必要性 。

針對三階段的消融實(shí)驗(yàn)證明了 Flow-GRPO 模塊的有效性，將其去除后，模型的 CMOS 與美學(xué)評分（CE/CU）有明顯下降。此外，研究團(tuán)隊(duì)還對強(qiáng)化學(xué)習(xí)的關(guān)鍵超參數(shù)進(jìn)行了深度分析，具體可見圖 3，揭示了 RL 在 SVC 任務(wù)中的敏感性：

圖 4 GRPO 消融實(shí)驗(yàn)圖

03.

未來展望

YingMusic-SVC = 歌聲專屬結(jié)構(gòu)優(yōu)化 + 工業(yè)級魯棒性增強(qiáng) + Flow-GRPO優(yōu)化。它解決的不僅是“能不能轉(zhuǎn)”的問題，而是真實(shí)復(fù)雜場景下“好不好用”的問題。

YingMusic-SVC 為零樣本歌聲轉(zhuǎn)換系統(tǒng)提供了一條從理論建模到工業(yè)實(shí)踐的系統(tǒng)性路徑，成功證明了通過系統(tǒng)化的數(shù)據(jù)構(gòu)建與訓(xùn)練方法，可以構(gòu)建出能在真實(shí)歌曲復(fù)雜場景中穩(wěn)定表現(xiàn)的 SVC 系統(tǒng)。通過歌聲歸納偏置、魯棒訓(xùn)練策略以及強(qiáng)化學(xué)習(xí)的巧妙結(jié)合，模型在音色一致性、歌詞可懂度、音高表現(xiàn)與整體自然度上，均達(dá)到了當(dāng)前開源系統(tǒng)中的頂尖水平。憑借其在和聲干擾等真實(shí)復(fù)雜場景中的卓越魯棒性，YingMusic-SVC已具備直接落地部署的能力，為Zero-Shot svc提供了扎實(shí)的技術(shù)能力。

研究團(tuán)隊(duì)表示，未來將進(jìn)一步探索跨語言歌聲風(fēng)格遷移、更細(xì)粒度的獎勵建模以及實(shí)時推理優(yōu)化等方向，并持續(xù)推動歌聲轉(zhuǎn)換技術(shù)在 AIGC 創(chuàng)作、虛擬角色、音樂教育與用戶生成內(nèi)容等領(lǐng)域中的普惠化應(yīng)用落地。

同時，巨人網(wǎng)絡(luò) AI Lab 本次聯(lián)合清華大學(xué)與西北工業(yè)大學(xué)推出三項(xiàng)研究成果：

除了YingMusic-SVC 外，wisemodel社區(qū)也將陸續(xù)推出YingVideo-MV、與 YingMusic-Singer。

04.

在線體驗(yàn)/API

YingMusic-SVC模型頁面支持部署在線體驗(yàn)，選中該鏡像，點(diǎn)擊在線部署—部署在線體驗(yàn)。進(jìn)入后，根據(jù)需要相應(yīng)的信息進(jìn)行選擇，點(diǎn)擊“提交訂單”按鈕，體驗(yàn)進(jìn)入后臺的啟動階段。大概等待1分鐘左右，體驗(yàn)進(jìn)入運(yùn)行中的狀態(tài)。

公開狀態(tài)的在線體驗(yàn)可以在wisemodel社區(qū)-體驗(yàn)與API”的頁面上點(diǎn)擊相應(yīng)的體驗(yàn)，進(jìn)入體驗(yàn)的頁面；私有狀態(tài)的在線體驗(yàn)需要前往“用戶中心-我的資源-體驗(yàn)”進(jìn)入體驗(yàn)的頁面。

巨人網(wǎng)絡(luò) AI Lab 成立于 2022 年，是隸屬于巨人網(wǎng)絡(luò)的人工智能技術(shù)落地與研究機(jī)構(gòu)。今年以來，團(tuán)隊(duì)多項(xiàng)人工智能研究成果入選ACM MM、ICASSP、Interspeech等國際頂級學(xué)術(shù)會議，覆蓋多模態(tài)生成、音視頻合成及多智能體等技術(shù)方向。

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長期堅(jiān)持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開源社區(qū)的志愿者計(jì)劃和開源共創(chuàng)計(jì)劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴(kuò)大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長期需要技術(shù)、運(yùn)營等人才加盟，技術(shù)側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開發(fā)者生態(tài)運(yùn)營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個人等，在wisemodel平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會AI大數(shù)據(jù)專委會副秘書長劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高?？蒲性核⒋笮突ヂ?lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個人開發(fā)者，以及政府部門、學(xué)會協(xié)會、聯(lián)盟、基金會等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。

向上滑動查看