日期：2026年 08月 22日

標籤： Python PyTorch CUDA FFmpeg GPT-SoVITS GPT-SoVITS v2 TTS Voice Cloning UVR5 ASR

摘要：生成式AI

第一部分：GPT-SoVITS v2 介紹 + 用途 & 應用

Step 1：GPT-SoVITS v2 是什麼？

GPT-SoVITS 是一套少樣本語音合成工具，主要用途是從一小段目標人物的錄音中學習音色
再把輸入文字轉換成接近該人物聲線的語音。
※此工具有 MIT License，因此是開源免費工具

依照官方說明，只有約 5 秒參考音訊時，就能使用零樣本 TTS 快速體驗；
若準備約 1 分鐘以上且品質良好的資料進行微調，通常能進一步提升音色相似度與自然度。

GPT-SoVITS v2 特點如下：

Step 2：GPT、SoVITS 各自負責什麼？

GPT-SoVITS 並非 ChatGPT 接上語音模型
GPT 與 SoVITS 分別處理語音生成流程中的不同任務

因此，完整微調後會產生以下兩組權重：

SoVITS 模型：*.pth
GPT 模型：*.ckpt

推理時需要 同時選擇 [正確] 的 SoVITS 與 GPT 權重。
若兩者來自不同人物聲音，將容易出現音色不穩、咬字異常，甚至無法正常生成的狀況(聲音混亂)。

Step 3：應用場景

語音複製不只可以拿來「模仿某個人的聲音」，更適合用在本人授權、可追蹤來源的內容製作流程。

這類工具最危險的地方，也正是它最方便的地方：只需要少量語音，就可能生成具有相似音色的內容。

因此 ： 本篇只用自己的錄音當素材為說明如何使用 GPT-SoVITS v2

Step 4：本篇實作目標與環境需求

本篇目標： 是將一段含有背景聲的長音訊，整理成 GPT-SoVITS v2 可使用的聲音資料集，說明如何複製人聲
然後進行 SoVITS + GPT 微調，最後輸入一段從未錄製過的文字進行語音生成。

使用環境需求(這邊列出 Windows)，可參考官方的配置建議：

訓練：

Windows
● 支持 CUDA 的 nVIDIA 显卡，每张拥有至少 8G 以上显存
● 常见的不能使用的显卡：2060以前所有显卡
● Windows 10/11 系统
● ###如果没显卡的话会自动识别使用CPU训练，但慢的离谱

推理：

Windows
● 支持 CUDA 的 nVIDIA 显卡，每张拥有至少 4G 以上显存（未实测，3G刚好无法合成一句，所以推测4G应该可以）
● Windows 10/11 系统
● ###如果没显卡的话会自动识别使用CPU推理

本文採用 GPT-SoVITS WebUI 操作。由於專案仍會更新，若畫面名稱與本文略有差異，請以自己下載版本的介面與官方 README 為準。

Step 5：安裝教學

安裝可參考官方教學，官方提供了很豐富的手冊說明，基本上可以依照所需進行本地化安裝 / 容器化部署

第二部分：數據前置 - 去除背景音與提取純人聲

Step 1：前言 - 資料比參數更重要

聲音模型會把聲音檔案中的特徵一起學進去。若原始錄音包含音樂、殘響、風聲、鍵盤聲，模型可能不只學到人聲，也把這些內容當成目標聲音的一部分。
準備聲音檔案時，可以先依照此下原則準備：

如果是自己錄音，使用安靜空間、固定麥克風距離錄製，會比事後進行重度降噪更可靠。

Step 2：聲音檔分離 - 開啟 WebUI 操作

安裝 GPT-SoVITS 完成後，啟動 Web-UI 會出現以下畫面：

啟動位置：http://localhost:9874/

選擇 開啟人聲分離WebUI

Step 3：聲音檔分離 - 啟動

這時 CMD 會出現提示 WEBUI 位置

http://localhost:9873/

然後在瀏覽器開啟後，有以下畫面：

Step 4：聲音檔分離 - 執行聲音分離

如下圖，依序操作，預期會分離出 人聲 與 背景聲 ：

Step 5：聲音檔分離 - 分離完成

分離完成後會出現 2 個檔案 (聲音檔案越大執行越久)

instrument_您的聲音檔案名稱.wav ： 這是背景聲
vocal_您的聲音檔案名稱.wav : 這是人聲

後續我們都用這個人聲進行 SoVITS + GPT 訓練，目標取得此聲音的訓練模型

第三部分：聲音加工 - 切割、ASR 識別與文本對準

Step 1：聲音切割 - 準備檔案

將第二部分 Step 5. 獲得的 人聲 檔案，放在自己本機的目錄下，例如我將檔案放在此目錄下:

G:\GPT-SoVITS\Test_Vocal_Remove_BackGround\vocal_test_vocal.mp3_10.wav

Step 2：聲音切割 - 執行切割

接著要進行聲音檔案切割，依序執行：

※裡面的參數可以保留預設，具體用途上面都有說明，就跳過解釋。



執行完成後，會在 CMD 出現 執行完畢，請檢察輸出文件 訊息

Step 3：聲音切割 - 執行切割

檢查輸出結果，會觀察到原始的音檔，已經被切割小音檔，這是為了便於後續訓練使用，預設路徑：

output/slicer_opt

Step 4：聲音識別 - 進行語系識別

接著要進行聲音識別，依序填入設定，然後執行：

ASR (Automatic Speech Recognition) 補充：

ASR 的工作只是產生「初稿」，不能直接把結果送進訓練。以下內容特別容易辨識錯誤：

人名、地名、品牌名稱
英文縮寫與中英夾雜
數字、日期、單位
同音字與口語省略
語助詞、重複字與結巴
背景聲仍然明顯的片段

辨識完成後，會產生副檔名 .list 標注檔案，並如下提示： ASR任務完成
檔案位置：

output/asr_opt/slicer_opt.list

Step 5：聲音文本校準 - 啟動

接著要進行聲音校準，依序填入設定，然後啟動：

以下是 .list 標注檔補充說明：官方資料集格式如下：

音訊路徑|說話者名稱|語言|文字

範例：

您的切割的聲音檔案輸出路徑/output/slicer_opt/xxxx.wav|speaker01|zh|大家好，今天要測試語音生成。
您的切割的聲音檔案輸出路徑/output/slicer_opt/xxxx.wav|speaker01|zh|這一句是第二段訓練資料。
...
...
...
...以下略

Step 6：聲音文本校準 - 開始進行人工校準

這時 CMD 會出現提示 WEBUI 位置(本篇範例提供的位置，每次可能不同)：
開啟瀏覽器訪問

http://localhost:9871/

文本對準是整個流程中最花時間、也最不能省略的步驟。
模型會把「聽到的聲音」與「你提供的文字」當成正確答案；錯一個字，就等於主動提供錯誤教材。

Step 7：聲音文本校準 - 校準完畢關閉

當校準完畢後可以將啟動的 WebUI 關閉，如下點擊




然後 CMD 就會提示： 音頻標注WebUI進程已終止

第四部分：模型訓練 + 生成結果

Step 1：模型訓練 - 設定模型名稱

回到 WebUI 最上方，這次選擇 1-GPT-SoVITS-TTS 分頁頁籤
然後在 實驗/模型名 輸入自己定義的名稱，以後如果要重複利用這個名稱便於辨識用

Test_Vocal

Step 2：模型訓練 - 特徵格式化訓練執行

往 WebUI 下方移動，接著要訓練格式化，將音訊與文字轉換成模型需要的特徵

如果前面步驟都有正確執行，那麼會是對應以下路徑：

接著往下點擊 開啟訓練集格式化一鍵三連
※就是把上面的 文本分詞與特徵提取 , 語音自監督特徵提取 , 語意Token提取 依序執行的整合按鈕

Step 3：模型訓練 - 特徵格式化訓練完成

這個階段會需要一點時間，直到出現提示： 訓練集格式化一鍵三連已完成

Step 4：模型訓練 - SoVITS 訓練準備階段

SoVITS 訓練主要影響 音色與聲音 還原，以下是參數說明：

初次使用時，可以使用預設值，後續生成不滿意，可以再依照上面的參數說明進行調整
如圖，依序選擇，最終進行： SoVITS訓練

Step 5：模型訓練 - SoVITS 訓練完成

此階段是考驗 GPU 算力的過程，會執行一段時間來訓練模型，如果出現 CUDA Out of Memory
可先降低 Batch Size、關閉其他占用顯存的程式，再重新執行。




訓練完成後 CMD 會提示 training done

Step 6：模型訓練 - GPT 訓練準備階段

再往下移動些，進行 GPT 訓練
GPT訓練主要影響 文字到語音語意的預測 ，資料量太少、文字錯誤或句型過度單一，都可能影響生成時的節奏與咬字。

訓練完成後，將輸出的 .pth 與 .ckpt 依照相同實驗名稱保存。

點擊執行： 開啟GPT訓練

Step 7：模型訓練 - GPT 訓練完成

執行時間相對比較快，主要用到 CPU 與記憶體，不容易出現 VRAM 不足的問題
訓練完成後 CMD 會提示 training done

Step 8：聲音合成 - 進行聲音推理

這時要將剛剛訓練好的 GPT 與 SoVITS 的模型做參數設定，如下圖，進入 1C推理 分頁籤
然後將模型進行下拉是選單的選擇：

GPT 模型列表：GPT_weights_v2Pro/Test_Vocal-e15.ckpt
SoVITS模型列表：SovITS_weights_v2Pro/Test_Vocal_e8_s120.pth

然後點擊執行： 開啟TTS推理WebUI

Step 9：聲音合成 - 進入TTS推理WebUI

開啟後， CMD 會提示開啟的 WebUI ，開啟瀏覽器訪問：

http://localhost:9872/

然後選擇 1 個剛剛分割的音檔 (3~10秒間)


※補充：如果照前面的範例操作應可在 /output/slicer_opt 中，有切割檔案

Step 10：聲音合成 - 填寫文本

然後依照上傳的分割聲音檔，手動填入對應的文本

Step 10：聲音合成 - 生成完成

最後到下方依序進行填入：

文本來源，聯合新聞網(2026-07-25 17:09 聯合報)：https://udn.com/news/story/7266/9650741

中東戰事擴大，紅海危機升溫，國際油價飆漲，中油25日宣布27日凌晨零時起調漲國內油價，汽油、柴油價格每公升各調漲0.7元及0.5元。
這是中油自4月凍漲以來首次調漲國內汽柴油售價。

生成後，可以進行撥放合成的音檔，並且可以點擊 ↓ 下載這份合成後的音檔

Step 11：聲音合成 - 驗證成果

因為聲音有授權的問題，因此後續有用 公有領域數據集 的可安全商用、免版權費的公開音檔來源，進行合成聲音

中東戰事擴大，紅海危機升溫，國際油價飆漲，中油25日宣布27日凌晨零時起調漲國內油價，汽油、柴油價格每公升各調漲0.7元及0.5元。
這是中油自4月凍漲以來首次調漲國內汽柴油售價。

若無法從網頁撥放可以點擊下載

第五部分：遺留問題與討論（避坑與後續）

Step 1：為什麼生成結果不像？

可能訓練生成語音的結果相似度低，這時不一定代表模型架構或訓練參數有問題。
建議依照「資料 → 標註 → 參考音訊 → 模型 → 推理參數」的順序排查。

以上方向是優化的考量方案

Step 2：資料量要多少才夠？

官方主打 5 秒零樣本與約 1 分鐘少樣本微調，但「一分鐘」不是保證品質的魔法數字。

關鍵：資料品質、發音涵蓋、錄音一致性與使用情境，通常比單純累積分鐘數更重要。

可以用下列方式逐步實驗：

不要將大量低品質資料直接混入既有資料集。每增加一批素材，都應保留版本並使用相同測試句進行 A/B 比較。

Step 3：現存問題 - 跨語言與中文多音字問題

v2 支援中文、英文、日文、韓文與粵語，也能嘗試跨語言生成，但支援不等於每個人物、每句內容都會自然。
當目標人物的訓練資料完全沒有某種語言時，生成結果可能保留音色，卻帶有不自然的口音或節奏。

中文還會遇到多音字、數字與符號正規化問題，例如：

「銀行」與「行走」的「行」
「重新」與「重量」的「重」
2026、8/22、3.14、RTX 5070 等數字與符號
GPT-SoVITS、CUDA、AI 等英文縮寫

使用時不能 100% 保證生成自然

Step 4：授權、揭露與防止濫用

語音資料屬於高度個人化的生物特徵。即使某段影片可以公開觀看，也不代表可以任意下載、訓練並用該人物的聲音生成新內容。

最安全的實作方式，是只訓練自己的聲音，或使用 公有領域數據集 開放授權使用的聲音資料。
尋求安全並開放授權的聲音檔案，是 後續我們要分享的文章。