中文引用格式: 原野,田園,蔣七兵. 一種深度神經網絡的分布式訓練方法[J]. 電子技術應用,2023,49(3):48-53.
英文引用格式: Yuan Ye,Tian Yuan,Jiang Qibing. Distributed training method for deep neural networks[J]. Application of Electronic Technique,2023,49(3):48-53.
0 引言
深度神經網絡在高維數據的分類和預測中取得了巨大成功,例如圖像、視頻和音頻。但是,訓練深度神經網絡是數據密集型的任務,往往需要從多個數據源收集大規模的數據。一個深度神經網絡模型通常包含百萬級參數,需要大量數據和算力來訓練這些參數。
當訓練數據包含敏感信息時,深度神經網絡的訓練過程往往會泄露隱私。如果訓練數據中包含用戶信息、管理信息等高度敏感的信息,數據所有者通常不希望公開這些敏感數據。因此,深度神經網絡因數據隱私而在現實應用中受到限制。
為了控制深度神經網絡訓練過程中數據的隱私泄露,一種可行的解決方案是使用集中式的隱私保護深度學習方法。該方法依賴于一個可信的集中式計算環境,訓練過程使用全局差分隱私算法擾亂訓練數據,從而實現數據的隱私保護。在這種方式下,多個數據源需要信任云服務器,并將擁有的數據上傳到云服務器,而云服務器將使用各數據源上傳的數據集中訓練深度神經網絡。但是,這種方法因要求各代理共享數據而在實際使用中受到限制。
相比集中式的隱私保護深度學習方法,分布式的學習方法更適合實際應用,因為分布式的學習方法并不需要各數據源(代理)共享上傳數據,也不需要集中式的可信計算環境。聯邦學習是一種分布式的學習方法。在聯邦學習中,各數據源在不共享數據的情況下,通過參數聚合機制共同訓練卷積神經網絡。但是,該方法在訓練過程中將面臨巨大的通信開銷。
針對上述問題,本文提出了一種深度神經網絡的分布式訓練方法。該方法允許多個數據源在不共享數據的情況下,通過網絡切割,共同訓練深度神經網絡,并減少訓練過程中的通信開銷。具體地,本文主要貢獻包括以下幾點:
(1) 提出了一種深度神經網絡的分布式訓練方法,允許代理在數據不出本地的情況下,通過網絡切割,實現模型的分布式共同訓練;
(2) 分析了該方法的正確性;
(3) 通過實驗,驗證了該方法的有效性。
本文詳細內容請下載:http://m.viuna.cn/resource/share/2000005228
作者信息:
原野1,田園1,蔣七兵2,3
(1.云南電網有限責任公司 信息中心,云南 昆明 650214;2.云南云電同方科技有限公司 云南 昆明 650214;
3.西南林業大學 大數據與智能工程學院,云南 昆明 650224)