中文引用格式: 原野,田園,蔣七兵. 一種深度神經(jīng)網(wǎng)絡(luò)的分布式訓(xùn)練方法[J]. 電子技術(shù)應(yīng)用,2023,49(3):48-53.
英文引用格式: Yuan Ye,Tian Yuan,Jiang Qibing. Distributed training method for deep neural networks[J]. Application of Electronic Technique,2023,49(3):48-53.
0 引言
深度神經(jīng)網(wǎng)絡(luò)在高維數(shù)據(jù)的分類和預(yù)測中取得了巨大成功,例如圖像、視頻和音頻。但是,訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)是數(shù)據(jù)密集型的任務(wù),往往需要從多個數(shù)據(jù)源收集大規(guī)模的數(shù)據(jù)。一個深度神經(jīng)網(wǎng)絡(luò)模型通常包含百萬級參數(shù),需要大量數(shù)據(jù)和算力來訓(xùn)練這些參數(shù)。
當訓(xùn)練數(shù)據(jù)包含敏感信息時,深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程往往會泄露隱私。如果訓(xùn)練數(shù)據(jù)中包含用戶信息、管理信息等高度敏感的信息,數(shù)據(jù)所有者通常不希望公開這些敏感數(shù)據(jù)。因此,深度神經(jīng)網(wǎng)絡(luò)因數(shù)據(jù)隱私而在現(xiàn)實應(yīng)用中受到限制。
為了控制深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中數(shù)據(jù)的隱私泄露,一種可行的解決方案是使用集中式的隱私保護深度學(xué)習(xí)方法。該方法依賴于一個可信的集中式計算環(huán)境,訓(xùn)練過程使用全局差分隱私算法擾亂訓(xùn)練數(shù)據(jù),從而實現(xiàn)數(shù)據(jù)的隱私保護。在這種方式下,多個數(shù)據(jù)源需要信任云服務(wù)器,并將擁有的數(shù)據(jù)上傳到云服務(wù)器,而云服務(wù)器將使用各數(shù)據(jù)源上傳的數(shù)據(jù)集中訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。但是,這種方法因要求各代理共享數(shù)據(jù)而在實際使用中受到限制。
相比集中式的隱私保護深度學(xué)習(xí)方法,分布式的學(xué)習(xí)方法更適合實際應(yīng)用,因為分布式的學(xué)習(xí)方法并不需要各數(shù)據(jù)源(代理)共享上傳數(shù)據(jù),也不需要集中式的可信計算環(huán)境。聯(lián)邦學(xué)習(xí)是一種分布式的學(xué)習(xí)方法。在聯(lián)邦學(xué)習(xí)中,各數(shù)據(jù)源在不共享數(shù)據(jù)的情況下,通過參數(shù)聚合機制共同訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。但是,該方法在訓(xùn)練過程中將面臨巨大的通信開銷。
針對上述問題,本文提出了一種深度神經(jīng)網(wǎng)絡(luò)的分布式訓(xùn)練方法。該方法允許多個數(shù)據(jù)源在不共享數(shù)據(jù)的情況下,通過網(wǎng)絡(luò)切割,共同訓(xùn)練深度神經(jīng)網(wǎng)絡(luò),并減少訓(xùn)練過程中的通信開銷。具體地,本文主要貢獻包括以下幾點:
(1) 提出了一種深度神經(jīng)網(wǎng)絡(luò)的分布式訓(xùn)練方法,允許代理在數(shù)據(jù)不出本地的情況下,通過網(wǎng)絡(luò)切割,實現(xiàn)模型的分布式共同訓(xùn)練;
(2) 分析了該方法的正確性;
(3) 通過實驗,驗證了該方法的有效性。
本文詳細內(nèi)容請下載:http://m.viuna.cn/resource/share/2000005228
作者信息:
原野1,田園1,蔣七兵2,3
(1.云南電網(wǎng)有限責(zé)任公司 信息中心,云南 昆明 650214;2.云南云電同方科技有限公司 云南 昆明 650214;
3.西南林業(yè)大學(xué) 大數(shù)據(jù)與智能工程學(xué)院,云南 昆明 650224)