网络小说排行榜,遮天,梦入神机

一種深度神經網絡的分布式訓練方法

電子技術應用 2023年3期

原野1，田園1，蔣七兵2，3

（1.云南電網有限責任公司信息中心，云南昆明 650214；2.云南云電同方科技有限公司云南昆明 650214； 3.西南林業大學大數據與智能工程學院，云南昆明 650224）

摘要： 深度神經網絡在高維數據的分類和預測中取得了巨大成功。訓練深度神經網絡是數據密集型的任務，需從多個數據源收集大規模的數據。這些數據中通常包含敏感信息時，使得深度神經網絡的訓練過程容易泄露數據隱私。針對訓練過程中的數據隱私和通信代價問題，提出了一種深度神經網絡的分布式訓練方法，允許基于多個數據源共同訓練深度神經網絡。首先，提出了分布式訓練架構，由1個計算中心和多個代理組成。其次，提出了基于多代理的分布式訓練算法，允許代理在數據不出本地和減少通信代價的情況下，通過切割深度神經網絡，實現分布式地共同訓練模型。然后，分析了算法的正確性。最后，實驗結果表明該方法是有效的。

關鍵詞： 深度神經網絡分布式訓練監督學習隱私保護

中圖分類號：TP311 文獻標志碼：A DOI: 10.16157/j.issn.0258-7998.223244
中文引用格式： 原野，田園，蔣七兵. 一種深度神經網絡的分布式訓練方法[J]. 電子技術應用，2023，49(3)：48-53.
英文引用格式： Yuan Ye，Tian Yuan，Jiang Qibing. Distributed training method for deep neural networks[J]. Application of Electronic Technique，2023，49(3)：48-53.

Distributed training method for deep neural networks

Yuan Ye1，Tian Yuan1，Jiang Qibing2，3

(1.Information Center， Yunnan Power Grid Co.， Ltd.， Kunming 650214， China； 2.Yunnan Yundian Tongfang Technology Co.， Ltd.， Kunming 650214， China； 3.School of Big Data and Intelligent Engineering， Southwest Forestry University， Kunming 650224， China)

Abstract： Abstract： Deep neural networks have achieved great success in classification and prediction of high-dimensional data. Training deep neural networks is a data-intensive task, which needs to collect large-scale data from multiple data sources. These data usually contain sensitive information, which makes the training process of convolutional neural networks easy to leak data privacy. Aiming at the problems of data privacy and communication cost in the training process, this paper proposes a distributed training method for deep neural networks, which allows to jointly learn deep neural networks based on multiple data sources. Firstly, a distributed training architecture is proposed, which is composed of one computing center and multiple agents. Secondly, a distributed training algorithm based on multiple data sources is proposed, which allows to distributed jointly train models through the splitting of convolutional neural networks under the constraints that raw data are not shared directly and the communication cost is reduced. Thirdly, the correctness of the algorithm is analyzed. Finally, the experimental results show that our method is effective.

Key words : deep neural network；distributed training；supervised learning；privacy guarantee

0　引言

深度神經網絡在高維數據的分類和預測中取得了巨大成功，例如圖像、視頻和音頻。但是，訓練深度神經網絡是數據密集型的任務，往往需要從多個數據源收集大規模的數據。一個深度神經網絡模型通常包含百萬級參數，需要大量數據和算力來訓練這些參數。

當訓練數據包含敏感信息時，深度神經網絡的訓練過程往往會泄露隱私。如果訓練數據中包含用戶信息、管理信息等高度敏感的信息，數據所有者通常不希望公開這些敏感數據。因此，深度神經網絡因數據隱私而在現實應用中受到限制。

為了控制深度神經網絡訓練過程中數據的隱私泄露，一種可行的解決方案是使用集中式的隱私保護深度學習方法。該方法依賴于一個可信的集中式計算環境，訓練過程使用全局差分隱私算法擾亂訓練數據，從而實現數據的隱私保護。在這種方式下，多個數據源需要信任云服務器，并將擁有的數據上傳到云服務器，而云服務器將使用各數據源上傳的數據集中訓練深度神經網絡。但是，這種方法因要求各代理共享數據而在實際使用中受到限制。

相比集中式的隱私保護深度學習方法，分布式的學習方法更適合實際應用，因為分布式的學習方法并不需要各數據源（代理）共享上傳數據，也不需要集中式的可信計算環境。聯邦學習是一種分布式的學習方法。在聯邦學習中，各數據源在不共享數據的情況下，通過參數聚合機制共同訓練卷積神經網絡。但是，該方法在訓練過程中將面臨巨大的通信開銷。

針對上述問題，本文提出了一種深度神經網絡的分布式訓練方法。該方法允許多個數據源在不共享數據的情況下，通過網絡切割，共同訓練深度神經網絡，并減少訓練過程中的通信開銷。具體地，本文主要貢獻包括以下幾點：

(1) 提出了一種深度神經網絡的分布式訓練方法，允許代理在數據不出本地的情況下，通過網絡切割，實現模型的分布式共同訓練；

(2) 分析了該方法的正確性；

(3) 通過實驗，驗證了該方法的有效性。

本文詳細內容請下載：http://m.viuna.cn/resource/share/2000005228

作者信息：

原野1，田園1，蔣七兵2，3

（1.云南電網有限責任公司信息中心，云南昆明 650214；2.云南云電同方科技有限公司云南昆明 650214；

3.西南林業大學大數據與智能工程學院，云南昆明 650224）

微信圖片_20210517164139.jpg