《電子技術應用》
您所在的位置:首頁 > 人工智能 > 設計應用 > 一種深度神經網絡的分布式訓練方法
一種深度神經網絡的分布式訓練方法
電子技術應用 2023年3期
原野1,田園1,蔣七兵2,3
(1.云南電網有限責任公司 信息中心,云南 昆明 650214;2.云南云電同方科技有限公司 云南 昆明 650214; 3.西南林業大學 大數據與智能工程學院,云南 昆明 650224)
摘要: 深度神經網絡在高維數據的分類和預測中取得了巨大成功。訓練深度神經網絡是數據密集型的任務,需從多個數據源收集大規模的數據。這些數據中通常包含敏感信息時,使得深度神經網絡的訓練過程容易泄露數據隱私。針對訓練過程中的數據隱私和通信代價問題,提出了一種深度神經網絡的分布式訓練方法,允許基于多個數據源共同訓練深度神經網絡。首先,提出了分布式訓練架構,由1個計算中心和多個代理組成。其次,提出了基于多代理的分布式訓練算法,允許代理在數據不出本地和減少通信代價的情況下,通過切割深度神經網絡,實現分布式地共同訓練模型。然后,分析了算法的正確性。最后,實驗結果表明該方法是有效的。
中圖分類號:TP311 文獻標志碼:A DOI: 10.16157/j.issn.0258-7998.223244
中文引用格式: 原野,田園,蔣七兵. 一種深度神經網絡的分布式訓練方法[J]. 電子技術應用,2023,49(3):48-53.
英文引用格式: Yuan Ye,Tian Yuan,Jiang Qibing. Distributed training method for deep neural networks[J]. Application of Electronic Technique,2023,49(3):48-53.
Distributed training method for deep neural networks
Yuan Ye1,Tian Yuan1,Jiang Qibing2,3
(1.Information Center, Yunnan Power Grid Co., Ltd., Kunming 650214, China; 2.Yunnan Yundian Tongfang Technology Co., Ltd., Kunming 650214, China; 3.School of Big Data and Intelligent Engineering, Southwest Forestry University, Kunming 650224, China)
Abstract: Abstract: Deep neural networks have achieved great success in classification and prediction of high-dimensional data. Training deep neural networks is a data-intensive task, which needs to collect large-scale data from multiple data sources. These data usually contain sensitive information, which makes the training process of convolutional neural networks easy to leak data privacy. Aiming at the problems of data privacy and communication cost in the training process, this paper proposes a distributed training method for deep neural networks, which allows to jointly learn deep neural networks based on multiple data sources. Firstly, a distributed training architecture is proposed, which is composed of one computing center and multiple agents. Secondly, a distributed training algorithm based on multiple data sources is proposed, which allows to distributed jointly train models through the splitting of convolutional neural networks under the constraints that raw data are not shared directly and the communication cost is reduced. Thirdly, the correctness of the algorithm is analyzed. Finally, the experimental results show that our method is effective.
Key words : deep neural network;distributed training;supervised learning;privacy guarantee

0 引言

深度神經網絡在高維數據的分類和預測中取得了巨大成功,例如圖像、視頻和音頻。但是,訓練深度神經網絡是數據密集型的任務,往往需要從多個數據源收集大規模的數據。一個深度神經網絡模型通常包含百萬級參數,需要大量數據和算力來訓練這些參數。

當訓練數據包含敏感信息時,深度神經網絡的訓練過程往往會泄露隱私。如果訓練數據中包含用戶信息、管理信息等高度敏感的信息,數據所有者通常不希望公開這些敏感數據。因此,深度神經網絡因數據隱私而在現實應用中受到限制。

為了控制深度神經網絡訓練過程中數據的隱私泄露,一種可行的解決方案是使用集中式的隱私保護深度學習方法。該方法依賴于一個可信的集中式計算環境,訓練過程使用全局差分隱私算法擾亂訓練數據,從而實現數據的隱私保護。在這種方式下,多個數據源需要信任云服務器,并將擁有的數據上傳到云服務器,而云服務器將使用各數據源上傳的數據集中訓練深度神經網絡。但是,這種方法因要求各代理共享數據而在實際使用中受到限制。

相比集中式的隱私保護深度學習方法,分布式的學習方法更適合實際應用,因為分布式的學習方法并不需要各數據源(代理)共享上傳數據,也不需要集中式的可信計算環境。聯邦學習是一種分布式的學習方法。在聯邦學習中,各數據源在不共享數據的情況下,通過參數聚合機制共同訓練卷積神經網絡。但是,該方法在訓練過程中將面臨巨大的通信開銷。

針對上述問題,本文提出了一種深度神經網絡的分布式訓練方法。該方法允許多個數據源在不共享數據的情況下,通過網絡切割,共同訓練深度神經網絡,并減少訓練過程中的通信開銷。具體地,本文主要貢獻包括以下幾點:

(1) 提出了一種深度神經網絡的分布式訓練方法,允許代理在數據不出本地的情況下,通過網絡切割,實現模型的分布式共同訓練;

(2) 分析了該方法的正確性;

(3) 通過實驗,驗證了該方法的有效性。



本文詳細內容請下載:http://m.viuna.cn/resource/share/2000005228




作者信息:

原野1,田園1,蔣七兵2,3

(1.云南電網有限責任公司 信息中心,云南 昆明 650214;2.云南云電同方科技有限公司 云南 昆明 650214;

3.西南林業大學 大數據與智能工程學院,云南 昆明 650224)



微信圖片_20210517164139.jpg

此內容為AET網站原創,未經授權禁止轉載。
主站蜘蛛池模板: 亚洲成a人片在线观看尤物 亚洲成a人片在线观看88 | 国产精品二区三区免费播放心 | 好男人免费社区视频www | 精品国产高清自在线一区二区三区 | 欧美久久天天综合香蕉伊 | 精品午夜国产在线观看不卡 | 五月桃花网婷婷亚洲综合 | 欧美视频免费一区二区三区 | 国产精品边做边接电话在线观看 | 怡红院美国十次成人影院 | 99热色 | 乱乳荡小说| 久久精品全国免费观看国产 | 国产精品 日韩 | 亚洲日本韩国在线 | 天堂中文字幕在线 | 中文 日本 免费 高清 | 日本欧美在线播放 | 国产黄色毛片视频 | 久久久青青草 | 午夜大片免费男女爽爽影院久久 | 亚洲成a人片77777kkk | 色www免费视频 | 日本精品视频一区二区三区 | 国产精品视_精品国产免费 国产精品视频a | 欧美日本一区二区三区道 | 黄色高清在线观看 | 在线观看黄色影片 | 中文字幕日本在线观看 | 国产手机在线αⅴ片无码观看 | 美女乱人伦| 噜噜噜噜精品视频在线观看 | 亚洲首页成人有声小说网 | 黄色片在线视频 | 手机看片1204国内基地在线 | 精品一区一区三区新区乱码 | 久久久午夜视频 | www.国产一区二区三区 | 天天骑天天干 | 国产精品v欧美精品v日韩精品 | 中国一级全黄的免费观看 |