《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 人工智能 > 設(shè)計應(yīng)用 > 一種深度神經(jīng)網(wǎng)絡(luò)的分布式訓(xùn)練方法
一種深度神經(jīng)網(wǎng)絡(luò)的分布式訓(xùn)練方法
電子技術(shù)應(yīng)用 2023年3期
原野1,田園1,蔣七兵2,3
(1.云南電網(wǎng)有限責(zé)任公司 信息中心,云南 昆明 650214;2.云南云電同方科技有限公司 云南 昆明 650214; 3.西南林業(yè)大學(xué) 大數(shù)據(jù)與智能工程學(xué)院,云南 昆明 650224)
摘要: 深度神經(jīng)網(wǎng)絡(luò)在高維數(shù)據(jù)的分類和預(yù)測中取得了巨大成功。訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)是數(shù)據(jù)密集型的任務(wù),需從多個數(shù)據(jù)源收集大規(guī)模的數(shù)據(jù)。這些數(shù)據(jù)中通常包含敏感信息時,使得深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程容易泄露數(shù)據(jù)隱私。針對訓(xùn)練過程中的數(shù)據(jù)隱私和通信代價問題,提出了一種深度神經(jīng)網(wǎng)絡(luò)的分布式訓(xùn)練方法,允許基于多個數(shù)據(jù)源共同訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。首先,提出了分布式訓(xùn)練架構(gòu),由1個計算中心和多個代理組成。其次,提出了基于多代理的分布式訓(xùn)練算法,允許代理在數(shù)據(jù)不出本地和減少通信代價的情況下,通過切割深度神經(jīng)網(wǎng)絡(luò),實現(xiàn)分布式地共同訓(xùn)練模型。然后,分析了算法的正確性。最后,實驗結(jié)果表明該方法是有效的。
中圖分類號:TP311 文獻標志碼:A DOI: 10.16157/j.issn.0258-7998.223244
中文引用格式: 原野,田園,蔣七兵. 一種深度神經(jīng)網(wǎng)絡(luò)的分布式訓(xùn)練方法[J]. 電子技術(shù)應(yīng)用,2023,49(3):48-53.
英文引用格式: Yuan Ye,Tian Yuan,Jiang Qibing. Distributed training method for deep neural networks[J]. Application of Electronic Technique,2023,49(3):48-53.
Distributed training method for deep neural networks
Yuan Ye1,Tian Yuan1,Jiang Qibing2,3
(1.Information Center, Yunnan Power Grid Co., Ltd., Kunming 650214, China; 2.Yunnan Yundian Tongfang Technology Co., Ltd., Kunming 650214, China; 3.School of Big Data and Intelligent Engineering, Southwest Forestry University, Kunming 650224, China)
Abstract: Abstract: Deep neural networks have achieved great success in classification and prediction of high-dimensional data. Training deep neural networks is a data-intensive task, which needs to collect large-scale data from multiple data sources. These data usually contain sensitive information, which makes the training process of convolutional neural networks easy to leak data privacy. Aiming at the problems of data privacy and communication cost in the training process, this paper proposes a distributed training method for deep neural networks, which allows to jointly learn deep neural networks based on multiple data sources. Firstly, a distributed training architecture is proposed, which is composed of one computing center and multiple agents. Secondly, a distributed training algorithm based on multiple data sources is proposed, which allows to distributed jointly train models through the splitting of convolutional neural networks under the constraints that raw data are not shared directly and the communication cost is reduced. Thirdly, the correctness of the algorithm is analyzed. Finally, the experimental results show that our method is effective.
Key words : deep neural network;distributed training;supervised learning;privacy guarantee

0 引言

深度神經(jīng)網(wǎng)絡(luò)在高維數(shù)據(jù)的分類和預(yù)測中取得了巨大成功,例如圖像、視頻和音頻。但是,訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)是數(shù)據(jù)密集型的任務(wù),往往需要從多個數(shù)據(jù)源收集大規(guī)模的數(shù)據(jù)。一個深度神經(jīng)網(wǎng)絡(luò)模型通常包含百萬級參數(shù),需要大量數(shù)據(jù)和算力來訓(xùn)練這些參數(shù)。

當訓(xùn)練數(shù)據(jù)包含敏感信息時,深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程往往會泄露隱私。如果訓(xùn)練數(shù)據(jù)中包含用戶信息、管理信息等高度敏感的信息,數(shù)據(jù)所有者通常不希望公開這些敏感數(shù)據(jù)。因此,深度神經(jīng)網(wǎng)絡(luò)因數(shù)據(jù)隱私而在現(xiàn)實應(yīng)用中受到限制。

為了控制深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中數(shù)據(jù)的隱私泄露,一種可行的解決方案是使用集中式的隱私保護深度學(xué)習(xí)方法。該方法依賴于一個可信的集中式計算環(huán)境,訓(xùn)練過程使用全局差分隱私算法擾亂訓(xùn)練數(shù)據(jù),從而實現(xiàn)數(shù)據(jù)的隱私保護。在這種方式下,多個數(shù)據(jù)源需要信任云服務(wù)器,并將擁有的數(shù)據(jù)上傳到云服務(wù)器,而云服務(wù)器將使用各數(shù)據(jù)源上傳的數(shù)據(jù)集中訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。但是,這種方法因要求各代理共享數(shù)據(jù)而在實際使用中受到限制。

相比集中式的隱私保護深度學(xué)習(xí)方法,分布式的學(xué)習(xí)方法更適合實際應(yīng)用,因為分布式的學(xué)習(xí)方法并不需要各數(shù)據(jù)源(代理)共享上傳數(shù)據(jù),也不需要集中式的可信計算環(huán)境。聯(lián)邦學(xué)習(xí)是一種分布式的學(xué)習(xí)方法。在聯(lián)邦學(xué)習(xí)中,各數(shù)據(jù)源在不共享數(shù)據(jù)的情況下,通過參數(shù)聚合機制共同訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。但是,該方法在訓(xùn)練過程中將面臨巨大的通信開銷。

針對上述問題,本文提出了一種深度神經(jīng)網(wǎng)絡(luò)的分布式訓(xùn)練方法。該方法允許多個數(shù)據(jù)源在不共享數(shù)據(jù)的情況下,通過網(wǎng)絡(luò)切割,共同訓(xùn)練深度神經(jīng)網(wǎng)絡(luò),并減少訓(xùn)練過程中的通信開銷。具體地,本文主要貢獻包括以下幾點:

(1) 提出了一種深度神經(jīng)網(wǎng)絡(luò)的分布式訓(xùn)練方法,允許代理在數(shù)據(jù)不出本地的情況下,通過網(wǎng)絡(luò)切割,實現(xiàn)模型的分布式共同訓(xùn)練;

(2) 分析了該方法的正確性;

(3) 通過實驗,驗證了該方法的有效性。



本文詳細內(nèi)容請下載:http://m.viuna.cn/resource/share/2000005228




作者信息:

原野1,田園1,蔣七兵2,3

(1.云南電網(wǎng)有限責(zé)任公司 信息中心,云南 昆明 650214;2.云南云電同方科技有限公司 云南 昆明 650214;

3.西南林業(yè)大學(xué) 大數(shù)據(jù)與智能工程學(xué)院,云南 昆明 650224)



微信圖片_20210517164139.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
主站蜘蛛池模板: 韩国在线视频 | 在线a人片免费观看不卡 | 人人澡人摸人人爽歪歪 | 欧美日本视频一区 | 欧美性极品xxxxx | 欧美日韩a级a | 日日操干 | 欧美成人网在线综合视频 | 深夜免费看片 | 亚洲已满18点击进入在线观看 | 中文字幕在线看视频一区二区三区 | 国产在线观看精品 | 男女下面一进一出的视频免费 | 国产综合久久久久 | 免费特级黄毛片 | 日韩午夜免费视频 | 黄色香蕉视频 | 日本在线黄色网址 | 国产精品午夜在线观看 | 两性色午夜视频免费网 | 伊人久久大香线蕉综合网站 | 国产精品视频在这里有精品 | 在线中文字日产区乱码 | 狠狠综合久久久久综合 | 国产乡下三片 | 深夜a级毛片免费视频 | 好男人在线社区影院www | 成人精品视频 成人影院 | 久久久久久一级毛片免费野外 | 成人黄色片网站 | 黄黄的网站 | 日本黄色大片网站 | 亚洲欧美一区二区三区导航 | 亚洲精品欧美精品日韩精品 | 人人爽人人看 | 九九精品国产99精品 | 一个人www视频在线观看 | 男女羞羞的视频网站在线观看 | 欧美亚洲国产成人不卡 | 26uuu另类欧美亚洲日本 | 国产人成精品免费视频 |