多分支卷積神經(jīng)網(wǎng)絡(luò)的FPGA設(shè)計與優(yōu)化
2021年電子技術(shù)應(yīng)用第7期
謝思璞，魏榕山
福州大學 物理與信息工程學院，福建 福州350108
摘要： 針對拓寬神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)會導致計算量增大，計算性能降低，需要針對并行的網(wǎng)絡(luò)進行更有效的優(yōu)化以及調(diào)度。通過分析FPGA平臺上實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的計算吞吐量和所需的帶寬，在計算資源和訪存帶寬的限制下，采用了屋頂模型進行了設(shè)計空間的探索，提出了在不同支的卷積神經(jīng)網(wǎng)絡(luò)中使用不同的循環(huán)展開因子，從而實現(xiàn)同一卷積層中不同支神經(jīng)網(wǎng)絡(luò)的并行計算，保證計算資源和內(nèi)存資源的合理分配。實驗結(jié)果表明，所提出的設(shè)計與先前研究相比獲得了1.31×的性能提升。
中圖分類號： TN409
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.211279
中文引用格式： 謝思璞，魏榕山. 多分支卷積神經(jīng)網(wǎng)絡(luò)的FPGA設(shè)計與優(yōu)化[J].電子技術(shù)應(yīng)用，2021，47(7)：97-101.
英文引用格式： Xie Sipu，Wei Rongshan. FPGA design and optimization of multi-branch CNN[J]. Application of Electronic Technique，2021，47(7)：97-101.
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.211279
中文引用格式： 謝思璞，魏榕山. 多分支卷積神經(jīng)網(wǎng)絡(luò)的FPGA設(shè)計與優(yōu)化[J].電子技術(shù)應(yīng)用，2021，47(7)：97-101.
英文引用格式： Xie Sipu，Wei Rongshan. FPGA design and optimization of multi-branch CNN[J]. Application of Electronic Technique，2021，47(7)：97-101.
FPGA design and optimization of multi-branch CNN
Xie Sipu，Wei Rongshan
School of Physics and Information Engineering，F(xiàn)uzhou University，F(xiàn)uzhou 350108，China
Abstract： Broadening the structure of the neural network will lead to the increase of the amount of computation and the decrease of the computational performance, it is necessary to optimize and schedule the parallel network more effectively. By analyzing the throughput and bandwidth of convolutional neural network on FPGA platform, the roof model is used to explore the design space under the limitation of computing resources and memory access bandwidth. It is proposed to use different cycle expansion factors in different branches of convolutional neural network, so as to realize the parallel computing of different branches of neural network in the same convolution layer and ensure the computing efficiency reasonable allocation of resources and memory resources. The experimental results show that the performance of the proposed design is improved by 1.31×compared with the previous research.
Key words : multi-branch convolutional neural network；FPGA；roofline model；parallel computing
0 引言
近年來，神經(jīng)網(wǎng)絡(luò)受到了廣泛熱議，成為了學術(shù)界和工業(yè)界的熱門議題，Google、Microsoft和Facebook等科技公司都建立了相關(guān)的研究小組，以探索CNN的新架構(gòu)[1-3]。通過對CNN架構(gòu)上的創(chuàng)新改善CNN性能，利用空間和通道信息，結(jié)構(gòu)的深度和寬度以及多路徑信息處理等方法引起了廣泛的討論。
在眾多新型CNN架構(gòu)中，基于寬度擴展的多支并行的CNN得到了國內(nèi)外學術(shù)屆的重視。KAWAGUCHI K等人提出網(wǎng)絡(luò)的寬度是影響網(wǎng)絡(luò)精度與準確度的一個重要指標[4]。通過在層中并行使用多個處理單元，可以得到比感知器更為復雜的映射。GoogLeNet中的Inception模塊是一種典型的多支網(wǎng)絡(luò)架構(gòu)，并使用了不同尺寸的卷積核[5]。2017年，DEL COCO M等人[6]利用多分支結(jié)構(gòu)引入了并行的多尺度分析，減小了神經(jīng)網(wǎng)絡(luò)的深度，克服了過擬合問題。拓寬網(wǎng)絡(luò)寬度的多支并行卷積神經(jīng)網(wǎng)絡(luò)在圖像分割以及識別等任務(wù)中，提高了網(wǎng)絡(luò)在不同尺度上的特征提取能力,受到了國內(nèi)外研究機構(gòu)的重視[7-9]。
本文詳細內(nèi)容請下載：http://m.viuna.cn/resource/share/2000003664。
作者信息：
謝思璞，魏榕山
(福州大學 物理與信息工程學院，福建 福州350108)
此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。