《電子技術應用》
您所在的位置:首頁 > 其他 > 業界動態 > 基于數字CNN與生物視覺的仿生眼設計

基于數字CNN與生物視覺的仿生眼設計

2009-09-10
作者:陳瑞森1,2

  摘??要: 在充分研究第一代視覺假體功能的基礎上,利用細胞神經網絡(CNN)的圖像處理能力,結合生物視覺中信息加工與編碼的原理,設計了一款符合第一代視覺假體功能的仿生眼電路系統。
  關鍵詞: 細胞神經網絡; 生物視覺; 電路系統

?

  眼是人類接收外界信息的主要窗口,人所接收的70%的外界信息來自于人的眼睛。但一些疾病如視網膜色素變性(RP)、老年黃斑變性(AMD)以及一些外傷所導致的失明,目前缺乏有效的治療措施[1],仿生眼是唯一可以使這些RP和AMD或者外傷失明的人恢復基本感知功能的方法。在仿生眼的實現中,除了視網膜信號處理以及信息編碼的研究外,用數字信號處理方法建立視覺信號的并行、快速處理的數學模型和快速算法,實現圖像信號和視神經纖維上動作電位的轉換,是對信息科學中信號處理提出的一個新的挑戰[2]。第一代視覺仿生眼的預期功能是讓患者能進行慢速的閱讀,識別一些簡單的物體,完成一些簡單的視覺任務[2]。本文采用基于CNN[3-4]的數學模型以及相關的數字指令來建立一個能并行、快速處理視覺信號的數字CNN信號處理系統。在研究視網膜信號處理以及信息編碼時,把視網膜作為控制論中的“黑箱”來看待,根據其輸入與輸出進行對照分析,初步得到視網膜信息處理和編碼的結果,并利用具體電路加以實現以完成圖像信號和視神經纖維上的動作電位轉換,最終完成一款能實現第一代仿生眼功能的數字電路系統模型。
1 仿生眼系統及其關鍵技術
  本文研究的仿生眼通過視神經與大腦相連,因此其基本結構框圖如圖1所示,眼外部分的攝像頭將圖像信號轉化為電信號,視覺處理系統將圖像信號經過一定的圖像處理算法,送到刺激器以形成符合一定模式的信號序列來刺激視神經,在圖1的框圖中,圖像處理算法以及圖像編碼(即信號序列的產生)是兩個重要的模塊。下面將分別介紹這兩個模塊的設計中涉及到的一些基本技術或原理。

?

?

1.1 細胞神經網絡
  由生理解剖學可知,當視神經纖維的動作電位序列作為視網膜的最終輸出信號傳向中樞時,它們已經是經過初步加工和處理的信息了,而且這種處理是一種并行、快速的處理過程[5]。而細胞神經網絡(CNN)是一種能實時、高速并行處理信號的大規模非線性模擬電路,具有易于VLSI實現、能高速并行處理信息的優點,因此CNN非常適合用于仿生眼中的圖像信息處理[6],在這里將簡單回顧一下CNN的基本原理。
  圖2為一個簡單的二維m×n的CNN結構圖。C(i,j)表示第i行、第j列的神經元,它只同周圍r范圍內的神經元相連,而同其他的神經元不連接。細胞神經網絡是一個大的動態系統,它的每個神經元細胞可用下面的狀態方程描述:

  

  其中xij(t)指t時刻各細胞的狀態,ykl(t)是細胞的輸出,ukl是細胞的初始輸入值,A、B、I分別是反饋模板、控制模板和閾值電流,CNN神經元細胞陣列的不同圖像處理功能主要取決于反饋模板A、控制模板B以及閾值I的不同設置。
1.2? 視覺信息編碼
  當改變落在視網膜上的圖像時,新的視覺信息就會被編成神經沖動傳進大腦,在迅速的視覺處理中,神經編碼的本質目前尚不清楚,還處在摸索中。現在通常把視網膜作為控制論中的“黑箱”來看待,只對它的輸入(相當于作用于視網膜的光刺激)和它的輸出(相當于由視神經傳出的動作電位序列)進行對照分析,這樣探索視網膜信息處理和編碼方式。第一代視覺假體的預期功能是讓患者能進行慢速的閱讀,識別一些簡單的物體,并不是為了恢復患者的所有視覺,因此本文更關注的是視網膜中對圖像空間信息的編碼。從對脊椎動物的實驗可知,可以用兩種特性來描述視網膜中神經節細胞對圖像空間信息的反應,一種是從圖像刺激到神經節細胞輸出第一個脈沖的時間間隔,稱為脈沖延時,另外一種就是輸出的總脈沖數[7-10]。從一些感覺系統的實驗中可以得到以下結論:更強的刺激意味著更短的脈沖延時和更多的脈沖數(脈沖數有例外情況)[7],因此可以把脈沖延時作為空間編碼的主要特性。本文中的圖像編碼模塊的設計正是基于此原理。
2 圖像處理及編碼模塊的設計
  本文的仿生眼系統處理的圖像主要為最簡單的數字圖像(二值圖像),若為灰度級圖像則不加處理直接進行圖像編碼傳送到眼內部的解碼模塊或對灰度級圖像先進行二值化處理,下面對具體模塊的設計加以介紹。
2.1 圖像處理模塊的設計
  圖像處理模塊主要利用CNN強大的圖像處理能力[6],但CNN本身是模擬電路,因此在噪聲、精確度、魯棒性以及芯片間的通信、參數調整等方面存在一些不足[11-13],因此本文采用數字CNN電路。所謂數字CNN電路即以數字架構來仿效實現CNN功能的芯片,該設計方式使用數字的方法來仿效實現CNN的微分方程式,計算結果是比較容易用電路實現的,且電路功能也是可測試的[14-15]。在數字電路中,進行數據處理的場所主要是運算器(算術邏輯運算單元ALU),因此在數字CNN電路中,每個像素處理單元的硬件電路就類似于一個ALU結構,該ALU結構的相關運算組合能實現類似狀態方程(1)和(2)的運算結果,例如對于模擬CNN并行陣列,水平線檢測的A、B模板和閾值I分別為:
  

  將相應參數代入線性方程(1)和(2),可得到的Cij輸出Yij為:
    

  由水平檢測的模板可以看出,神經元Cij的最終輸出只與其左右邊單元的輸入以及本身的輸入和輸出有關。由水平檢測的結果可以看出,若用0來代替白色像素的取值,1代替黑色像素的取值,則通過輸入與輸出的真值表,可以得到水平線檢測相當于邏輯表達式:
  
  上面的例子代表了類似圖3(a)模板的數字實現方式,圖3(b)模板的數字實現方式類似圖3(a)模板的實現方式,例如對于左陰影檢測的模板如圖3(c),相應的輸出輸入關系式為:
  

?

  只是需要一直執行上面的“或”指令,直到Yi,j-1 不再變化,即Yij也不再變化,只要所有神經元的輸出都不再變化,指令便可停止執行,左陰影檢測即可完成。
  經過上面的分析,對一些常用的模板的運算結果進行真值表化簡后,可以得出只要具備表1的算術邏輯指令,就可以實現二值(黑白)圖像相應的圖像處理功能[16-18],至于灰度圖像的處理,則需要先對灰度圖像進行二值化處理。
在完成了上面的分析以后本文具體對CNN細胞單元進行了設計,圖4為其結構框圖。

?

2.2 圖像編碼模塊的設計
  由1.2節的內容可知,圖像的空間信息可以用脈沖延時以及脈沖個數兩個特征來編碼,而且刺激越大,脈沖延時越短,脈沖個數越多。根據這個原理,本文利用硬件描述語言對圖像編碼模塊進行了具體設計,圖5為其結構框圖。其基本工作原理如下:當CLK信號上升沿到來時接收來自圖像處理模塊的輸出,并將其數值轉化為表征刺激程度的數字量作為預置計數器的初始計數值,預置計數器計數溢出時產生一個小脈沖作為脈沖序列產生器的觸發脈沖,脈沖序列產生器每接收到一個脈沖時其輸出取反。脈沖延時以及脈沖個數的產生依賴于CLK、CLK1以及初始計數值的取值,這3個參數的取值主要根據實驗數值來設置,并可做相應調整。

?

3 系統仿真
  在確定了圖像處理以及編碼模塊的設計思路及相關框圖以后,本文具體用硬件描述語言對相關模塊進行描述并仿真。在圖像處理模塊上本文具體設計了一個8×8的數字CNN陣列,并對其圖像處理功能進行了仿真,實驗結果證明,該數字CNN陣列可以對二值圖像進行特征提取等操作,圖6為水平檢測以及圖像腐蝕的效果圖。圖7為圖像編碼模塊的輸出,由圖7可以看出,不同的刺激程度,直接決定了圖像編碼模塊的脈沖延時以及脈沖數,圖7(a)的刺激,脈沖延時大約為0.53 μs(CLK1的上升沿到最近右邊pulseout邊沿的距離),脈沖數為3個(1個CLK1周期內,pulseout脈沖的個數),圖7(b)的刺激,脈沖延時為0.033 μs,脈沖數為4個。以上數據只證明圖像編碼電路的原理是正確的,具體參數的設計還需要根據實驗觀測數據加以調整。從仿真結果可以證實,本文的圖像處理以及編碼模塊的設計是成功的。
到目前為止筆者對視覺系統的認識還比較有限,在視神經的編碼方式、視覺信息的處理等方面,還有許多內容需要去探討研究,隨著時間的推移,對這些領域的認知將會不斷增多,利用電路系統實現的仿生眼將會更精確。本文主要是利用目前對視覺系統的了解,建立一個電路模型,下一步的工作將對該電路模型進行進一步的優化和改進,并進行實際應用的研究。

參考文獻
[1] ?KRUMPASZKY H G, KLAUSS V. Epidemiology of blindness and eye disease. Ophthalmological[J],1996,210(1):1.
[2]?喻瑋. 基于DSP的人工視覺圖像處理系統[D].?上海:上海交通大學, 2007.
[3] CHUA L O, YANG L. Cellular neural network: theory[J]. ?IEEE Trans, CAS, 1988, CAS-35:1237-1290.
[4] ?CHUA L O, YANG L. Cellular neural network: Applications[J]. IEEE Trans on CAS, 1988, CAS-35:1272-1275.
[5] ?DOWLING J E. The retina: an approachable part of the?brain. Cambridge, Mass : Belknap Press of Harvard Univ ??Press, 1987.
[6] ?YANG Tao. Cellular image processing[M]. Nova Science?Publishers,Inc.Huntington, NY 2001.
[7] ?GOLLISCHJ T, MEISTER M. Rapid neural coding in the?retina with relative spike latencies[J]. Science, 2008,2(319):1108-1110.
[8] KAGAWA K, ISAKARI K, FURUMIYA T, et al. Pixel?design of pulsed CMOS image sensor for retinal prosthesis
?with digital photosensitivity control[J]. Electronics?Letters, 2003,5(39):419-421.
[9] ?OHTA J, YOSHIDA N, KAGAWA K, et al. Proposal of?application of pulsed vision chip for retinal prosthesis[J].?Jpn. J. Appl. Phys. 41,2322(2002).
[10] FURUMIYA T, UEHARA A, ISAKARI K, et al. Pulse-frequency-modulation vision chip with frequency? range
?control as a retinal prosthesis device[J], Proc. SPIE?4829,969 (2002).
[11] WEN K A, SU J Y, LU C Y. VLSI design of digital?cellular neural networks for image processing[J]. Journal??of Visual Communication and Image Representation, 1994,?5(2):117-126.
[12] NAGY Z, SZOLGAY P. Configurable multilayer CNN-UM ?emulator on FPGA[J]. IEEE Trans. Circuits System. I:
?Fundamental Theory and Applications, 2003,50(6):774-778.
[13] NAGY Z, SZOLGAY P. Numerical solution of a class of?PDEs by using emulated digital CNN-UM on FPGAs[J].
?Proc. 16th European Conf. on Circuits Theory and Design,?Cracow, Sep. 2003.
[14]?KOMURO T, ISHII I, ISHIKAWA M. Vision chip arc?tecture using general-purpose processing elements for lms
?vision system[J]. Computer Architecture for Machine?Perception, 1997:276-279.
[15] KOMURO T, ISHII I, ISHIKAWA M, et al. A digital?vision chip specialized for high-speed target tracking[J].?IEEE Transactions on Electron Devices. 2003,50(1).
[16] 雷國偉. CNN圖像識別算法及其指令集的研究[D].?廈門:廈門大學電子工程系, 2004:28-35.
[17]?郭東輝. CNN 并行處理器視覺圖像處理指令集[M].?廈門大學EDA實驗室內部技術資料,2003.
[18]?郭東輝. CNN并行處理器視覺圖像處理擴展指令集[M]. 廈門大學EDA實驗室內部技術資料,2003.

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 日日操网 | 国产人碰人摸人爱免费视频 | 久久精品国产一区二区三区日韩 | 国产日产欧美一区二区三区 | 国产成人啪精品视频免费网 | 亚洲精品乱码国产精品乱码 | 免费一级特黄特色大片在线 | 欧美一区二区手机在线观看视频 | 精品国产一区二区三区在线 | 天天好比网 | 夜夜草天天干 | 在线亚洲观看 | 欧美一级高清片免费一级 | 中文字幕va | 国产一区二区三区高清视频 | a级毛片黄色 | 在线日韩三级 | 一本久久道 | xxx日本免费| 女同h啪肉np文 | 国内精品小视频福利网址 | 欧美性精品人妖 | 日韩a毛片免费全部播放完整 | 天天爽天天干 | 国产欧美精品区一区二区三区 | 本道综合 | 亚洲精品影视 | 免费的一级片 | 亚洲国产午夜精品理论片的软件 | 伊人久久大杳蕉综合大象 | 日韩草逼| 亚洲最大福利网 | 亚洲人影院 | 午夜湿影院多多影院 | 手机在线免费毛片 | 久久99精品九九九久久婷婷 | 久久精品波多野结衣 | 91成人免费观看网站 | 欧美色xx | 日韩午夜在线视频不卡片 | 免费日皮视频 |