0 引言

    為了滿足嵌入式設備中日益增長的實時高清圖像傳輸的帶寬要求，ARM和Motorola等公司于2003年提出了移動產業處理器接口（Mobile Industry Processor Interface，MIPI）協議，以替換傳統的并行數據接口。MIPI協議提出之初，主要有兩個應用，分別是攝像頭串行接口^[1]（Camera Serial Interface，CSI）和顯示設備串行接口（Display Serial Interface，DSI）。目前，MIPI協議被廣泛地應用于各種嵌入式設備中，如智能手機、VR、智能可穿戴設備和ADAS系統等。

    本文采用Lattice FPGA設計了一種實時MIPI CSI-2圖像采集與處理系統，并可以將處理后的圖像實時地顯示在HDMI接口的顯示器上，最高可支持1080p60的分辨率。與其他平臺相比，基于FPGA設計的本系統在實時性、功耗和成本以及系統升級等方面具有一定的優勢。

1 系統硬件體系結構

    本系統基于Lattice官方的嵌入式視覺開發套件（Embedded Vision Development Kit，EVDK）設計，該套件一共有三層電路板，分別為MIPI CSI-2橋接板、ECP5圖像處理開發板和HDMI橋接板。其中，MIPI CSI-2橋接板上集成了索尼的IMX214攝像頭和Lattice CrossLink系列FPGA^[2]；ECP5圖像處理開發板上集成了Lattice ECP5系列FPGA和DDR3內存顆粒；HDMI橋接板上采用的是Silicon Image公司的Sil1136專用標準產品（Application Specific Standard Parts，ASSP）^[3]，用于將并行RGB數據轉換成標準的HDMI信號輸出至顯示器。

    設計中，采用CrossLink對IMX214輸出的MIPI CSI-2數據進行采集，并完成協議解析、字節到像素轉換等功能。隨后將得到的Bayer格式的數據，以及相應的幀有效信號（Frame Valid，FV）與行有效信號（Line Valid，LV）發送至ECP5圖像處理開發板。ECP5接收來自CrossLink的Bayer格式數據后，依次進行線性對比度展寬、白平衡、去除壞點、Bayer格式轉RGB格式、圖像縮放、圖像倒置、飽和度調整和Gamma矯正等操作。隨后，將處理后的數據以并行RGB的形式發送至Sil1136 HDMI橋接板。CrossLink和ECP5的內部邏輯功能框圖分別如圖1和圖2所示。

    本系統的硬件體系結構圖如圖3所示，ECP5除了實現了圖像處理功能之外，還分別通過攝像頭控制接口(Camera Control Interface，CCI)和I2C接口對索尼IMX214攝像頭和Sil1136 ASSP進行配置。

2 FPGA模塊設計

2.1 CrossLink MIPI CSI-2接收模塊設計

    如圖4所示，MIPI CSI-2接口有高速和低功耗兩種模式，高速模式下的電平標準為可配置低壓信號^[4](Scalable Low Voltage Signaling，SLVS)，其共模電壓為200 mV，擺幅也是200 mV；而低功耗模式的電平標準為LVCMOS 1.2 V。如果采用普通FPGA來連接MIPI CSI-2接口，一般需要兩對IO來分別處理高速模式和低功耗模式，而采用Lattice最新推出的CrossLink器件，則可以將其與CrossLink的MIPI專用IO直接相連接。

    由于MIPI CSI-2是一種高速串行差分接口，發送端與接收端之間的不同信號線的長度要盡可能地相等。然而，即使PCB嚴格地按照等長差分線設計，也難以保證不同信號線上的信號在同一時刻到達接收端^[5]。因此，接收端需要對接收到的串行數據進行對齊操作。如圖5所示，CrossLink對MIPI CSI-2串行輸入依次進行了字節對齊操作和通道對齊操作，圖中的B8是MIPI CSI-2協議中的同步識別碼，表示每次傳輸的數據包的開頭。

    如圖1所示，MIPI D-PHY CSI-2接收模塊將對齊后的數據經過跨時鐘域FIFO輸出至時序控制模塊和字節到像素轉換模塊。字節到像素轉換模塊將索尼IMX214攝像頭輸出的10位Bayer格式(即RAW10)的字節數據轉換為10位并行的像素數據后輸出。

2.2 ECP5圖像處理模塊設計

    由于直接接收到的圖像數據均值很小（表現為圖像很暗），且可能會存在極個別像素為壞點的情況，因此，ECP5對接收自CrossLink的像素數據首先進行了線性對比度展寬（又稱分段線性映射）、白平衡調整和壞點去除處理。

    如圖6所示，Bayer格式的圖像數據中每一個像素僅僅包括了光譜的一部分，因此必須通過插值來得到每個像素的RGB值。本設計中采用了常見的鄰域插值算法來實現Bayer格式到RGB格式的轉換。

    為了適配顯示器的分辨率，本設計還在ECP5中實現了圖像縮放模塊，可將1080p（1 920×1 080）轉化為任意分辨率（如1 280×720、2 048×1 536等）。圖像縮放算法的核心就是插值算法，常見的插值算法有最近鄰插值法、9點插值法、雙線性插值法和雙立方插值法等。其中最近鄰插值法和9點插值法相對簡單，但是效果也較為一般，如果縮放比例過大會導致嚴重的馬賽克或者失真現象。雙立方算法最為復雜，效果也最好，但是會耗費較多的FPGA邏輯資源。綜合效果和資源兩方面，本設計采用的是雙線性插值，該算法的基本原理如下：

    假設某個目標像素地址對應的源像素地址的浮點坐標為P(i+u，j+v)，其中i和j為浮點坐標的整數部分，u和v為浮點坐標的小數部分。如圖7所示，則該像素的值F(i+u，j+v)可由原圖像中坐標為Q₁₁(i，j)、Q₂₁(i+1，j)、Q₁₂(i，j+1)和Q₂₂(i+1，j+1)的四個像素值確定：

    圖像倒置和幀率轉換需要至少緩存兩幀的圖像像素值，而ECP5中的嵌入式塊RAM(Embedded Block RAM，EBR)資源不足以緩存下這么多的數據，因此需要借助外部的DDR3 SDRAM存儲。圖像倒置和幀率轉換的功能框圖如圖8所示，數據先通過寫入FIFO，完成跨時鐘域轉換，然后借助Lattice的DDR3 SDRAM控制器IP完成對開發板上的兩個Micron DDR3 SDRAM顆粒的讀寫，最后通過讀取FIFO輸出數據。此外，還可以通過配置信號使能或者禁止這兩個功能，以及修改相關的參數等。幀率轉換模塊可以將每秒30幀的圖像轉換為每秒60幀，或者將每秒60幀轉換為每秒30幀。

    飽和度調整模塊可以對像素的RGB值同時進行調整，可以只對其中的一個或者多個進行調整。其基本原理如式（2）所示，對RGB值分別乘以某一個系數，然后再減去某個值，從而到達對特定色彩鮮艷度的調整。

    由于在某些顯示器中，電流與電壓并不是一個線性的關系，這會導致暗區的像素要比實際情況更暗，而亮區要比實際情況更亮。為了能夠較好地還原實際的圖像，設計中還實現了伽馬校正（Gamma Correction）的功能。伽馬校正的基本原理如式（3）所示，其中P_o表示校正之后的值，P_i為輸入的像素值，γ為伽馬系數值。

    為了便于在FPGA中實現，可以對式（3）稍作處理。如式（4）所示，其中b表示像素值的位寬。

3 系統驗證與結果分析

    為了驗證系統的功能，將索尼IMX214配置為1 920×1 080，60 Hz，RAW10格式輸出。通過Lattice Diamond中的Reveal工具采集ECP5中的相關輸入輸出信號波形圖。由于MIPI CSI-2輸入信號屬于專用IO信號，無法直接使用Reveal采集，因此借助Active HDL軟件對CrossLink中的設計進行仿真，以獲得相關信號波形。并通過禁止（或者使能）相關模塊功能，對比輸出圖像的效果。

3.1 CrossLink相關信號波形圖

    CrossLink的仿真波形圖如圖9所示，其中csi_clk_p為MIPI CSI-2輸入時鐘信號，為連續模式（Continuous Mode）。csi_d0_p、csi_d1_p、csi_d2_p和csi_d3_p為MIPI CSI-2的四個數據輸入通道（Data Lane）。fv為幀有效信號，lv為行有效信號，pixdata為 RAW10格式的像素數據輸出。

3.2 ECP5相關信號波形圖

    ECP5的Reveal采集波形圖如圖10所示，其中CSI2_sens_fv為CrossLink輸出的幀有效信號，CSI2_sens_lv為行有效信號，CSI2_sens_data為RAW10格式的像素數據。vsync和hsync分別為幀同步信號和行同步信號，data_enable為數據有效信號。pix_red、pix_green和pix_blue分別為輸出的像素的RGB值信號。

3.3 圖像處理效果對比圖

    圖像處理效果對比圖如圖11所示，為了保證顯示效果，在測試過程中，Bayer轉RGB模塊和Gamma校正模塊一直處于使能的狀態。其中圖11（a）為原圖，即未使用白平衡、線性對比度展寬、圖像縮放與倒置、飽和度調整等模塊；圖11（b）為僅使用白平衡和線性對比度展寬模塊所獲得的圖像；圖11（c）為使用了飽和度調整之后的圖像；圖11（d）為使用了圖像縮放與倒置之后的圖像。

    通過對比，可以發現IMX214直接輸出的像素信號值很小，因此顯示的畫面很暗。經過線性對比度展寬等模塊的處理后，圖像又顯得過亮，且色彩不夠鮮艷。再經過飽和度調整模塊處理后，圖像取得了較好的色彩效果。最后，圖像倒置模塊也成功地對圖像完成了倒置的操作。

4 結論

    本文設計并基于Lattice FPGA實現了一個實時的高清圖像采集與處理系統。其最高可采集1080p60的實時圖像，并完成一系列的實時圖像處理功能。由于采用了模塊化的設計思想，使得其具有良好的可擴展性和可裁剪性。基于本設計，稍加改動還可以完成例如邊緣檢測、圖像分割與拼接等常規的圖像處理功能。表明本系統具有良好的靈活性與較高的實用價值。

參考文獻

[1] MIPI Alliance，Inc.MIPI alliance specification for camera serial interface 2(CSI-2)[Z].2009.

[2] Lattice Semiconductor.CrossLink family data sheet[Z].2018.

[3] Lattice Semiconductor. Sil9136-3/Sil1136 HDMI deep color transmitter data sheet[Z].2018.

[4] MIPI Alliance，Inc.MIPI alliance specification for D-PHY[Z].2009.

[5] 李凱.MIPI CSI/DSI簡介及信號和協議測試方法[J].國外電子測量技術，2012，31(3)：11-15.

作者信息:

李先友1，趙曙光1，段永成1，王建強2

（1.東華大學 信息科學與技術學院，上海201620；2.上汽大眾汽車有限公司，上海201805）