微軟首度揭露其AR頭戴式裝置HoloLens內部的客製化視覺處理器晶片細節。

微軟(Microsoft)近日首度透露了其擴增實境(AR)頭戴式裝置HoloLens內部的客製化視覺處理器晶片細節；該款晶片的處理能力達到每秒1兆(trillin)次畫素運作(pixel-operations)，功耗比採用代號Cherry Trail的英特爾(Intel) Atom系列核心之主機處理器的4W還低。
       該HoloLens處理單元(HPU)融合來自5個攝影機鏡頭、一個深度感測器以及運動感測器的輸入資訊，將之壓縮并傳送到Intel的主處理器SoC；此外HPU還能辨識手勢以及涵蓋多個房間的地圖環境。微軟在今年稍早介紹了HoloLens的主要功能內容，但并未公開其HPU細節。
       微軟評估了包括來自Movidius等供應商的市售電腦視覺晶片，卻發現并沒有任何一款產品能以其要求的性能、延遲以及功耗目標處理所有演算法；而后來的客製化HPU是採用28奈米臺積電(TSMC)製程，內含24顆Tensilica數位訊號處理器(DSP)核心以及8Mbyte的快取記憶體， 在尺寸僅12x12mm的晶片封裝中納入了6,500個邏輯閘以及1Gbyte容量的LPDDR 3。

HPU的運算引擎整合了Tensilica DPS核心以及多個加速器
（來源：Microsoft）

在近日于美國硅谷舉行的Hot Chips大會上介紹HPU的微軟杰出技術人員Nick Baker表示，選擇Tensilica核心有部份原因是考量其彈性，微軟在核心中添加了300個客製化指令集：「如果你無法添加客製化指令集，最后可達到的數學運算密度不會是你需要的。」
       HPU晶片混合採用獨立的加速器(accelerator)，以及與DSP核心緊密耦合的加速器，在一個純軟體版本達到整體200倍的加速；Baker表示：「我們盡可能按照需要採用可編程元素以及固定的功能硬體，以達到我們需要的性能目標；」晶片的軟體程式碼包含多樣化的演算法:「具備不同的成熟度、數學運算以及記憶體存取模式。」
       Baker透露，HoloLens的開發分成硬體、軟體、使用者體驗與性能等不同團隊同時進行：「我們在這個專案上將共同設計發揮到極致；」他并強調，微軟內部就有能力可將軟體模擬(simulation)測試結果，轉化為也能在最終硬體成果上執行的硬體模擬(emulation)程序：「所有工作都在Windows 10開發期間同時進行。」
       在3月份上市、定價3,000美元的HoloLens開發套件就內含了HPU；不過對于HPU是否將有更新計畫，或是微軟何時會推出消費者版本的HoloLens，Baker婉拒發表意見。展望未來，Baker認為設計工程師們會將頭戴式裝置進一步推向8K解析度，以及支援更寬廣的視野。
       「注視點渲染(Foveated rendering，也就是將使用者目標聚焦范圍以外的任何景物維持模糊化的一種方法)可望變得越來越普及…以及各種不同解析度的顯示器也可能出現；」Baker表示：「我們需要思考這樣的趨勢對GPU、互連技術以及面板產業等整個供應鏈會帶來什麼影響。」