《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 業界動態 > 所有內存計算都是騙人的<(`^´)>

所有內存計算都是騙人的<(`^´)>

2019-09-16
關鍵詞: 內存計算 PIM

  (?ω?)hiahiahia 標題黨誰不會

  早上刷手機剛好看到winnie姐姐轉發upmem的內容,對這個東西還算蠻熟,中秋月圓,借機剛一波。

  in memory computing,簡稱PIM

v2-0e1a752e3a1a5de5979cf135455c98f5_hd.jpg

  首先需要明確一下near memory computing和in memory computing的定義,這事我和業界灌水王onur mutlu吃飯還剛過一波,結論是:真理掌握在英語表達能力范圍內。

  很多時候這是一個參照系問題,如果嚴格要以in為前綴,只有把memory cell本體對信號的模擬特性的變化用于計算才是真正的in,在cell旁邊加MAC都不能算,這就很苛刻了,業界除了AI有一些其他都只能算near。

  實際上這某些時候是視角問題,站在CPU的角度,內存條上的運算都是in memory,哪管那么多。如果按照DIE的緯度來看,HBM包含了多層DRAM和一層logic,PIM通常會把計算邏輯放在logic層,設計上也是near但從CPU角度看也是in memory。UPMEM其實只是更進一步,把邏輯直接放到了DRAM工藝上,最靠近CELL ARRAY的位置。算IN還是算NEAR呢?

  而我的定義是:只有將原本MEM器件的bandwidth具有展寬機制的才算in-memoy。舉例說,在HBM2帶寬256GB,在logic DIE做計算如果還是按照HBM原本接口結構用到256GB帶寬,那么還是near,如果打破了DRAM DIE原本結構和接口,引入更多TSV擴大了帶寬,那么這就是in-memory了。UPMEM把計算單元放到了DRAM 每個CHIP內,比DIMM條原本DDR接口獲得了更大帶寬,我的認定是屬于in-memoy computing!

  定義完成了,講騙人<(`^?)>

  事件任何技術都是有損益的,業界的PIM看上去除了技術難度沒啥損失,那這么好的東西為啥沒大量商用呢?

  PIM最大的障礙是memory interleave,所有PIM的議題,如果在內存交織上避而不談的,都歸入騙子,簡單直接。

  一個大SOC系統,內存都不是單一的,以DDR4-3200為例,一根DIMM條的帶寬是25GB,那么全芯片的總帶寬200GB是8個channel交織達成的。這是為了保證最大帶寬效率,以及系統在多核下的共享。以INTEL為例,多個channel的地址是按照256B為粒度交織的,即4KB的數據會拆分成16份,每個DDR channel得2份,其中為了保證系統地址更加均勻,交織還會引入更高位地址打亂,即16份中的第0份并不會固定在channel-0。

  所以,每個DIMM只能拿到連續數據的一部分,并且對于交織算法的不感知,DIMM甚至無法知道自己拿到了數據的什么部分。

  絕大多數的應用,都會涉及到數據的連續性,例如SORT,是不能只對部分數據進行computing的。

  所以,市面上的PIM都有一個潛臺詞是去掉interleave,但是為了表現PIM的先進性,在性能比較時,PIM都是忽略interleave,直接和一個巨大的無需交織的單個memory比較,而這樣的memory并不存在。

  如果系統去掉interleave,DDR CHANNEL就需要按照核分組或者業務分組來分配channel,按照操作系統理論,實際上需要引入額外的NUMA分層,這個損失在某些業務下是很悲慘的。所以,任何PIM的方案吹噓,如果不敢直面interleave的問題,堂堂正正講出來其性能收益大于去掉interleave的損傷,都是騙人的。

  綜述:在大型SOC系統中,CPU是分布式的,memory也是分布式的,總線互聯把兩者聯和在一起,通常無法找到一個公共點能高效解決問題。

  以UPMEM為例,為了使能其功能,就需要把某特定業務的數據放到一根DIMM,假設系統是8通道交織200GB,先不考慮CACHE一致性的損傷(PIM加速的數據需要FLUSH到內存),那這個單一業務去交織后就只能得到1/8的25GB帶寬了,等價于使能PIM后至少需要獲得大于8倍帶寬的收益才是賺的,算一算,很難噢。當然這樣比較也不是特別合適,如果有8個同構,size恰當,時間上并行度也很好業務,并不會帶寬受損。

  額外一說,UPMEM的方案是DIMM結構,其DIMM上包含了8顆獨立的DRAM芯片,每一顆都只有1/8的容量、帶寬和計算能力,業務數據依舊可能分割放在了多課DRAM芯片內。UPMEM亦需要額外的DRAM芯片間的通信才能完成一個完整的運算。


本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 国产一级一级一级成人毛片 | 中文字幕亚洲 综合久久 | 日韩不卡一区二区 | 2022国产精品手机在线观看 | 你懂得在线视频 | 免费在线视频日本 | 波多野结衣中文字幕2022免费 | 欧美日韩视频精品一区二区 | 国产无人区卡一卡二卡三网站 | 99精品视频在线成人精彩视频 | 精品国产免费一区二区 | 最近最新免费中文字幕高清 | 色欲麻豆国产福利精品 | 97国产伦子在线观看 | 黄色三级a| 精品一区二区三区在线观看视频 | baoyu131成人免费视频 | 一个人看www在线高清免费看 | 国产又色又爽又黄的视频在线观看 | 影音先锋日韩 | 麻豆视频一区二区 | 亚洲波多野结衣 | 久久99精品久久久久久秒播放器 | 黄色网址最新 | 国产日本三级欧美三级妇三级四 | 一个人在线看的www视频 | 日韩欧美国产中文 | 成人欧美s视频在线观看 | 一二三四社区在线视频社区 | 色在线视频观看 | 免费一级毛片在线视频观看 | 欧美黄色小视频 | 日本欧美一区二区免费视 | 欧美成视频无需播放器 | 日韩一区二区三区在线观看 | 欧美一区二区三区视视频 | 久久久久18 | 羞羞视频在线免费 | 国产欧美精品一区二区三区 | 国产成人在线视频观看 | 有码在线|