摘? 要: 采用蛀洞路由機制是新型多計算機并行系統(tǒng)的重要特征,介紹用蛀洞路由器ST_C104構造全互連多機并行系統(tǒng)的方法并給出構造實例,證明它具有并行效率高、通信速度快、拓撲結構可變、擴展性強等特點。
關鍵詞: 多計算機? 并行? 蛀洞路由? ST_C104
?
近年來,在高性能并行計算機系統(tǒng)中,分布存儲型的多計算機系統(tǒng)的研究與應用得到快速發(fā)展。MPP(Massively Parallel Processors)系統(tǒng)屬于一種松散耦合的計算機系統(tǒng),它一般由數(shù)十臺至百臺以上計算機結點和高速互連網(wǎng)絡組成,由于沒有共享內存,各結點之間通過互連網(wǎng)以消息傳遞的方式相互通信,各結點間既相互獨立又可相互交流、共享信息,它非常適合目前各行各業(yè)方興未艾的網(wǎng)絡發(fā)展的需要。新型的由硬件支持的路由技術特別是蛀洞路由器的出現(xiàn),使多計算機系統(tǒng)的網(wǎng)絡互連變得更加靈活方便,更為重要的是大大減小了通信時延,使遠程通信時延和本地通信時延一樣,即通信時延與兩個結點之間的距離無關,從而大大提高了多計算機并行系統(tǒng)的通信效率。
本文介紹采用蛀洞路由器ST_C104構造全互連多機并行系統(tǒng)的方法,我們將該技術應用于“長纓-III分布式并行仿真計算機系統(tǒng)” 的研制中，取得了良好的效果。
1 ST_C104的結構與特點
ST_C104是SGS-THOMSON公司于1996年推出的32×32高速異步網(wǎng)絡開關,是專門為多CPU間互連而設計的系列產(chǎn)品之一,其結構如圖1所示。
?
ST_C104具有如下主要特點:
·支持蛀洞路由方式,且可傳遞任意長度的信息包(Packet);
·時延小,不大于1μs;
·通信速率為32×100Mb/s,通信帶寬達300MB/s;
·支持虛擬通道和自適應尋徑;
·具有硬件出錯處理機制(Fault Tolerant Network);
·提供2對控制鏈Clink,用于初始化及出錯處理;
·提供32對數(shù)據(jù)鏈Dlink,用于數(shù)據(jù)傳遞及校驗。一個C104最多可直接連接32個滿足Link協(xié)議的CPU(如T9000等),也可通過與高速鏈路適配器ST_C101相配合,實現(xiàn)與任意型號CPU的連接;
·在線編程,可動態(tài)改變網(wǎng)絡拓撲結構;
·可無限級連。
2 基于ST_C104的多計算機系統(tǒng)
對于一般的CPU,因為外部數(shù)據(jù)線多為并行總線,且時序、協(xié)議各不相同,因此與C104連接時需要利用C101進行鏈路適配,如圖2中小框所示,而對于具有Link協(xié)議的CPU,可直接與C104相連,不需加C101。一個C104最多可連接32個CPU,如果不需要那么多的CPU,或希望提高鏈路通信帶寬,則可減少CPU數(shù)量,而將C104的多個鏈路分配給同一個CPU,如圖2中#30節(jié)點,它占用了3根Link,雙向帶寬達600Mb/s。
?
圖2中各個CPU的地位是完全相同的,每個CPU既可做為主控結點,也可做為從結點。將一個或多個任務按一定策略劃分后分配到各個結點,所有結點可同時進行工作,各結點之間通過C104為媒介進行實時通信,因此該多機系統(tǒng)是全互連的、并行的。
一般將由一個C104相互連接的結點合稱為一個機群,如圖2中的全部1～30個CPU結點機即構成了一個機群。
3 ST_C104的級連與擴展
??? C104采用蛀洞路由方式尋徑,通信時延小,且與結點間距離無關,因此理論上C104可無限級連構成一個任意大的MPP系統(tǒng)。但實際上任何系統(tǒng)級連的數(shù)量與其性能都不可能永遠線性地增加,而是有一個平臺,在此之后,系統(tǒng)性能增長緩慢。事實上,在現(xiàn)實應用中對系統(tǒng)規(guī)模一般也是有限的,圖3是用6個(可繼續(xù)擴展)C104構成的平面拓撲結構的多機系統(tǒng)。
?
圖中將C104相連的實線表示數(shù)據(jù)鏈,虛線表示控制鏈,控制鏈的連接順序是任意的,不同的連接順序即可得到不同的網(wǎng)絡拓撲結構。可見C104間所需連接的線很少,它們的互連是非常簡單的。圖中每個C104用于與其它C104互連占用了4根數(shù)據(jù)鏈,因此還可以連接28個其它CPU結點,即構成了一個由6個機群組成,而每個機群可各帶28個CPU結點的并行機系統(tǒng)。
可擴展性是多機并行系統(tǒng)的重要性能之一,C104的互連簡單,其擴展功能非常強大,例如可輕易擴展成環(huán)形結構、二維網(wǎng)絡結構、立方體結構、三維超立方體結構等多種拓撲結構,這里不再重述。
4 ST_C104應用實例
我們以C104為核心構造了“長纓-III分布式并行仿真計算機系統(tǒng)”,它主要是針對部隊對仿真計算機小型化(機動性強)、高速高精度、伸縮性好、環(huán)境適應性強等要求而設計制造的。該系統(tǒng)由6個C104構成的6個機群及1個I/O子系統(tǒng)組成,每個機群包含9個結點,其中8個計算結點(即CPU結點),1個I/O通信結點,總共為48個計算結點,6個I/O通信結點。為了增加機群間的通信帶寬,機群之間的互連用了5根數(shù)據(jù)鏈,通信帶寬達1000MB/s,如圖4所示,圖中小方塊表示1個計算結點,小圓圈表示I/O結點。
?
?????? 每個計算結點中,CPU采用Intel公司高性能RISC微處理器I860,其主頻為40MHz,單精度峰值運算速度為80Mflops,雙精度峰值運算速度為60M flops,DRAM采用單體結構,頁方式(Page Mode)工作,字長64位,每頁4K字節(jié)。其它輔助電路包括8MB～16MB的動態(tài)存儲器DRAM、64KB的只讀存儲器EPROM(用于存放初始引導程序)、定時電路TIMETR、中斷控制電路INTER、2個高速并行Link適配器C101(用2個C101并在一起,是為了得到64位的通訊帶寬)組成,如圖5所示。
?
I/O通信結點形式有多種,可根據(jù)用戶任務的需要進行選擇,目前應用的有2種:(1)多總線通信板。用于與普通PC機或工作站間的通信,適用于AT、ISA、PCI、VME協(xié)議的插槽,并行機在運行過程中可與任何具有上述協(xié)議的計算機進行實時通信;(2)A/D、D/A通信板。用于并行機與外界實物數(shù)據(jù)采集或輸出系統(tǒng)間的通信,可并行或串行通信,分別適用于高速、近距離與中速、遠距離通信的場合。長纓-III并行計算機具有非常強大的I/O接口能力,且擴展性強,目前已配備了16路16位A/D與16路16位D/A,在并行通信方式下,相距100m時一組A/D、D/A數(shù)據(jù)與并行機通信時間小于45μs,完全突破了目前業(yè)界通信時間在ms級的瓶頸。
總之,ST_C104是網(wǎng)絡互連專用產(chǎn)品,我們在應用中發(fā)現(xiàn)它確實具有優(yōu)秀的互連能力,用它設計的“長纓-III分布式并行仿真計算機系統(tǒng)”采用的CPU性能并不高,但構成MPP系統(tǒng)后表現(xiàn)出了很高的并行效率,系統(tǒng)性能穩(wěn)定,使用簡便,其主要性能指標如下:
·單精度浮點運算速度:38.4億次/s;
·雙精度浮點運算速度:21.6億次/s;
·系統(tǒng)總存儲容量:6×64Mbyte;
·機群間通信帶寬:1000Mbits/s;
·結點間通信帶寬:200Mbits/s;
·I/O接口配置:16路16位A/D,16路16位D/A;????
·多總線通信板:可直接與外部計算機的AT、ISA、PCI、VME總線通信;
·軟件配置:并行C,并行FORTRAN,并行程序開發(fā)環(huán)境。
“長纓-III分布式并行仿真計算機系統(tǒng)”在戰(zhàn)略戰(zhàn)術導彈的閉環(huán)動態(tài)測試、導彈射前仿真與修偏、大型武器系統(tǒng)性能評估與決策、氣象數(shù)據(jù)處理等領域均獲得良好運用。
?
參考文獻
1 SGS-THOMSON Co.ST_C104 DATA BOOK.1997-06
2 SGS-THOMSON Co.Transputer Development System.1997-06
3 吳少軍等.長纓-III分布式并行仿真計算機系統(tǒng)研究報告.1998