《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 業界動態 > 基于中間件的分布式海量影像分發服務研究

基于中間件的分布式海量影像分發服務研究

2009-08-25
作者:許盛偉1,2,宮輝力2

??? 摘? 要: 本文提出了基于J2EE的分布式海量影像數據分發服務架構,并重點討論了海量影像數據的索引、影像分發服務的多級緩存、基于服務集群的分發服務等關鍵技術。采用VC++6.0、EVC++4.0、JBuilder2005等開發工具開發了基于J2EE的海量影像動態分發服務系統
??? 關鍵詞: 移動GIS? J2EE技術? 中間件

?

??? 隨著計算機硬件存儲設備容量的增加,實現海量影像數據的存儲已不是難題。國內外學者對于海量影像數據的管理和發布做了大量深入的研究和實踐工作。如OGC制定了影像信息服務接口,并且有一個示范網站[1];微軟公司發布了基于Internet的影像數據庫Microsoft TerraServer。國內對于影像數據分布的研究主要集中在基于Internet的遙感影像發布,系統的結構多采用B/S結構的Java Applet或基于COM的ActiveX技術。但是,基于以上方法的遙感影像分發系統,在處理分布式空間數據庫存儲、多分辯率、多尺度的遙感影像以及處理面向移動GIS終端的影像發布等方面存在不足,而且不能實現分發服務端與應用終端的動態交互。
??? 對此,本文在采用基于J2EE的分布式海量影像分發服務系統平臺的基礎上,重點探討海量影像數據的索引、海量影像分發的多級緩存機制以及基于多服務群集的海量影像分發等關鍵技術。在此基礎上,實現向移動終端動態分發實時、準確的影像數據,并可實時監測數據訂單,從而實現海量影像數據動態分發服務。
1? 基于中間件的分布式海量影像數據分發服務體系結構
??? 隨著信息技術和分布式技術的發展,空間信息服務系統軟件體系結構由最初的基于客戶端/服務器(Client/Server)結構二層模式,發展到三層或多層的瀏覽器/服務器結構。目前,最主流的分布式應用是集成分布式對象計算技術與網絡技術、嵌入式移動計算技術。由于海量影像數據分發服務中的影像數據是分布式的,因而本文提出了基于中間件的分布式海量影像數據分發服務模型。該服務模型具有以下優點:(1)在進程管理方面,用盡量少的服務進程處理盡量多的請求,減少進程的啟動/終止次數。(2)在安全性方面,將客戶端與數據庫和接口隔離起來,客戶端無權直接訪問數據庫和接口適配器,有利于安全管理,可有效地防止惡意攻擊。(3)可利用中間件的特點來選擇路由、平衡負載,提高整個系統的性能。(4)利用中間件實現應用遠程服務和本地進程間的通信,以實現多進程的服務模型。
??? 圖1為基于J2EE的分布式海量影像數據分發服務體系結構。其主要包括以下內容。

?


??? (1)客戶端。在移動GIS客戶端可隨時、隨地、依地理范圍、影像數據類型、分辯率、數據獲取時間等條件向影像數據分發服務端發出數據訂單,并可實現影像數據動態下載更新和瀏覽顯示。
??? (2)Web服務器。運行在Apache Tomcat服務器上的Web服務器,采用Servlet引擎和JSP技術實現,是移動終端與應用服務器間通信的中轉器,在接收到移動終端的數據訂單后進行解析并轉換成應用服務器的數據請求。應用服務器生成訂單所需的數據后發送到Web服務器,Web服務器通知移動終端進行數據下載。
??? (3)應用服務器。應用服務器主要包括集群服務器和應用服務器等。集群服務器可根據負載情況動態地將請求分配到相應的應用服務器。
??? (4)數據服務器。數據庫服務器主要包括影像數據庫、矢量數據庫、元數據庫以及影像數據文件等。為了提高系統的性能,數據庫服務器采用由兩臺小型機組成的雙機熱備集群系統,集群方式采用雙機互備援的方式。
2? 海量影像數據分發服務的關鍵技術
??? 基于J2EE的分布式海量影像數據服務平臺分發影像數據時,其主要處理和計算集成在應用服務層[3]。應用服務層要對多個移動終端的不同范圍、不同分辯率、不同尺度的影像數據申請訂單,經過數據格式轉換、壓縮和加密等處理后傳輸到移動終端進行瀏覽和分析。這需要對海量影像數據進行高效索引和建立必要的數據緩存,同時中間應用層必須能有效處理多個用戶的并發訪問操作。此外由于面向移動終端的網絡帶寬有限且不穩定,因而在移動終端必須實現影像數據的多線程斷點續傳。對此,本文根據影像數據的特點,著重對海量影像數據的索引、數據緩存的建立、多用戶的并發訪問操作和影像數據的多線程斷點續傳等關鍵技術進行探討。
2.1 海量影像數據的索引
??? 本文將影像數據的空間(影像數據范圍的外接矩形)格網分為兩級。一級用于影像數據分發服務系統內部使用,影像分發服務系統的本地數據按照一級格網存儲,實現影像數據的快速訪問;二級格網用于數據分發,移動終端數據(包括海量影像數據分發服務端緩存區和移動終端本地數據)按照二級格網存儲[2]
??? (1)格網的劃分方法。根據總的影像數據范圍,按照影像數據分辨率大小進行格網的劃分。一級格網每一網格的數據量控制在500MB以下,二級格網每一網格的數據量控制在25MB以下。下面對不同分辨率下的覆蓋范圍和數據量進行分析(表1、表2及下文中的所有壓縮均指基于小波變換的有損壓縮。在特殊情況下,如果使用完全無損壓縮,壓縮比例一般為2~5倍)。根據表1和表2計算結果,一級格網將使用12KB*12KB劃分,1m分辨率影像的覆蓋范圍為12km*12km,2m分辨率影像覆蓋范圍為24km*24km,5m分辨率影像覆蓋范圍為60km*60km;二級格網將使用1KB*1KB劃分,1m分辨率影像為1km*1km,2m分辨率影像為2km*2km,5m分辨率影像為5km*5km。

?


??? 本文中格網索引物理上分為四個圖層,包括:一級格網、二級格網和一級索引、二級索引。一級格網、二級格網采用規則的矩形索引,主要用于影像數據的分發。一級索引、二級索引采用非規則的多邊形索引,主要用于影像數據的快速檢索。
??? (2)格網索引的應用。索引的應用包括:索引圖、樹狀索引、格網索引。在數據準備階段,首先建立整個區域簡要的索引圖,用于快速顯示,該部分數據保存在數據源文件中;然后創建區域數據的樹狀索引;最后創建格網索引。在移動終端的系統數據預裝階段,上述索引文件被導入各類移動終端中,作為數據管理的基礎框架。
2.2 基于元數據的分布式海量影像數據檢索
??? 由于要分發的影像數據是異構、多源且分布式的,因而海量影像分發服務系統必須能實現分布式的影像數據檢索。基于元數據的影像數據快速檢索系統的主要作用是管理影像數據分發服務系統中的空間信息和其他相關信息,并在系統收到移動終端的請求時,快速檢索到滿足條件的影像數據,經確認、提取、處理、轉換和壓縮后向移動終端發送。為了能夠支持后臺并發查詢,元數據檢索服務系統以客戶端/服務器(C/S)方式實現。為了能夠支持統一管理多種異構數據、快速查詢和迅速確認所需空間信息,數據的查詢和管理通過元數據(也可稱作“索引數據”)進行。為了保證元數據查詢速度和數據存取效率,元數據采用數據庫管理,影像數據采用文件系統管理。圖2為基于數據的海量影像數據檢索與分發流程。

?


2.3 影像分發的多級緩存機制
??? 在提高多用戶的海量影像分發的速度和效率上,緩存機制是有效的手段。本文通過在服務器端和移動終端實現高效的數據緩存和應用緩存,可以加快海量影像分發的速度和減少用戶響應時間。影像分發緩存中包括客戶端緩存和服務端緩存,訂單緩存用于緩存移動終端的訂單,同時在影像分發服務端將對每個移動終端建立一個分發數據緩存,將服務端動態數據處理過程生成的數據放在服務端的處理結果緩存中,客戶端緩存主要實現對接收影像數據的緩存。
2.4 基于多服務集群的海量影像數據分發服務
??? 由于海量影像分發服務面向多用戶并發訪問,所以要求服務系統的安全性和可靠性盡可能高,并且要解決多用戶并發訪問情況下的系統性能問題。為此,本文在海量影像分發服務系統的軟硬件架構上采用了集群技術。
??? 集群技術的最大特點之一是能夠實現負載均衡。以Web服務器為例,在一個集群結構的服務器組中,必然有一臺服務器充當管理者的角色,它最先收到用戶發來的HTTP、FTP或其他類型的Web請求,然后判斷集群中哪臺服務器的負載最輕,并把這個請求發送過去。在用戶訪問頻率較低時,這種負載均衡表現的不會很明顯,而一旦用戶的請求量增大后,這種優勢就會顯現出來。集群的另一個優點是容錯性好,如果集群管理服務器發現集群中有一個節點出現故障,則它會將連在該節點上的連接重定向到其他節點機上。在重定向的過程中,有時會出現一些連接丟失的現象。因此重定向過程的時間長短以及用戶連接丟失的比率是考核該集群系統的一個重要依據。同時,由于采用了一種松散耦合的模式,集群中的各個節點機使用TCP/IP或其他網絡協議,通過標準的網絡設備連接在一起,可以非常方便地添加或更換集群中的單個節點機。因此,松散耦合的集群系統有較好的可擴展性。
??? 基于上述理論,本文對Oracle數據庫服務、J2EE中間件服務和影像數據分發服務進行系統集群。其總體結構如圖3所示。

?


3? 系統實現
??? 面向移動終端的海量影像動態分發服務系統使用基于J2EE軟件平臺實現。該系統從程序結構上主要分為影像服務端和移動終端兩部分。影像動態服務端主要實現訂單的管理和海量影像數據的快速檢索、動態分割、壓縮與格式轉換等功能;移動終端需要從影像服務端預裝一個GIS可執行程序,可實現影像與矢量數據的瀏覽、信息查詢、數據申請、導航等功能。基于J2EE的海量影像動態分發服務系統采用BEA公司的WebLogic8.1作為分布式海量影像分發服務的J2EE平臺,使用數據事務(Data Transaction)技術保證數據讀寫的安全性;采用Web服務技術實現基于Internet的空間信息服務、共享與互操作。服務端系統使用Jbuilder2005和VC++6.0進行開發;移動終端系統采用Evc4.0+SP4進行開發;大型關系數據庫采用Oracle9i。
??? 基于以上系統,本文分別在100M局域網和海量衛星網絡條件下做了實驗與分析。實驗條件描述如下:
??? (1)數據庫服務器與應用服務器同時布署在PIII Tualatin CPU 1.13GHz、內存為1GB的服務器上,操作系統為Windows 2000 Advanced Server,實驗數據是某地區0.61米分辯率的快鳥影像,數據量大小為3.3GB。客戶端為P42GB以上,512MB內存,操作系統為Windows 2000 Professional,采用Internet 5.0瀏覽器,基于COM組件開發的客戶端程序進行海量影像的申請與瀏覽。網絡條件為100M的以太局域網。
?? ?(2)數據庫服務器及應用服務器與(1)相同。客戶端為Intel Xscale 255,主頻為400MB,內存64MB,閃存32MB的移動終端,外接電子盤1GB,操作系統為Windows CE4.2,網絡為5.6kbps速率的海事衛星網絡。
??? 實驗結果:(1)三個終端同時申請一塊4km*4km的0.61米分辯率的快鳥影像,影像動態處理、下載與顯示的時間為4分鐘左右。(2)三個移動終端同時申請一塊325KB的影像,影像數據的下載與顯示瀏覽的時間約為5秒。
4? 結? 論
??? 本文對分布式海量影像數據分發服務體系結構進行了介紹。重點探討和分析了影像數據的索引、多級緩存、多服務集群等關鍵技術。基于中間件的分布式海量影像分發服務模型能實現向移動GIS終端實時、動態地分發海量影像數據。基于多級格網的影像數據索引不僅可以提高分發服務系統內部海量影像訪問速度,還可以提高面向移動終端的影像分發效率。基于元數據的影像數據檢索可以實現分布式、多源異構海量影像數據的檢索與提取。采用多級緩存技術和多服務集群技術在處理多用戶的并發訪問時可實現負載平衡和并發操作。隨著移動通信和空間信息服務技術的發展以及市場和社會需求的推動,面向移動GIS的影像數據分發服務將具有更廣闊的應用前景。
參考文獻
1?? 王密.大型無縫影像數據庫系統的研制與可量測虛擬現實的可行性研究.武漢:武漢大學出版社,2001
2?? 許盛偉.基于中間件的分布式空間信息服務相關理論及其關鍵技術研究.中科院研究生院博士學位論文,2005
3?? 陳靜,龔健雅,朱欣焰等.海量影像數據的Web發布與實現.測繪通報,2004;(1)
4?? Kim M J,Lee E.The Spatial Data Server Based On Open?GIS Standards In Heterogenous Distributed Environment.Geoinformatics.SWEDEN,GAVLE,2004
5?? 陳靜,龔健雅,朱欣焰等.基于J2EE的分布式Web GIS.測繪通報,2004;(2)

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 色迷迷网免费站视频在线观看 | 婷婷狠狠干| 看片免费黄 | 日韩成人一级 | 亚洲国产成人精品一区二区三区 | 国产一区成人 | 久久www免费人成看片色多多 | 午夜插插 | 免费涩涩漫画大全 | 在线中文高清资源免费观看 | 精品欧美一区二区在线观看 | 日韩中文精品亚洲第三区 | 最新日韩伦理片免费 | 在线成人欧美 | 亚洲一级伦理 | 天天操人人干 | 天天草天天草 | a级片播放 | 欧美综合自拍亚洲综合图自拍 | 亚洲伦理精品久久 | 亚洲 国产精品 日韩 | 色午夜视频 | 国产欧美日韩高清专区ho | 一区二区三区福利视频 | 成人欧美一区二区三区黑人 | 欧美精品一二三区 | 成人午夜视频在线播放 | 欧美专区在线观看 | 日黄网站| 久久精品视频网 | 一个人看的www在线 一个人看的www在线播放 | 亚洲福利网站 | 中文字幕一区二区三区免费看 | 免费一级毛片能看的 | 手机亚洲第1页 | 理论片一级 | 亚洲一区www | 久久黄网站 | 男女生性毛片免费观看 | 中文字幕在线精品视频入口一区 | 激情综合网五月激情 |