《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 通信與網(wǎng)絡(luò) > 設(shè)計(jì)應(yīng)用 > 大數(shù)據(jù)應(yīng)用需要對Hadoop進(jìn)行虛擬化嗎
大數(shù)據(jù)應(yīng)用需要對Hadoop進(jìn)行虛擬化嗎
來源:比特網(wǎng)
摘要: 大數(shù)據(jù)并不需要虛擬化,原因似乎很簡單,因?yàn)樘摂M化技術(shù)的核心思想是資源池化,借助池化資源的調(diào)度來充分使用資源,提高資源的利用效率。但CPU利用率已達(dá)到70%~80%時,虛擬化顯然就沒有更多的意義了。
Abstract:
Key words :

 大數(shù)據(jù)并不需要虛擬化,原因似乎很簡單,因?yàn)樘摂M化技術(shù)的核心思想是資源池化,借助池化資源的調(diào)度來充分使用資源,提高資源的利用效率。但CPU利用率已達(dá)到70%~80%時,虛擬化顯然就沒有更多的意義了。

 
虛擬化并不是適應(yīng)所有場景的,例如HPC領(lǐng)域,虛擬化基本就派不上用場。分析一下大數(shù)據(jù)的應(yīng)用場景,其核心就是利用X86等相對廉價的服務(wù)器,對海量的價值密度相對低的非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理和分析,借助分布式文件系統(tǒng)(NFS)對數(shù)據(jù)進(jìn)行并行的海量處理。對于擔(dān)負(fù)計(jì)算節(jié)點(diǎn)任務(wù)的服務(wù)器而言,其處理能力應(yīng)該接近極限,因?yàn)?,如果?jì)算節(jié)點(diǎn)可以獨(dú)立承擔(dān)任務(wù),甚至還有挖掘“潛力”的能力,那么,還要并行計(jì)算做什么?基于此,大數(shù)據(jù)應(yīng)用不需要虛擬化,這應(yīng)該是一個結(jié)論。
 
今年8月當(dāng)VMware宣布推出vSphere Big Data Extension方案的時候,多少讓人摸不著頭腦,大數(shù)據(jù)與虛擬化是怎么樣產(chǎn)生交集的呢?在10月30日~31日舉行的VMware vForum 2013會議期間,記者有幸采訪了VMware全球副總裁、CPD及全球研發(fā)兼中國研發(fā)中心總經(jīng)理李嚴(yán)冰博士,以及VMware云應(yīng)用平臺及服務(wù)中國總經(jīng)理任道遠(yuǎn)先生,任道遠(yuǎn)同時也是VMware中國研發(fā)中心副總經(jīng)理,同時兼任VMware上海研發(fā)中心的總經(jīng)理。
 
在解答我的疑問之前,李嚴(yán)冰博士首先透露一個最新的任命,她將不再擔(dān)任VMware中國研發(fā)中心總經(jīng)理,將集中經(jīng)歷主管全球的研發(fā)工作,其職位將由任道遠(yuǎn)來接替。“雖然不再擔(dān)任中國研發(fā)中心總經(jīng)理,但在工作上與中國研發(fā)中心還有很多交集,仍然會一如既往關(guān)注VMware中國用戶的需求。”她說。
 
接下來,李嚴(yán)冰博士回答了我的疑問。她表示,的確很多人會認(rèn)為大數(shù)據(jù)不需要虛擬化。VMware之所以宣布vSphere Big Data Extension,也為了給用戶更多的選擇。用戶可以選擇物理機(jī)、也可以選擇虛擬機(jī)來構(gòu)建大數(shù)據(jù)應(yīng)用環(huán)境。而選用虛擬機(jī)將為用戶帶來更多的靈活性,讓系統(tǒng)能夠應(yīng)對不同規(guī)模的大數(shù)據(jù)應(yīng)用的需求。李嚴(yán)冰博士,需要看到Hadoop應(yīng)用環(huán)境部署還是相對復(fù)雜,對于技術(shù)人員有一定的要求,為了降低部署的復(fù)雜度,VMware vSphere Big Data Extension提供大量的集成性的工作,簡化Hadoop的部署。
 
李嚴(yán)冰博士指出,如今大數(shù)據(jù)應(yīng)用更多集中在社交類媒體所產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù),實(shí)際上,云計(jì)算也是大數(shù)據(jù)的制造者。據(jù)她透露,云計(jì)算環(huán)境中,僅快照應(yīng)用所產(chǎn)生的日志文件,每天就有6500萬條之多。單純依靠人力,是沒有辦法應(yīng)對如此大量的日志文件。因此,管理人員希望借助大數(shù)據(jù)對日志進(jìn)行分析,從而滿足管理的需要。
 
透過vSphere Big Data Extension,VMware對外界傳遞了這樣的一個信息,軟件定義會給用戶帶來的成本節(jié)省和靈活性。為此,VMware提出了軟件定義數(shù)據(jù)中心(SDDN)的概念,從數(shù)據(jù)中心和云基礎(chǔ)架構(gòu)的vCloud Suite,到桌面虛擬化和移動計(jì)算,VMware提供了一個完整的端到端的解決方案,用軟件定義的方式,賦予了云計(jì)算和移動終端互聯(lián)網(wǎng)足夠的靈活性,滿足了管理需要。
 
云計(jì)算基礎(chǔ)架構(gòu)包括計(jì)算、網(wǎng)絡(luò)、存儲和管理,其中,以計(jì)算和管理最為成熟,VMware虛擬化方案得到廣泛認(rèn)可和部署。與此同時,網(wǎng)絡(luò)和存儲如何適應(yīng)變化和需要,已經(jīng)變得非常迫切。以網(wǎng)絡(luò)為例,網(wǎng)絡(luò)配置和部署不僅需要專業(yè)技術(shù)人員,同時也需要數(shù)周甚至更長的時間,這就與計(jì)算資源靈活部署形成了鮮明對照。
 
目前VMware NSX虛擬化方案得到了很多網(wǎng)絡(luò)廠商的支持。李嚴(yán)冰博士表示,VMware也是Openflow標(biāo)準(zhǔn)推動者,提供了很多源代碼的貢獻(xiàn)。在存儲方面,VMware VSDN方案以服務(wù)器本地磁盤為基礎(chǔ),可以創(chuàng)建針對虛擬機(jī)優(yōu)化的分布式共享存儲結(jié)構(gòu),為用戶提供更多的選擇。目前,網(wǎng)絡(luò)虛擬化、存儲虛擬化,較之服務(wù)器虛擬化還有些距離,但軟件定義的趨勢已經(jīng)成為了一種方向。
 
李嚴(yán)冰博士表示,VMware恰好趕上了這樣的一個趨勢。為把握好的趨勢,VMware的策略是更加開放,一方面支持OpenStack、OpenFlow這樣的開源組織,另外一方面也增加了對HyperV等產(chǎn)品支持。“我們希望打造一個生態(tài)環(huán)境,為用戶提供盡可能多的選擇。”李嚴(yán)冰博士說。
此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
主站蜘蛛池模板: 97在线免费| 波多野结衣中出在线 | 亚洲国产男人本色在线观看的a站 | 国产欧美成人免费观看 | 国产黄色高清视频 | 成年性生交大片免费看 | 波多野结衣中文字幕在线播放 | 中文字幕日韩欧美一区二区三区 | 日韩精品卡1卡二卡3卡四卡 | 成人国产三级在线播放 | 99视频免费观看 | 日本中文字幕在线播放 | 欧美性最xxx | 区二区三区四区免费视频 | 视频一区二区欧美日韩在线 | 国产专区在线 | 拔擦拔擦8x高清在线 | 日日干天天干 | 男女做羞羞的网站视频 | 97人人做人人添人人爱 | 九九精品视频一区二区三区 | 国产高清精品自在久久 | 澳门毛片免费播放 | 永久免费在线播放 | 午夜影院404 | 久久99精品免费视频 | 欧美日韩三 | 黄色观看| 免费人成网站线观看合集 | videost极度另类 | 国产精品一区二区三区免费视频 | a色在线| 又黄又爽又猛的视频免费 | 狠狠色狠狠色综合曰曰 | 成人网18免费网站在线 | 黄网站免费在线观看 | 涩涩动漫网站入口 | 美女视频黄8频a美女大全软 | 日韩欧美激情 | 国产精品12| 人牛交videos欧美hd |