《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 業(yè)界動態(tài) > 搭配Hadoop巨量儲存架構(gòu) 半導(dǎo)體設(shè)備提高生產(chǎn)效能

搭配Hadoop巨量儲存架構(gòu) 半導(dǎo)體設(shè)備提高生產(chǎn)效能

2015-07-27

  半導(dǎo)體制程邁入20奈米以下技術(shù)節(jié)點(diǎn)后,良率、生產(chǎn)周期及成本管控的挑戰(zhàn)更加艱鉅;新式Hadoop資料儲存架構(gòu)可讓半導(dǎo)體廠以更低成本達(dá)成巨量資料儲存,進(jìn)而利用深入的統(tǒng)計(jì)分析實(shí)現(xiàn)更精準(zhǔn)有效的設(shè)備管理,提高產(chǎn)線運(yùn)作效率。

  近年來,為收集更多感測器資料,長時(shí)間保留資料,并加以有效運(yùn)用,制造商面對不斷加重的挑戰(zhàn)。例如最先進(jìn)晶圓廠的工具感測器和故障偵測生產(chǎn)資料庫,保留資料1至3個(gè)月需要20?30兆位元組的儲存容量。隨著產(chǎn)業(yè)轉(zhuǎn)移至20奈米以下技術(shù)制造和新世代工具,情況將加劇。

  收集和儲存資料,對于達(dá)到必要的良率、生產(chǎn)周期時(shí)間和成本至關(guān)重要,但這只是資料問題的一部分。另外更重要的是,如何經(jīng)由快速及具成本效益來分析這些資料,改善機(jī)臺的效能和工廠產(chǎn)出的良率即時(shí)的資料分析,對于找出最佳化機(jī)會、大幅加快目前的速度,具絕對關(guān)鍵性影響。

  所幸資料管理、資料分析技巧和預(yù)測技術(shù)的演進(jìn),為半導(dǎo)體產(chǎn)業(yè)提供滿足這些需求、具有前景的全新解決方案。

  傳統(tǒng)感測器儲存 無法處理巨量資料

  感測器及統(tǒng)計(jì)資料所使用的分析軟體,必須使用一或多個(gè)工具、特定時(shí)間范圍、感測器、統(tǒng)計(jì)資料、配方表、批量、晶圓組合等構(gòu)成的述詞,進(jìn)行資料庫查詢。但目前的資料儲存策略,以述詞查詢巨量資料(Big Data)集,無法獲得最佳結(jié)果。因此,資料大規(guī)模成長導(dǎo)致嚴(yán)重問題,影響感測器資料的儲存,也無法有效執(zhí)行分析查詢。

  首當(dāng)其沖的問題是,要將來自數(shù)百或甚至數(shù)千個(gè)工具的資料傳送到中央儲存系統(tǒng),需有高效能的儲存系統(tǒng)。但以目前的儲存技術(shù)與價(jià)位,要儲存數(shù)百TB的資料,將大幅提高晶圓廠級設(shè)備工程解決方案(EES)的基礎(chǔ)設(shè)施成本。以400兆位元組的企業(yè)級中央儲存系統(tǒng)為例,每兆位元組所需成本,是具備類似備援功能同等級本機(jī)附加儲存的四倍之多。

  第二個(gè)問題是,多數(shù)感測器資料的結(jié)構(gòu)與儲存,都采用傳統(tǒng)關(guān)聯(lián)式的列與欄方式。但資料容量暴增后,這項(xiàng)方式卻無法隨著最新故障偵測、預(yù)測及產(chǎn)能分析應(yīng)用程式擴(kuò)充,達(dá)到所需效能等級。運(yùn)用傳統(tǒng)關(guān)聯(lián)式資料處理技術(shù)處理大量資料,成本將高得驚人,嚴(yán)重影響新世代應(yīng)用的投資報(bào)酬率。

  Hadoop有效處理巨量資料

  過去幾年里,資料管理技術(shù)方面的進(jìn)展,為社交媒體、零售及財(cái)務(wù)等須管理大量資訊的產(chǎn)業(yè)開啟可能性,能以更有效率的方式,管理感測器及其他半導(dǎo)體制造資料。舉例來說,其中一個(gè)解決方案是Apache Hadoop,這是一種開放源碼軟體架構(gòu),用于儲存及處理分散于硬體商品叢集上的大量資料。其概念可兼顧大量資料儲存,同時(shí)以更低的成本,加速完成資料處理。此開放源碼軟體平臺,主要包含Hadoop分散式檔案系統(tǒng)(HDFS)和運(yùn)算架構(gòu),可于分散式檔案系統(tǒng)上平行運(yùn)算。Hadoop分散式檔案系統(tǒng),可從數(shù)十?dāng)U充到數(shù)千臺伺服器商品,將龐大資料集大范圍散布至本機(jī)附加儲存,大幅降低儲存成本。

  查詢資料時(shí),運(yùn)算架構(gòu)將于大量資料節(jié)點(diǎn)上平行處理資料,將掃描大量資料集所需處理時(shí)間縮至最短;Hadoop平臺上還有其他輔助技術(shù),可協(xié)助有效執(zhí)行資料消化、儲存、運(yùn)用結(jié)構(gòu)化的查詢語言(SQL)查詢資料,提供安全性和類似企業(yè)資料處理需求。

  Hadoop資料儲存,可解決目前制造環(huán)境的多項(xiàng)問題。首先Hadoop分散式檔案系統(tǒng),可加入低成本的儲存裝置擴(kuò)充資料儲存,因此成本僅為集中系統(tǒng)資料儲存成本的四分之一。其次,擁有較大的資料儲存,制造作業(yè)可保留及查詢的資料集,比傳統(tǒng)集中儲存庫時(shí)間更長、范圍更大。目前有些自動化和設(shè)備工程系統(tǒng)公司提出要求,希望能查詢最長達(dá)兩年的資料,其中所牽涉的問題從變異控管,轉(zhuǎn)變?yōu)楦钊氲馁Y料分析。

  現(xiàn)今公司儲存的資料類型多元,包括事件、量測和影像資料等,并希望能將這些資料開放給一般的追蹤與摘要統(tǒng)計(jì)資料。最后,有些公司擁有多座采用自動化和設(shè)備工程系統(tǒng)解決方案的晶圓廠,因此需在晶圓廠之間分享及傳送結(jié)果,必須找一個(gè)集中儲存位置以查詢和挖掘,從多間晶圓廠診斷出結(jié)果。

  半導(dǎo)體制造可善用巨量資料

  半導(dǎo)體設(shè)備商目前正開發(fā)多個(gè)應(yīng)用程式,以預(yù)測技術(shù)和近乎即時(shí)的資料分析為基礎(chǔ),改善產(chǎn)能及工具效能。不過,Hadoop雖然為這些應(yīng)用程式提供分散式資料儲存及處理架構(gòu),但卻不足以支援應(yīng)用程式的需求。

  以下的簡短說明,可概要了解Hadoop架構(gòu)在半導(dǎo)體制造環(huán)境中的效用。為取得資料的備援及高可用性,Hadoop將資料檔案以預(yù)先定義的區(qū)塊大小,分散到數(shù)十個(gè)資料節(jié)點(diǎn),如圖1所示。假如資料檔案的大小為256MB,而Hadoop區(qū)塊大小為128MB,則資料將分割為兩個(gè)區(qū)塊,每個(gè)區(qū)塊各128MB,區(qū)塊的備援副本將散布到Hadoop叢集上的多個(gè)節(jié)點(diǎn)。在本例中,須掃描完整檔案查詢,可在兩個(gè)平行程序中執(zhí)行。在資料時(shí)間范圍拉長,以及查詢須存取的工具數(shù)量持續(xù)成長下,使平行程度不斷成長,因此大幅提升資料擷取效率。

  此架構(gòu)亦能對須處理大量資料集的查詢進(jìn)行分割,讓部分查詢可在多個(gè)節(jié)點(diǎn)上平行執(zhí)行(表1)。因此即使資料容量擴(kuò)大,也可大幅縮短查詢的處理時(shí)間。假設(shè)查詢述詞使用特定的時(shí)間范圍和工具集,例如用資料庫中的兩個(gè)欄,譬如時(shí)間、工具進(jìn)行篩選。再假設(shè),所需資料來自工具集所儲存的一百個(gè)感測器的其中十個(gè)。在Hadoop架構(gòu)下,查詢引擎將掃描兩個(gè)欄中經(jīng)過壓縮和連續(xù)的值,以篩選資料并從十個(gè)感測器樣本擷取輸入。引擎將不會處理工具所儲存的另外90%的感測器資料,因此可大幅減少查詢引擎所須掃描的資料量。

  Hadoop是專為大規(guī)模儲存及分析所設(shè)計(jì),晶圓廠目前多數(shù)的資料處理需求,則是獲得小型資料集的最佳效能。其常見使用個(gè)案包含傳統(tǒng)報(bào)告、模擬和配置功能,這些功能在自動化和設(shè)備工程系統(tǒng)內(nèi)都可找到;添購HDFS須與其他的自動化和設(shè)備工程應(yīng)用程式整合。報(bào)告及模擬環(huán)境須要從短期和長期的資料儲存位置進(jìn)行查詢、合并資料,再透過標(biāo)準(zhǔn)介面回報(bào),部分半導(dǎo)體公司并不希望HDFS資料使用新的使用者介面。

  半導(dǎo)體公司可透過HDFS存取更大量資料集,并希望能執(zhí)行進(jìn)階的資料分析活動。運(yùn)用更大型資料集的新興解決方案,將可橫跨多個(gè)維護(hù)事件、橫跨多個(gè)工具,執(zhí)行反應(yīng)匹配及指紋辨識,亦能將多項(xiàng)叢集分析技巧,套用至追蹤及摘要統(tǒng)計(jì)資料,譬如比對正確與錯(cuò)誤,以及觀察的趨勢,一般而言,這需一年以上的資料才有效。

  添購Hadoop基礎(chǔ)設(shè)施,加入自動化和設(shè)備工程系統(tǒng),仍有其挑戰(zhàn)。尤其相較于關(guān)聯(lián)式資料庫系統(tǒng),半導(dǎo)體產(chǎn)業(yè)對Hadoop基礎(chǔ)設(shè)施較不熟悉,也無同樣深入的經(jīng)驗(yàn)。為能普及運(yùn)用,Hadoop系統(tǒng)執(zhí)行查詢及報(bào)告的效能,必須跟上關(guān)聯(lián)式系統(tǒng)的水平。再加上其基礎(chǔ)設(shè)施有著不同于關(guān)聯(lián)式系統(tǒng)的要求,而在半導(dǎo)體公司采用這些解決方案的同時(shí),也須提供資料安全性模式和受控制資料存取等功能。

  運(yùn)用Hadoop平臺執(zhí)行大規(guī)模分析資料處理,有潛力可解決半導(dǎo)體產(chǎn)業(yè)資料爆炸性成長的問題,其低成本的儲存與資料處理,能收集大量的感測器資料,若要能運(yùn)用這些資料,便須開發(fā)出合適的資料格式、架構(gòu)和查詢引擎,半導(dǎo)體制造商才能善加利用。


本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時(shí)通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 2020亚洲欧美日韩在线观看 | 色综合久久久高清综合久久久 | 日日操夜夜操视频 | 日韩三级在线 | 亚洲成年人网 | 亚洲另类在线视频 | 国产成人18黄网站免费网站 | 三级日本黄色片 | 福利片中文 | 在线一区三区四区产品动漫 | 成人永久福利免费观看 | 九九久久精品视频 | 欧美色图亚洲综合 | a毛片在线观看 | 在线观看免费大黄网站 | 日韩一级免费视频 | 粉嫩极品国产在线播放 | 黄色一级大片视频 | 免费观看成人久久网免费观看 | 午夜影院免费体验区 | 日韩国产欧美 | 一级黄色录像放 | 欧美性猛交ⅹxxx乱大交免费 | 99激情 | 亚洲国产精品日韩高清秒播 | 操美女影院 | 日产免费自线一二 | 亚洲第一成年网站大全亚洲 | 久久精品亚洲精品国产欧美 | 在线观看视频日韩 | 一级特黄aaaaaa大片 | 欧美超级碰碰 | 好吊免费视频 | 日韩午夜免费 | 91视频免费入口 | 天天看黄色片 | 国产日韩视频在线 | 日本中文字幕永久在线 | 狠狠色狠狠色很很综合很久久 | 综合色吧| 欧美综合网欧美色妞网 |