8月19日消息，在通常的分布式存儲(chǔ)中，當(dāng)系統(tǒng)檢測(cè)到硬盤故障時(shí)，系統(tǒng)會(huì)采用EC（Erasure Coding）糾刪碼等冗余校驗(yàn)手段，利用其余節(jié)點(diǎn)上的正常硬盤、正常數(shù)據(jù)，在后臺(tái)跨節(jié)點(diǎn)地將整塊硬盤的故障數(shù)據(jù)重構(gòu)出來(lái)。

然而，隨著SSD容量逐步增大，大盤需要重構(gòu)的數(shù)據(jù)量翻了4~8倍、耗費(fèi)時(shí)長(zhǎng)也等比例上升。

在這個(gè)漫長(zhǎng)的重構(gòu)周期里，不僅擠占25%存儲(chǔ)帶寬、影響業(yè)務(wù)性能，且更致命的是，系統(tǒng)將處于可靠性降級(jí)狀態(tài)，數(shù)據(jù)將會(huì)面臨隨時(shí)丟失。

今天，華為介紹了全閃分布式存儲(chǔ)，對(duì)SSD的故障域?qū)嵤┚植扛綦x，盡可能避免原先的大范圍的整盤重構(gòu)。

針對(duì)盤內(nèi)DDR的失效，華為創(chuàng)新地采用TRR（Tiny Region Reconstruction，最小范圍重構(gòu)）算法，通過(guò)盤控深度配合，精準(zhǔn)識(shí)別并上報(bào)失效區(qū)域所映射的邏輯地址，然后通知存儲(chǔ)系統(tǒng)，對(duì)受影響的局部數(shù)據(jù)進(jìn)行屏蔽。

這個(gè)過(guò)程，就像在硬盤上“精密鏤刻”一樣，然后在新的位置精準(zhǔn)重構(gòu)出這一小部分?jǐn)?shù)據(jù)。這，就避免了過(guò)去動(dòng)輒整盤重構(gòu)，讓其余正常數(shù)據(jù)“免遭牽連”，減少了數(shù)百倍的重構(gòu)數(shù)據(jù)量，整個(gè)過(guò)程幾分鐘就能搞定。

針對(duì)NAND Flash的失效，華為也采用自研的“盤內(nèi)RAID算法”，對(duì)盤上所有數(shù)據(jù)以Die為單位，建立RAID組冗余校驗(yàn)。我們將故障范圍精準(zhǔn)縮小到Die級(jí)，利用其余正常的Die、通過(guò)盤內(nèi)計(jì)算引擎恢復(fù)出正確的數(shù)據(jù)。

這項(xiàng)技術(shù)的厲害之處在于，這個(gè)過(guò)程可以不斷重復(fù)，允許Die一個(gè)接一個(gè)地失效，持續(xù)縮列、甚至縮容而不丟失任何數(shù)據(jù)。這個(gè)操作完全發(fā)生在SSD盤內(nèi)，上層存儲(chǔ)系統(tǒng)那個(gè)“大佬”根本無(wú)需插手，完全不知道底下這么熱鬧。

假如遇上多個(gè)Die同時(shí)失效、或者整個(gè)顆粒失效的極端情況，那SSD單盤就兜不住了，但系統(tǒng)自然也有備而來(lái)。存儲(chǔ)系統(tǒng)會(huì)立刻啟動(dòng)TRR算法，進(jìn)行局部數(shù)據(jù)的“鏤刻”和“填坑”，做到精準(zhǔn)屏蔽、并進(jìn)行計(jì)劃性預(yù)拷貝重構(gòu)。