文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.2018.S1.034
0 引言
國家電網公司設備(資產)運維精益管理系統(Power Production Management System 2.0, PMS2.0)是“三集五大”體系建設中的“大檢修”體系內容, 支撐運維檢修全過程精益化管理和電網資產的全壽命周期管理, 覆蓋國網公司運維檢修業務, 貫穿生產管理全過程, 更大范圍地實現數據共享和業務融合。
PMS2.0 為總部、省公司二級部署, 總部、省公司和地市(縣)公司三級應用部署在省公司的應用, 同時支撐省公司、省檢修公司和地市(縣)公司的運檢業務,并在地市公司部署電網資源數據代理服務, 以提高地市公司電網資源應用效率和可靠性,部署在國網公司總部應用, 與省公司進行縱向貫通, 支撐國網范圍內的總部上層應用。
作為運檢業務條線最重要的生產管理系統,如何保障系統健康穩定運行成為信息通信部門的一項重要工作,信息系統運維是一項系統工程,探索系統健康運行方法,量化系統健康水平對系統運維具有重要積極意義。
1 系統健康度衡量辦法
圖1為PMS2.0物理部署視圖:
從圖1我們可以分析出PMS2.0系統由應用服務器集群、數據庫集群以及外圍的ISC、BPM平臺組成。這些服務通過網絡交換機、負載均衡器、磁盤陣列連接起來,形成一套龐大的系統。
按照從整體到局部,從宏觀到微觀的分析方法,PMS2.0系統的健康情況取決于應用服務器、數據庫、ISC、BPM以及基礎設施的健康情況。這些應用服務、數據庫服務和基礎設施的健康情況可以通過觀察其關鍵性能、可靠性指標得到,比如數據庫服務器的CPU利用率、表空間大小,應用服務器(WebLogic)的JVM可用內存大小、線程數、JDBC連接池可用連接等。
服務的健康情況對于系統整體健康影響程度不一樣,比如PMS2.0應用服務器通過負載均衡器提供給最終用戶訪問,當一臺應用服務器出現故障,F5負載均衡器將后續請求轉發給其他健康的應用服務器,而如果一臺生產數據庫出現故障,由于兩臺生產數據庫組成RAC集群,用戶仍然可以查詢操作業務數據,但由于只有一臺數據庫提供服務,系統健康受到較大影響。
同樣地,服務的不同指標對服務的健康度影響大小也存在差異,例如Oracle數據庫實例處于停止狀態的影響遠遠大于表空間利用率大于90%對系統健康的影響。
綜合以上因素,我們可以推導出系統健康度模型,在下一章節詳細闡述。
2 系統健康度模型
指標項(M):是指度量服務運行情況、反映服務各方面水平的值,一般服務具有多個指標項。本文中指標項用字母M來表示。例如對Weblogic應用服務,活動會話數、JVM堆內存使用比率、總線程數、空閑線程數、掛起等待線程數都是其指標項。目前IT服務指標采集和監控手段非常多,并且不同服務、設備指標采集監控也不盡一樣,但已經非常成熟了。
指標項狀態(MS):指表示指標項的正?;蛘弋惓顟B,根據指標項的具體內容,將指標項的值定義在不同的區間用以反映指標項的正?;蛘弋惓?。例如可以定義WebLogic的JVM堆內存使用比率大于等于95%時,該指標狀態為異常,反之則為正常。本文中指標項狀態用MS表示,分為正常和異常兩種情況,正常用0表示,異常用1表示。
指標權重(MW):指標權重反映指標對服務的影響程度,權重越大則指標對服務影響越大,權重越小則影響越小。本文中指標權重用MW表示,MW的值為從0到1的有理數(包括0和1)。
指標項健康度(MH):指標項健康度反映指標項的健康情況,它受到指標項狀態和指標權重的影響,當指標項狀態為0時,指標項健康度為1,當指標項狀態為1時,指標權重越大則指標越不健康,本文中指標項健康度用MH表示。指標項健康度的計算公式如下:
假設JVM堆內存使用比率的健康權重為 MW = 0.7, JVM堆內存使用比率超過95%時,狀態值MS=1(異常),則CPU利用率的健康度MH=1-1×0.7=0.3,也就是30%的健康度。
服務健康度(SH):服務的健康度取決于健康度最低的指標項,即服務健康度由該服務所有的指標項健康度決定,本文用符號SH表示服務健康度。一個系統可用比作一個由多塊木板組成的木桶,系統的瓶頸和健康程度用木桶效應闡述:當盛水量(業務訪問量)越來越多,木桶的盛水高度(系統瓶頸和健康度)取決于其中最短的那塊木板。也就是說服務的健康度取決于指標項健康度最低的指標。因此我們得到服務健康度的計算公式如下:
服務權重(SW):服務權重反映服務對業務系統運行的影響程度,服務權重越大說明服務對業務系統的影響程度越大,反之越小,本文中用SW表示服務權重。SW的值為從0到1的有理數(包括0和1)。
例如,在PMS2.0系統中,兩臺數據庫服務器組成的RAC共享存儲損壞對業務系統產生的影響是致命的,因此可以設定數據庫服務器的服務權重SW=1(即100%);
服務影響度(FD) :服務影響度是指服務的健康度對業務系統造成的影響,服務的服務影響度值越大,說明服務對業務的健康度影響越大,反之則影響越小。本文中用FD表示服務影響度,具體描述如下:
SH為服務健康度,SW為服務權重。
例如,在PMS2.0系統中,假設應用服務器的健康度SH=0 (即0%健康),應用服務器的服務權重為SW=1(即100%,表示應用服務器宕機對PMS2.0系統的影響是嚴重的), 則可以得出應用服務器的服務影響度FD=(1- 0)×100%=1。
系統健康度(H) :通過PMS2.0物理拓撲圖我們可以得知,PMS2.0系統由多個應用服務器、數據庫和外圍相關平臺組成,系統的健康度由系統所包含的服務健康度所決定,根據木桶效應,系統的健康度取決于系統中所包含服務的最大服務影響度,也就是說最不健康的服務(服務影響度最大)決定了系統的健康度。本文中以H表示系統健康度,其計算公式如下:
FD為服務影響度。
通過以上推導我們得到了系統健康度模型,從而可以量化系統健康水平。
3 健康度模型驗證
在系統健康度模型定義基礎上,我們可以知道系統健康度計算過程:
(1)識別出組成系統的服務,定義服務權重;
(2)分析出影響這些服務健康的指標項、定義指標項權重、定義決定指標項狀態的項閾值;
(3)通過監控系統或者服務自帶的指標監測工具得到指標項狀態,根據第式(1)計算出指標項健康度;
(4)根據式(2)計算出各個服務的健康度;
(5)根據式(3)計算出各個服務的影響度;
(6)根據式(4)計算出系統健康度。
根據這個計算過程,并參考PMS2.0物理架構圖,我們可以模擬出PMS2.0某個時刻的健康度,為了能更直觀地顯示系統健康度計算過程,對組成服務以及服務指標做了簡化,如表1所示。
通過表1中的計算,可以看到當Oracle數據庫1的磁盤利用率以及WebLogic1、WebLogic2的CPU利用率出現異常情況時,PMS2.0的健康度只有28%,系統運維人員必須立刻進行處理,否則將會系統用戶造成巨大影響。
4 對策分析
可視化的能力代表了運維的能力,可視化的程度越高,運維的能力越高。根據以上對健康度模型的分析,應構建各配置項關聯關系,定義影響因子模型,在監控系統中呈現PMS2.0系統的業務視圖,可實現對業務系統運維態勢的可視化展現及故障原因分析定位。
在具體運維層面上,應深入貫徹國網公司和省公司的精益化、扁平化的管理理念,借鑒國際上的相關理論體系,通過標準的信息服務支撐系統。 實現統一運維入口、統一運維規范和流程,通過有效的問題、故障閉環管理機制,責任分工明確,具體到人,使出現故障時能夠快速響應,有效排除。
5 結束語
本文以國家電網PMS2.0系統為基礎,構建了一種系統健康度模型,并給出了驗證實現的計算過程,針對PMS2.0健康度模型還給出了具體的對策分析,為將來結合電力系統的監控系統,構建實際的PMS2.0健康度監控系統提供了理論和實踐依據,通過健康度監控系統可以更有效地保障系統健康運行。本文提出的健康度模型也適用于電力其他業務應用系統。
參考文獻
[1] Mostafa Mohamed AlShamy,ITSM implementation methodology based on ITIL V3,LAP LAMBERT Academic Publishing,2012年08月.
[2] 翰緯IT服務管理文庫,中國IT服務管理指南(第二版),北京大學出版社,2012年02月.
[3] 韓曉光,系統運維全面解析:技術、管理與實踐,電子工業出版社,2015年11月.
[4] 羅文,信息系統運維管理咨詢與監理服務,人民郵電出版社,2014年09月.
作者信息:
劉逸逸1,孫家駿2,石 磊3,秦 峰3
(1. 國網上海市電力公司信息通信公司,上海 200122;2. 國網上海市電力公司市南供電公司,上海 200122;
3. 上海安言信息技術有限公司,上海 200050)