EVO-DR災備自動化管理系統
行業背景
銀(yin)監會在《商業銀(yin)行(xing)數據中心(xin)監管(guan)指引》中明確(que)要(yao)求“商業銀(yin)行(xing)每年至少進行(xing)一次重要(yao)信息(xi)系統(tong)專(zhuan)項(xiang)災(zai)(zai)備(bei)切(qie)換(huan)演練，每三年至少進行(xing)一次重要(yao)信息(xi)系統(tong)全(quan)面災(zai)(zai)備(bei)切(qie)換(huan)演練，以真實業務(wu)接管(guan)為目標，驗證災(zai)(zai)備(bei)系統(tong)有(you)效接管(guan)生產系統(tong)與安(an)全(quan)回(hui)切(qie)的能力，并(bing)且積極建設自動化(hua)運維工具平臺，逐步達到 75% 的自動化(hua)覆(fu)蓋(gai)率”。
為(wei)滿足監管規定和(he)業務(wu)連續性要求，各商業銀行計劃在實(shi)(shi)現(xian)手工災(zai)(zai)備(bei)切(qie)換(huan)(huan)(huan)(huan)的(de)(de)基礎(chu)上，逐步建(jian)設災(zai)(zai)備(bei)自(zi) 動化(hua)運維平臺，實(shi)(shi)現(xian)災(zai)(zai)備(bei)切(qie)換(huan)(huan)(huan)(huan)的(de)(de)標準化(hua)、可控(kong)化(hua)、自(zi)動化(hua)和(he)可視化(hua)，降低人工操作風險，提高切(qie)換(huan)(huan)(huan)(huan)效(xiao)率和(he) 切(qie)換(huan)(huan)(huan)(huan)成功率，實(shi)(shi)現(xian)災(zai)(zai)備(bei)切(qie)換(huan)(huan)(huan)(huan)的(de)(de)自(zi)動、可控(kong)、安(an)全、高效(xiao)，全面提升商業銀行面對突發事件時的(de)(de)應急處理能力。
如何保障業(ye)(ye)務系(xi)統(tong)服務的(de)(de)(de)連(lian)(lian)續(xu)性(xing)，減(jian)(jian)少服務中(zhong)斷帶(dai)來(lai)的(de)(de)(de)經濟損失和(he)信譽影(ying)響，是銀(yin)(yin)行(xing)管(guan)(guan)理層(ceng)和(he)監管(guan)(guan)部 門共同關心(xin)的(de)(de)(de)話(hua)題。因此各商業(ye)(ye)銀(yin)(yin)行(xing)陸續(xu)建(jian)設(she)兩地三(san)中(zhong)心(xin)的(de)(de)(de)災(zai)備(bei)(bei)體(ti)系(xi)，以便在生(sheng)產(chan)中(zhong)心(xin)出現(xian)故障時及時接(jie)管(guan)(guan)生(sheng)產(chan)業(ye)(ye)務，減(jian)(jian)少業(ye)(ye)務中(zhong)斷時間(jian)。中(zhong)亦(yi)科技 EVO-DR 災(zai)備(bei)(bei)自(zi)動化(hua)(hua)管(guan)(guan)理平(ping)臺(tai)(tai)基于多年(nian)災(zai)備(bei)(bei)建(jian)設(she)運維(wei)的(de)(de)(de)經驗基礎(chu)上，結合(he)災(zai)備(bei)(bei)體(ti)系(xi)的(de)(de)(de)監管(guan)(guan)要(yao)求(qiu)，實現(xian)災(zai)備(bei)(bei)演練切換過程的(de)(de)(de)標準化(hua)(hua)、流(liu)程化(hua)(hua)、可(ke)控(kong)化(hua)(hua)、自(zi)動化(hua)(hua)和(he)可(ke)視化(hua)(hua)， 形成的(de)(de)(de)統(tong)一的(de)(de)(de)災(zai)備(bei)(bei)管(guan)(guan)理工作支(zhi)撐(cheng)平(ping)臺(tai)(tai)。該(gai)平(ping)臺(tai)(tai)可(ke)以結合(he)業(ye)(ye)務視角(jiao)定期評(ping)估，持續(xu)改進災(zai)備(bei)(bei)管(guan)(guan)理工作，進一 步提升數據(ju)中(zhong)心(xin)災(zai)備(bei)(bei)管(guan)(guan)理的(de)(de)(de)整體(ti)水平(ping)，充分提升 IT 價(jia)值和(he)業(ye)(ye)務連(lian)(lian)續(xu)性(xing)。
用戶痛點
• 災備切換跨多部門(men)協作才能完成，過程復雜周期長 ；
• 切換過程操作復雜流程繁多，對人員(yuan)能(neng)力素質(zhi)依賴度較高，誤(wu)操作風(feng)險較高 ；
• 人工切換(huan)時間不可控，難以保證(zheng)RTO 目(mu)標 ；
• 缺乏實時動態全局(ju)指揮決(jue)策工(gong)具，無(wu)法把(ba)控(kong)整體切換過程；
• 無法實時展現災備切換過程中業務的變(bian)化情況。
核心功能
★ 災備切換可視化
向各層級人員提供切(qie)換過程及系統(tong)運行情況(kuang)的分類展示，保障災備系統(tong)滿足管理、協作、切(qie)換、運維等不同場景(jing)下進行跨團隊協作、信(xin)息同步、進度實時(shi)查看、切(qie)換過程動態實時(shi)展現等要求。
行級領導示圖(tu)：
科技部領導(dao)示圖：
工程師操作示圖(tu)：
★ 災備切換可控化
• 流程(cheng)管(guan)理：基于中亦科技自主研發的(de)調度引擎 EVO-Flow，通過(guo)(guo)可視(shi)化(hua)拖拉拽方便(bian)實現各種災備演練及(ji)災備切換流程(cheng)的(de)定(ding)義和配置，支(zhi)持(chi)串行(xing)(xing)、并行(xing)(xing)、分支(zhi)、人工(gong)干預以及(ji)節點跳轉(zhuan)，整(zheng)個(ge)執行(xing)(xing)過(guo)(guo)程(cheng)支(zhi)持(chi)可 視(shi)化(hua)動(dong)態(tai)展示；對執行(xing)(xing)過(guo)(guo)程(cheng)中產生的(de)日志信息(xi)進(jin)(jin)行(xing)(xing)動(dong)態(tai)顯示和記錄，以便(bian)進(jin)(jin)行(xing)(xing)實時(shi)跟蹤以及(ji)事后回溯分析。
• 場景(jing)管(guan)(guan)理(li)：災(zai)(zai)備(bei)切換(huan)場景(jing)的全生命周期管(guan)(guan)理(li)，實(shi)現災(zai)(zai)備(bei)切換(huan)中各種場景(jing)的定義(yi)、修(xiu)改和(he)維(wei)護管(guan)(guan)理(li)， 一般分為災(zai)(zai)備(bei)演(yan)練和(he)災(zai)(zai)備(bei)切換(huan)兩種場景(jing)類型，進一步(bu)按照業務(wu)系統(tong)梳理(li)定義(yi)各自的演(yan)練場景(jing)。
• 預(yu)(yu)(yu)案(an)管理(li)：提(ti)供對災備切換(huan)預(yu)(yu)(yu)案(an)分(fen)類管理(li)和協同維(wei)護等功(gong)能，緊(jin)急(ji)情況發(fa)生可快速激活預(yu)(yu)(yu)案(an)并(bing)通知預(yu)(yu)(yu)案(an)相關(guan)人(ren)員，提(ti)升決(jue)策效率。
• 演(yan)練(lian)(lian)管(guan)(guan)理(li)(li)：提供全流(liu)程的演(yan)練(lian)(lian)管(guan)(guan)理(li)(li)，包括演(yan)練(lian)(lian)預案管(guan)(guan)理(li)(li)、演(yan)練(lian)(lian)計劃(hua)管(guan)(guan)理(li)(li)、演(yan)練(lian)(lian)流(liu)程管(guan)(guan)理(li)(li)、演(yan)練(lian)(lian)實施(shi)過程管(guan)(guan)理(li)(li)、演(yan)練(lian)(lian)結果評(ping)估(gu)管(guan)(guan)理(li)(li)等。
★ 災備切換自動化
• 切換前檢(jian)查：切換啟動前系統自動比對生產與災備環境(jing)一致性，保(bao)障切換任務順利(li)實施。
• 一致性檢查：支持定期自動比對生(sheng)產與災(zai)備(bei)環境同(tong)步情況(kuang)，保障災(zai)備(bei)中心系(xi)統配置一致性。
• 切(qie)(qie)換(huan)(huan)自動化：提(ti)供災備切(qie)(qie)換(huan)(huan)過程(cheng)管理，在切(qie)(qie)換(huan)(huan)前可(ke)發(fa)送短信、郵(you)件等消(xiao)息通知相(xiang)關(guan)人(ren)(ren)員，可(ke)視化展 示(shi)切(qie)(qie)換(huan)(huan)流(liu)程(cheng)進度(du)，切(qie)(qie)換(huan)(huan)過程(cheng)中可(ke)按需(xu)進行人(ren)(ren)工干預（暫停、終止、繼續、跳轉(zhuan)、人(ren)(ren)工干預、斷點(dian)續做等）， 保(bao)障切(qie)(qie)換(huan)(huan)的順利(li)完成。
• 切(qie)(qie)換(huan)報(bao)(bao)告(gao)(gao)自動(dong)生(sheng)成(cheng)：演練切(qie)(qie)換(huan)或災難(nan)切(qie)(qie)換(huan)完成(cheng)，自動(dong)生(sheng)成(cheng)災備切(qie)(qie)換(huan)報(bao)(bao)告(gao)(gao)，記(ji)錄事件發生(sheng)及切(qie)(qie)換(huan)全過程，可將報(bao)(bao)告(gao)(gao)在(zai)線(xian)編輯并下載。
產品優勢
★大屏展現(xian)：切換(huan)過(guo)程動態大屏展現(xian)，為決策層(ceng)(ceng)、指揮(hui)層(ceng)(ceng)、操(cao)作(zuo)層(ceng)(ceng)提供全方位(wei)動態視圖展現(xian)，主(zhu)要(yao)包括(kuo)切換(huan)過(guo)程以及(ji)相(xiang)關業務指標(biao)的動態展現(xian)。
★內(nei)置大量(liang)最佳實踐：基于中亦科技多年大型數據中心運(yun)(yun)維(wei)(wei)經驗，平臺內(nei)置大量(liang)運(yun)(yun)維(wei)(wei)最佳實踐，腳(jiao)本3000+、組件1000+，涉及主(zhu)流的操作系統(tong)、數據庫、中間件、網絡、負(fu)載均衡等。
★預(yu)案管(guan)理(li)：應急預(yu)案和切(qie)換預(yu)案定制，實現(xian)切(qie)換決策有(you)據可(ke)依、指(zhi)揮快捷高效(xiao)、操作(zuo)自(zi)動(dong)安全可(ke)
靠。
★自動生(sheng)成報告(gao)：容災切換(huan)演(yan)練、真實切換(huan)報告(gao)自動生(sheng)成，可(ke)根據報告(gao)及演(yan)練評(ping)估結(jie)果進行有(you)針對性的改進。
客戶收益
★提高靈(ling)活性：加快(kuai)業務對異常情況的(de)響應速(su)度，快(kuai)速(su)調(diao)整，快(kuai)速(su)應對，提升應變(bian)能力；
★降低風(feng)險：符合監管規定(ding)，降低人(ren)為操作風(feng)險 ；
★提(ti)升效率：提(ti)升切換效率，降(jiang)低人員協調溝通成本(ben) ；
★控(kong)制成本(ben)：降低人(ren)工依賴，控(kong)制運營成本(ben)，優化(hua)人(ren)力資源和(he)系統結構 ；
★切換專業化：實(shi)現災(zai)備切換過程的標(biao)準化、自動(dong)化、可控化和可視化。
案例分享
★ 項目背景
某商(shang)業(ye)銀(yin)行已完(wan)成兩地三中心(xin)災(zai)備體系(xi)建(jian)設，核心(xin)業(ye)務(wu)系(xi)統(tong) 100 多套，涉及主機(ji)、網絡(luo)、存儲 2000 多臺，每(mei)年進(jin)行兩次切換演練，但是由于基礎架(jia)構復(fu)雜涉及技術產品(pin)繁多，傳統(tong)的(de)(de)切換方式以人(ren)工方式為主， 導致每(mei)次切換參與人(ren)數眾(zhong)多、各種狀(zhuang)況(kuang)頻發(fa)、難以實現預期的(de)(de) RTO 目標，效率低下(xia)過程復(fu)雜結果(guo)不可(ke)控。
★ 項目目標
• 實現(xian)災備切(qie)換預案中(zhong)技(ji)術切(qie)換、回(hui)切(qie)部分的標準化、流程化和自動(dong)化，包(bao)括(kuo)系(xi)統、網絡(luo)設(she)備及應用切(qie)換，切(qie)換系(xi)統包(bao)括(kuo) AIX、Linux、windows 平臺、DB2、Oracle、各種中(zhong)間(jian)件、各類網絡(luo)設(she)備、安(an)全設(she)備和負載均衡；同時滿(man)足切(qie)換步驟(zou)轉人工(gong)處理(li)（包(bao)括(kuo)步驟(zou)報錯轉人工(gong)、直(zhi)接轉人工(gong)等(deng)場景）；
• 完成 ECC 大屏展示(shi)內容(rong)的(de)設計、實施工作，實現(xian)災備(bei)系(xi)統切換過程中的(de) ECC 大屏全(quan)屏展現(xian)，直觀顯示(shi)切換進度、各系(xi)統狀態(tai)及其(qi)他(ta)相關信息，包括但(dan)不限(xian)于切換過程的(de)狀態(tai)變化、關鍵業務指標(biao)(biao)、性能指標(biao)(biao)、針對不同角色展現(xian)不同的(de)示(shi)圖內容(rong)等(deng)；
• 實現(xian)核心業務系統(tong)的災備自動化(hua)切換，切換過程動態展現(xian)；
• 實(shi)現(xian)災(zai)(zai)難切換預(yu)案(an)管理(li)和(he)災(zai)(zai)難切換報告的(de)自(zi)動(dong)生成及導出；
• 實現切換流程(cheng)的可視化拖拉拽定(ding)義，支持串行、并行、分支、跳轉(zhuan)、斷(duan)點續(xu)做和人工(gong)干預(yu)等；
• 實現多切換場景的(de)流程(cheng)配置；
• ; 實現(xian)生(sheng)產(chan)與災備(bei)配置的一致性(xing)檢查并能夠自動同(tong)步。
★ 項目難點
• 災備切(qie)換(huan)預案不(bu)完整，切(qie)換(huan)流(liu)程、步驟、命令沒有及(ji)時(shi)更新，無法直接使用(yong)；
• 客戶技術人員配合不到位(wei)，嚴重影(ying)響項目(mu)進(jin)度；
• 缺乏必要的測試環境，無法提前(qian)進行有效的技術驗(yan)證；
• 生(sheng)產(chan)和災(zai)備環境不一致，影(ying)響實際切換無法順(shun)利進(jin)行。
★ 實施過程
↓ 安排運(yun)維(wei)經驗豐富的實施(shi)工程師，詳細(xi)梳(shu)理每套業務系(xi)統(tong)的切(qie)換流程、步(bu)驟、命(ming)令和(he)腳本，形成完善(shan)的切(qie)換操(cao)作(zuo)手冊，提交客(ke)戶審(shen)批確認(ren)；
↓ 跟(gen)客(ke)戶(hu)技術人(ren)員梳理完善災備切換(huan)場(chang)景預案(an)；
↓ 搭建必要的(de)測(ce)試環境，對(dui)于(yu)核心(xin)步驟和腳(jiao)本進(jin)行充(chong)分測(ce)試，對(dui)于(yu)核心(xin)系(xi)統(tong)進(jin)行主備切(qie)換(huan)測(ce)試；
↓ 部(bu)署災(zai)備(bei)自動化平臺，按照梳理好的切(qie)換步驟和災(zai)備(bei)預案，定義每(mei)套業務系統的切(qie)換流程和切(qie)換場景；
↓ 實(shi)現每年兩次(ci)的自動化切(qie)換。
★ 客戶收益
★切換(huan)流程(cheng)依賴關系固化(hua)在(zai)平臺中， 一鍵(jian)式自動化(hua)執行；
★自動(dong)化和(he)管理(li)流程(cheng)結合；
★統(tong)一的災備(bei)切換(huan)管理指揮平臺；
★災備切換(huan)過程動態可(ke)視化展現(xian)；
★簡化操作(zuo)(zuo)過程(cheng)，降低人員依賴度和人工操作(zuo)(zuo)失誤的概率；
★提(ti)升工作效率(lv)，整體切換時間(jian)可以縮短(duan)50%-70%。
