聯(lián)系電話: 010-8882344888
隨著我行業(yè)務快速發(fā)展，運維人員面對的是日益復雜的系統(tǒng)架構(gòu)以及海量的IT運維數(shù)據(jù)。數(shù)據(jù)中心運維管理難度和重要性日漸凸顯，對業(yè)務連續(xù)性要求和運維服務質(zhì)量的要求也不斷提高，迫切需要建設一套科學、高效的運維支持體系，能夠幫助我行運維管理部門在事前能夠迅速感知故障產(chǎn)生，提前發(fā)現(xiàn)風險隱患點，事中能夠結(jié)合不斷學習結(jié)合專家經(jīng)驗合理編排產(chǎn)生的大量告警數(shù)據(jù)，推薦最可能的故障根因，讓運維人員能在最短時間內(nèi)聚焦到真正需要關(guān)注的告警上，提高運維能力，發(fā)掘運維潛在風險。
我行希望依托解決方案完成智能運維的轉(zhuǎn)型升級，能夠?qū)崿F(xiàn)采集來自主機、數(shù)據(jù)庫、中間件、業(yè)務應用等維度的海量指標數(shù)據(jù)（100W監(jiān)控對象），以及實時采集金融機構(gòu)統(tǒng)一告警平臺的海量告警數(shù)據(jù)（日均10W+條告警）。一方面在主機、數(shù)據(jù)庫、中間件、業(yè)務應用的指標數(shù)據(jù)上，通過智能分析的算法引擎構(gòu)建基線預測模型來實現(xiàn)對各類指標數(shù)據(jù)的異常檢測和容量預測，通過算法學習業(yè)務周期性規(guī)律，基線異常檢測提前感知業(yè)務異常，以及業(yè)務系統(tǒng)存在的性能隱患。另一方面接入行內(nèi)的統(tǒng)一告警數(shù)據(jù)，使用算法能力結(jié)合專家經(jīng)驗構(gòu)建智能診斷模型，對接入的告警數(shù)據(jù)識別疑似故障場景，在場景內(nèi)部對告警數(shù)據(jù)進行分層分類，標簽化處理，對故障發(fā)生時的海量告警進行標簽化展示，結(jié)合專家經(jīng)驗推薦故障根因，降低故障發(fā)生時告警噪音，提高故障排查效率。
動態(tài)基線標簽分析流程，是整個解決方案實施驗證的過程中，根據(jù)動態(tài)基線效果不斷總結(jié)優(yōu)化出來根據(jù)指標基線分類的結(jié)果使用不同的檢測方式，應用不同類的算法套餐，以及根據(jù)分類的結(jié)果調(diào)整對應的告警策略。應用該分析流程主要解決大量指標數(shù)據(jù)不同的數(shù)據(jù)質(zhì)量，不同的形態(tài)，以及指標數(shù)據(jù)中包含不同的業(yè)務屬性帶來人工無法精細化維護的問題，通過不同角度的分類，如數(shù)據(jù)飽和度，數(shù)據(jù)的高低頻，指標數(shù)據(jù)業(yè)務時間段，周期波動情況對大批量的指標數(shù)據(jù)進行分類聚合，人工再對動態(tài)基線分類后的結(jié)果分批治理，大大提高動態(tài)基線調(diào)優(yōu)分析的效率。
多指標異常檢測（Composite Alerting），智能預警與根因診斷平臺簡稱組合告警是指將多個單指標告警信息進行整合和關(guān)聯(lián)，以便更準確地識別和響應復雜系統(tǒng)中的問題。在本方案中，這種方法的創(chuàng)新點主要體現(xiàn)在以下幾個方面：
綜合視角：組合告警不僅僅是將多個指標簡單疊加，而是通過分析不同指標之間的關(guān)系（如業(yè)務指標與基礎架構(gòu)指標），提供更全面的系統(tǒng)健康視圖。
相關(guān)性分析：使用統(tǒng)計方法或機器學習技術(shù)來識別不同指標之間的相關(guān)性，從而提高告警的準確性和相關(guān)性。
因果推斷：通過分析告警之間的時間序列關(guān)系和依賴性，幫助確定導致多個指標異常的根本原因。
影響分析：評估一個告警事件對其他系統(tǒng)和指標的可能影響，從而提供更深入的故障分析和決策支持。
自適應調(diào)整：根據(jù)系統(tǒng)的實時表現(xiàn)和歷史學習，動態(tài)調(diào)整告警的閾值和基線，以適應系統(tǒng)的變化和提高告警的適應性。
預測性告警：利用歷史數(shù)據(jù)和趨勢分析，預測未來的告警事件，實現(xiàn)主動式維護和風險管理。
在故障發(fā)生時產(chǎn)生大量的告警時，診斷工具可以在算法層面識別新奇告警，周期性告警，高發(fā)告警，以及對告警進行標簽化整理聚類，將大量繁雜的告警進行標簽化降維，同時結(jié)合持續(xù)學習的專家經(jīng)驗庫推薦故障的根因告警。
新奇告警捕捉：利用孤立森林算法或其他先進的異常檢測技術(shù)，模型能夠識別不符合已知行為模式的告警，即新奇告警，這些告警可能指示系統(tǒng)中的未知問題或潛在的故障點。
周期性告警預測：通過時間序列分析，模型能夠識別告警的周期性模式，并預測其可能出現(xiàn)的頻率和時間點，從而實現(xiàn)預測性維護，減少系統(tǒng)故障對業(yè)務的影響。
告警優(yōu)先級評估：基于告警的嚴重性、影響范圍和緊急程度，模型能夠為告警分配優(yōu)先級，確保關(guān)鍵告警能夠得到及時處理。
多維特征提?。簭母婢瘮?shù)據(jù)中提取多維特征，如告警級別、發(fā)生時間、發(fā)生頻率等，用于告警的標簽化。這有助于運維人員更準確地理解告警信息，提高故障處理的效率。
聚類分析：使用聚類算法，如K-means或DBSCAN，對告警進行聚類，將相似的告警歸為一類，簡化告警管理。這有助于運維人員更高效地處理告警，降低故障對業(yè)務的影響。
專家經(jīng)驗融合：將專家的經(jīng)驗和知識融入模型，提高故障診斷的準確性和可靠性。專家經(jīng)驗庫中存儲了專家對故障的判斷和解決方案，這些經(jīng)驗可以幫助模型更準確地推薦故障的根因。
持續(xù)學習：模型能夠不斷學習專家的經(jīng)驗和反饋，持續(xù)優(yōu)化故障診斷的能力。通過學習專家的經(jīng)驗，模型可以不斷提高其診斷的準確性和可靠性。
本方案主要分兩大模塊進行功能實現(xiàn)，模塊一主要是針對我行各個業(yè)務系統(tǒng)的交易數(shù)據(jù)(交易量，響應時間，成功率，響應率，錯誤碼)，以及基礎架構(gòu)運行數(shù)據(jù)(中間件、數(shù)據(jù)庫、日志以及性能指標)進行統(tǒng)計的采集分析，以算法學習歷史數(shù)據(jù)以及業(yè)務規(guī)律的基礎上訓練預測模型，并輔助人工專家經(jīng)驗，實時監(jiān)控系統(tǒng)的健康狀況。充分利用不同維度數(shù)據(jù)之間關(guān)聯(lián)關(guān)系，有效做到事前的故障發(fā)現(xiàn)，以及系統(tǒng)運行期間的風險隱患排查。模塊二主要針對的是我行系統(tǒng)運行期間產(chǎn)生的告警數(shù)據(jù)(業(yè)務，服務器性能，數(shù)據(jù)庫，中間件以及硬件、環(huán)控告警數(shù)據(jù))輔以專家經(jīng)驗對告警進行分層分類，算法在告警產(chǎn)生時間段內(nèi)，實時進行場景預測，聚合疑似故障場景的告警數(shù)據(jù)，并在相對應的場景中推薦最可能的故障根因，達到事中故障根因的推斷，大幅降低排障時間，優(yōu)化運維效率。
方案的整體架構(gòu)共分為四層：數(shù)據(jù)處理層，智能分析層，功能引擎層，綜合展示層，統(tǒng)一查詢引擎層四個層級組成，各功能層級規(guī)劃如下：
四大層級都可支持橫向擴展，提升每個模塊的吞吐量以及處理能力，同時每個模塊內(nèi)部都是多點分布式部署，保證了系統(tǒng)高可用以及數(shù)據(jù)安全。
平臺在物理部署時充分考慮了架構(gòu)的先進性，避免了重復建設以保護客戶的已有投資，平臺中需要的Hadoop、Kafka以及ZK集群都支持用戶版本需求，其他節(jié)點均支持分布式部署，可以非常容易的調(diào)整節(jié)點數(shù)量，為后期平臺的自動智能擴容提供了基礎，整體物理架構(gòu)如下：
1.動態(tài)基線標簽分類：動態(tài)基線標簽分類是使用統(tǒng)計方式結(jié)合算法能力對動態(tài)基線監(jiān)控對象進行標簽分類，從功能上它首要功能篩選出哪些適合做異常檢測的動態(tài)基線檢測的對象，其次在篩選出適合異常檢測的對象中我們進一步從監(jiān)控對象的是否具有業(yè)務屬性，算法識別周期情況，波動情況等維度進行細分，通過這些特征調(diào)整其對應的算法套餐，以及告警策略。下圖是方案中具體的標簽分類思路:
2.組合告警：組合告警（Composite Alerting），它涉及將多個單獨的監(jiān)控指標或告警條件結(jié)合起來，以形成一個綜合的告警。這種策略的目的是通過分析多個相關(guān)指標之間的關(guān)系，來提高檢測問題的準確性和效率。
在復雜的系統(tǒng)環(huán)境中，單一指標的異常可能不足以全面反映系統(tǒng)或服務的健康狀況。例如，一個服務的響應時間增加可能是由多種因素共同作用的結(jié)果，如數(shù)據(jù)庫查詢緩慢、網(wǎng)絡延遲或服務器負載過重。通過組合告警，可以同時考慮這些不同的指標，當它們共同表明存在問題時，才觸發(fā)告警。
?、贉p少誤報：通過綜合考慮多個指標，可以減少由于單一指標偶然波動而導致的誤報。
?、谔岣咴\斷效率：組合告警可以提供更全面的問題視圖，幫助運維團隊更快地定位問題的根本原因。
③優(yōu)化響應：通過關(guān)聯(lián)分析，運維團隊能夠更準確地評估問題的嚴重性和緊迫性，從而做出更有效的響應。
3.實時診斷：方案中的實時診斷（Real-time Diagnostics）是指一套成熟的算法能力在結(jié)合專家經(jīng)驗，在故障發(fā)生時產(chǎn)生大量的告警時，診斷工具可以在算法層面識別新奇告警，周期性告警，高發(fā)告警，以及對告警進行標簽化整理聚類，將大量繁雜的告警進行標簽化降維，同時結(jié)合持續(xù)學習的專家經(jīng)驗庫推薦故障的根因告警，實現(xiàn)對IT系統(tǒng)、服務和應用程序的實時監(jiān)控、故障檢測和根本原因分析。
4.數(shù)據(jù)分析中心：針對方案運營的海量數(shù)據(jù)，例如指標原始數(shù)據(jù)，基線運行數(shù)據(jù)，告警數(shù)據(jù)，診斷場景數(shù)據(jù)，原始的人工分析數(shù)據(jù)必將滿足不了現(xiàn)有的海量數(shù)據(jù)，方案提供數(shù)據(jù)分析中心，可定制化對數(shù)據(jù)展示進行編排可視化分析，同時對于高階用戶提供簡單腳本，sql查詢能力對數(shù)據(jù)進行標簽化處理，用戶可對編排，標簽化處理后的數(shù)據(jù)進行綜合分析，針對分析數(shù)據(jù)優(yōu)化平臺算法能力，告警策略配置，以及專家經(jīng)驗庫。
通過動態(tài)基線檢測技術(shù)，方案能夠?qū)崟r監(jiān)控和分析系統(tǒng)行為，自動學習和適應系統(tǒng)的正常行為模式，從而在系統(tǒng)行為出現(xiàn)異常時迅速感知并觸發(fā)告警。結(jié)合多指標異常檢測算法，方案能夠跨域關(guān)聯(lián)不同指標，通過智能聚合和根本原因分析，提高故障檢測的準確性和響應速度。
實時診斷功能進一步強化了故障感知能力，通過算法和專家經(jīng)驗的結(jié)合，快速識別新奇告警和周期性告警，實現(xiàn)對IT系統(tǒng)、服務和應用程序的實時監(jiān)控和故障檢測。
動態(tài)基線告警：系統(tǒng)通過動態(tài)基線告警功能，能夠在系統(tǒng)性能指標偏離正常范圍時發(fā)出警報，即使這些異常并未達到系統(tǒng)崩潰的邊緣。這種早期的告警可以幫助客戶及時發(fā)現(xiàn)潛在的風險隱患，如參數(shù)配置不合理或代碼邏輯需要優(yōu)化等問題。
結(jié)合專家經(jīng)驗庫，方案能夠推薦故障的根因告警，通過專家的經(jīng)驗和知識，提高故障診斷的準確性和可靠性。
持續(xù)學習機制使得模型能夠不斷學習專家的經(jīng)驗和反饋，優(yōu)化故障診斷能力，實現(xiàn)更準確的故障根因推薦。通過統(tǒng)一查詢功能，運維人員及相關(guān)使用人員可以方便地訪問和檢索相關(guān)的告警和診斷數(shù)據(jù)，進一步分析故障場景，加速故障排查過程。
實施解決方案的過程中，我們遇到了一些關(guān)鍵挑戰(zhàn)，特別是在動態(tài)基線數(shù)據(jù)接入檢測方面。這些挑戰(zhàn)包括監(jiān)控對象繁雜、數(shù)據(jù)飽和度不足以及檢測效果未知等。針對這些問題，我們不斷探索和改進，最終形成了一套規(guī)范的動態(tài)基線數(shù)據(jù)接入流程。首先，監(jiān)控對象繁雜是我們在數(shù)據(jù)接入過程中面臨的主要難點之一。行內(nèi)系統(tǒng)涉及的業(yè)務模塊和技術(shù)組件繁多，每個組件都可能產(chǎn)生大量的監(jiān)控數(shù)據(jù)。因此，我們需要在這些復雜的監(jiān)控對象中確定關(guān)鍵的指標進行異常檢測，以確保我們能夠及時發(fā)現(xiàn)系統(tǒng)異常。其次，數(shù)據(jù)飽和度不足也是我們在動態(tài)基線數(shù)據(jù)接入過程中遇到的挑戰(zhàn)之一。由于數(shù)據(jù)的稀疏性或者不完整性，我們無法準確地建立起系統(tǒng)的基準行為模式，從而導致動態(tài)基線檢測的效果不佳。為了應對這些挑戰(zhàn)，我們制定了一套動態(tài)基線數(shù)據(jù)解析接入的規(guī)范流程。我們對監(jiān)控對象進行了標簽化處理，將復雜的監(jiān)控對象進行分類和整理，以便更好地管理和分析。然后，我們對基線進行了初步運行，通過模擬數(shù)據(jù)來驗證基線的有效性和準確性。接著，我們對模擬數(shù)據(jù)進行了告警分析，驗證了動態(tài)基線檢測的效果。最后，我們才將動態(tài)基線檢測正式應用于實際生產(chǎn)環(huán)境中，確保系統(tǒng)的穩(wěn)定性和可靠性。
動態(tài)基線檢測技術(shù)使系統(tǒng)能夠?qū)崟r適應環(huán)境的變化，自動學習正常行為模式，及時感知異常。而多指標異常檢測通過跨域指標關(guān)聯(lián)和智能聚合，提升了告警的準確性，減少了誤報。這些技術(shù)的結(jié)合，不僅提高了故障感知能力，還優(yōu)化了運維人員的工作效率。
在故障診斷過程中，專家經(jīng)驗與智能算法的結(jié)合是關(guān)鍵。通過持續(xù)學習專家的經(jīng)驗，診斷模型能夠不斷優(yōu)化，準確識別新奇和周期性告警，推薦最可能的故障根因。這種專家經(jīng)驗庫的應用，提高了故障診斷的可靠性，幫助運維人員迅速聚焦于關(guān)鍵告警，減少了故障排查時間。
通過上述經(jīng)驗的總結(jié)，我們認識到，智能預警與根因診斷解決方案的成功實施，依賴于數(shù)據(jù)的全面整合、智能算法的創(chuàng)新應用、專家經(jīng)驗的持續(xù)融合以及系統(tǒng)架構(gòu)的高效設計。未來，我們將繼續(xù)優(yōu)化和完善這些技術(shù)和方法，為金融機構(gòu)提供更智能、更可靠的運維支持體系。
更多金融科技案例和金融數(shù)據(jù)智能優(yōu)秀解決方案，請在數(shù)字金融創(chuàng)新知識服務平臺-金科創(chuàng)新社案例庫、選型庫查看。彩神v
