淺談數據庫在交換網綜合網管告警分析中的應用

申請免費試用、咨詢電話：400-8352-114

摘要：文章主要討論怎樣利用mysql數據庫及數據庫管理工具kettle和navicat，使用sql語言的查詢語法實現對原始告警數據的篩選工作，從而達到減輕日常的告警分析工作量、提高工作效率的目的。 

關鍵詞：交換網  數據庫  sql  1 背景資料  隨著交換網絡的不斷發(fā)展，對現有交換網絡網元監(jiān)控及維護的要求越來越嚴格，需要建成一套處理能力強、功能豐富、傳輸速率高、擴展性強的先進交換網綜合網管系統(tǒng)，實現對交換通信網絡的集中管理、集中監(jiān)控和集中維護。  由于交換網綜合網管監(jiān)控全網所有交換局點，交換機機型的多種多樣性造成交換綜合網管收集交換局點上報的告警復雜多樣。鐵通公司現網程控交換機型主要有三種，分別為：華為機型、中興機型、貝爾機型。每天交換網綜合網管收集交換局點上報告警達到數萬條，交換網綜合網管收集告警多，而且種類也十分繁雜，這是由于交換機的廠家不同，造成同一類別告警在交換綜合網管上呈現的告警級別嚴重程度也不相同，而真正找出那些對交換網業(yè)務有影響的告警，就變得十分困難，這對告警分析工作造成很大的工作量，使告警分析工作的工作效率十分低。為了改變這一現狀需要對所有廠家交換機的告警進行告警標準化。  2 應對措施  告警標準化的含義也就是對廠家告警進行全量梳理，重新定義告警的級別、分類、影響等內容，實現不同廠家專業(yè)告警的統(tǒng)一定義、統(tǒng)一處理要求、統(tǒng)一管理，從而標準化故障管理。標準化告警內容如下表，其中網管告警id是告警唯一標識字段。  3 數據庫應用  經過長期摸索及實踐，為了便于對交換網綜合網管收集的告警進行分析，我們開發(fā)了一套交換網綜合網管告警分析系統(tǒng)。該系統(tǒng)的組成及運作方式如下：  ①采用mysql數據庫進行告警及基礎數據管理。  ②利用kettle以每3小時一次自動抽取24小時內+手工抽取4小時內兩種方式獲得綜合網管系統(tǒng)告警數據庫的告警記錄。  ③以局點、發(fā)生時間及告警描述為關鍵字，用“插入/更新”的方式裝載到分析系統(tǒng)。  ④根據預先制定的關鍵字關聯篩選出重要告警。  ⑤最后再按照局點及告警明細對首次發(fā)生時間、最后恢復時間、累計時長及發(fā)生次數進行歸集呈現。  所謂關系數據庫，是建立在關系模型基礎上的數據庫，借助于集合代數等數學概念和方法來處理數據庫中的數據?，F實世界中的各種實體以及實體之間的各種聯系均用關系模型來表示。關系模型是由埃德加•科德于1970年首先提出的。現如今雖然對此模型有一些批評意見，但它還是數據存儲的傳統(tǒng)標準。標準數據查詢語言sql就是一種基于關系數據庫的語言，這種語言執(zhí)行對關系數據庫中數據的檢索和操作。關系模型由關系數據結構、關系操作集合、關系完整性約束三部分組成。  目前主流關系數據庫中付費的有oracle、informix、ms-sql server、sybase、access等；免費的有mysql、postgresql等。其中oracle被稱為花錢的數據庫中功能最強的；而不花錢的數據庫中postgresql號稱功能最強，但運用最廣泛卻是mysql，而我們的交換網綜合網管告警分析系統(tǒng)是基于mysql數據庫。  mysql數據庫是一個中、小型關系型數據庫管理系統(tǒng)，由瑞典mysql ab公司開發(fā)，目前屬于oracle公司。mysql是一種關聯數據庫管理系統(tǒng)，關聯數據庫將數據保存在不同的表中，而不是將所有數據放在一個大倉庫內，這樣就增加了速度并提高了靈活性。mysql的sql語言是用于訪問數據庫的最常用標準化語言。mysql軟件采用了gpl（gnu通用公共許可證），它分為免費版和商業(yè)版，由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，一般中小型網站的開發(fā)都選擇mysql作為網站數據庫。由于其免費版的性能卓越，搭配php和apache可組成良好的開發(fā)環(huán)境。  與mysql數據庫搭配使用我們選擇的數據庫管理和開發(fā)工具是navicat。navicat為專業(yè)開發(fā)者提供了一套強大的足夠尖端的工具，但它對于新用戶仍然是易于學習。使用了極好的圖形用戶界面（gui），可以讓你用一種安全和更為容易的方式快速和容易地創(chuàng)建、組織、存取和共享信息?；趙indows平臺，為mysql量身訂作，提供類似于mssql的用管理界面工具。此解決方案的出現，將解放php，j2ee等程序員以及數據庫設計者、管理者的大腦，降低開發(fā)成本，為您帶來更高的開發(fā)效率。用戶可完全控制mysql數據庫和顯示不同的管理資料，包括一個多功能的圖形化管理用戶和訪問權限的管理工具，方便將數據從一個數據庫移轉到另一個數據庫中（local to remote、remote to remote、remote to local），進行檔案備份。navicat支援unicode，以及本地或遙距mysql伺服器多連線，用戶可瀏覽數據庫、建立和刪除數據庫、編輯數據、建立或執(zhí)行sql queries、管理用戶權限（安全設定）、將數據庫備份/復原、匯入/匯出數據（支援csv, txt,dbf和xml檔案種類）等。  利用上述數據庫工具我們建立交換網綜合網管告警分析數據庫，在交換網綜合網管告警分析數據庫中建立的第一個數據表為原始告警數據表，此表中的數據來源于交換網綜合網管收集的全網交換機上報的所有原始告警。第二個數據表為告警類型表，該表數據內容是廠家告警標準化的映射數據。  4 原始告警自動采集  交換網綜合網管告警分析系統(tǒng)數據庫數所需據表已經建立完畢，現在接下來說一下交換網綜合網管告警分析系統(tǒng)數據庫的原始告警收集。交換網綜合網管將全網交換機上報的告警進行收集，存放到交換網綜合網管的告警數據庫中，而交換網綜合網管告警分析系統(tǒng)的數據庫與交換網綜合網管的告警數據庫是相互分離的，那它們之間的數據傳遞就存在問題。怎樣將綜合網管數據庫中的告警導入到告警分析系統(tǒng)中呢？可以人工操作，先將交換網綜合網管告警數據庫中的告警導出，再人工將導出的告警數據導入交換網綜合網管告警分析系統(tǒng)數據庫的原始告警表中，這樣告警導入導出的時間又是個問題，操作頻繁會造成人力的浪費，如果一天一次又有可能造成告警發(fā)現延后不能體現告警分析系統(tǒng)的作用，而且人工操作難免出現人為誤操作問題。這時我們利用一款數據庫管理工具kettle（kettle是一款開源的etl工具）。  etl是extraction-transformation-loading的縮寫，中文名稱為數據提取、轉換和加載。etl包含了三方面，首先是“抽取”將數據從各種原始的業(yè)務系統(tǒng)中讀取出來，這是所有工作的前提。其次“轉換”按照預先設計好的規(guī)則將抽取得數據進行轉換，使本來異構的數據格式能統(tǒng)一起來。最后“裝載”將轉換完的數據按計劃增量或全部導入到數據倉庫中。它允許你管理來自不同數據庫的數據，通過提供一個圖形化的用戶環(huán)境來描述你想做什么，而不是你想怎么做。kettle中有兩種腳本文件，transformation和job，transformation完成針對數據的基礎轉換，job則完成整個工作流的控制，我們就是利用這款工具軟件將交換網綜合網管告警數據庫中的告警數據自動抽取、轉換最后傳送到交換網綜合網管告警分析系統(tǒng)數據庫中。  5 告警分析  解決了數據庫建立及數據采集等問題，下一步我們利用sql語言來實現對原始告警數據的篩選工作。交換網綜合網管告警分析系統(tǒng)所需要的所有數據表全部建立，而且數據采集問題也得到了解決，接下來的工作就是怎樣利用這些數據表之間的關系，采用什么手段來實現告警分析工作。告警分析我們要做的就是從上萬的原始告警中找到那些造成業(yè)務中斷或可能會嚴重影響交換網絡的告警，找到告警后，根據告警邏輯分類中告警的位置找到告警的模塊或用戶單元的名稱，以便于我們直觀的找出是哪些地方中斷了，能夠及時處理。為了達到我們告警分析的要求，我們需要用到sql語句中的聯合查詢等語法。  通過sql語句可以對原始告警進行進一步的分析處理，例如一個模塊局一天中斷50次，就會產生50條中告警，如果這種多次中斷的告警很多，對我們的告警分析也會造成一些麻煩，利用sql語句可以將這50條告警合并成一條告警，只記錄該告警的最早發(fā)生時間、最后回復時間、每次告警產生后到恢復總的經歷時長以及告警發(fā)生的總次數，通過這樣處理使告警更加直觀，便于告警的發(fā)現和處理。  交換網綜合網管告警分析主要部分篩選sql語句如下：  select l.ne_name as 局名,min(start_time) as 最早發(fā)生時間,max(end_time) as 最后恢復時間,sec_to_time(sum(time_to_sec(lishi))) as 總歷時, count(*) as 發(fā)生次數,b.rackname as `模塊(機架)名`,b.boards as `模塊(單板)號`, b.boardtypename as 單板類型, l.miaoshu as 描述from alarm_list l,zxj10 b  where b.ne_name = l.ne_name  and b.boards = substring_index(substring_index(miaoshu,’alarminfo=位置:’ ,- 1),’(‘,1)and (miaoshu like ‘alarminfo=%列%’ and miaoshu not like ‘%pcm%’)  and start_time>date_sub(now(),interval a hour)  group by 1,6,7,8,9 order by 1,7,8,2,3。  6 小結  通過利用數據庫來實現交換綜合網管告警分析工作，不僅對原始告警數據進行了有效保存，對以后的分析工作提供了數據保障，而且主要提高工作效率的目的也很好的得以實現，同時該系統(tǒng)有很好的可維護性，對以后交換網綜合網管告警分析系統(tǒng)的改進提供了擴展空間。通過本文可以看出在工作中合理利用數據庫，可以提高我們的工作效率，尤其是數據量很大的分析工作。  參考文獻：  [1]姜承堯.《mysql技術內幕》.機械工業(yè)出版社.2012-4-1.  [2]周峰，張振東，張術強.《sql結構化查詢語言速學寶典》.中國鐵道出版社.2012-1-1.  [3]龔小勇等.《關系數據庫與sql server2005》.機械工業(yè)出版社.2012-1-1.