浩鯨云計算科技股份有限公司 版權所有 2003-2023
News
News
資源元數據是通信行業資源管理業務開展的基礎性支撐要素,它定義了資源業務領域相關概念、關系和規則,即各種設施、纜線、設備、鏈路等網絡資源的規格、屬性、字典及相關存儲模型等信息。高質量的元數據是提升業務效率、加強管理與分析能力的必要條件,構建資源元數據數據體系是提升資源數據質量的關鍵基礎性工作。
運營商在多年的業務發展過程中,對資源域元數據的管理和使用逐步累積以下問題:
標準不一,體系松散 抽象歸納不足,對資源規格的劃分定義不一,規格粒度大小不均 規格、屬性的業務定義不精確,含義相似相近現象存在 對比行業規范存在一定程度的差異 匯聚機制不足,不利于健全完善元數據 元數據隨項目落地后日漸失聯,形成信息孤島 元數據存在獨立演進情況,缺乏收斂匯聚,產品元數據全面性難以保障 分析能力不強,問題難發現 缺少元數據分析能力,對元數據中數據關系缺乏可視化探查手段,數據不透明 缺少質量稽核手段,元數據配置信息異常易造成業務功能出問題 價值挖掘乏力,數據變現難 除定義業務數據的基本用法之外,元數據在業務功能、數據服務、數據質量、數據遷移等方面的使用價值還有待深挖 一套基礎穩定、體系完善、數據準確的元數據,是業務系統穩定運行的前提,對元數據的治理是一項常態化任務。 本文將從以下四個方面介紹資源域元數據的管理思路。 1 構建元數據體系,有脈可循 構建標準的資源元數據體系,將把運營商的網絡資源數據全面變成數字資產,通過對資源數據的使用、加工與分析,為業務的經營與發展提供支撐,確保運營商的數據資產發揮其業務價值。 以行業規范為基礎框架,結合已有元數據,以統一業務定義、統一物理模型、統一信息項為目標進行標準化整理,形成資源元數據標準體系。 元數據體系構建過程 元數據體系中規格的梳理:從點、線、網、標識做頂層抽象,逐級分解定義業務對象的大類、細類、規格體系,將運營商網絡資源納入體系中具體位置,覆蓋所有資源應用需求。 元數據體系中業務屬性的梳理:梳理各類業務屬性的標準術語,比如設備名稱、設備編碼、安置地點、設備容量、設備型號等,對這些業務術語進行目錄化、標準化。并將業務屬性映射至對應物理庫表字段,包括字段名稱、字段編碼、字段取值范圍、是否主鍵、是否唯一、是否非空等。 元數據體系中模型的梳理:運用大類建模思路,保持大類主表的穩定,通過繼承大類加擴展表的方式實現靈活擴展。使用主表+擴展表+縱表,通過元數據封裝實現業務對象的存儲,規格間的關系集中在大類的主表上,確保模型收斂性和擴展性的平衡。 元數據體系(大類-細類-規格-屬性) 產品元數據體系,從規格、屬性等層面,兼顧共性與個性需求,實現并存管理。規格層面有標準(規范)規格、產品(擴展)規格、(項目)私有規格;屬性層面,又區分標準屬性、產品屬性、項目私有屬性。建立形成以行業標準為核心,產品可擴展的穩健元數據體系(大類-細類-規格-屬性)。 大類:以點、線、網、標識作為頂層,根據幾何形態和功能作為大類劃分的依據,形成網絡資源的大類實體。 細類:根據功能和特性,對大類進一步穩定劃分,用于目錄化的管理業務對象,提升管理效率,降低管理難度。 頂層實體 大類實體 細類實體 點 設施 可管理空間的端點設施、端點設施、非支撐端點設施、可管理空間的設施劃分空間等 點 設備 電連接設備、光連接設備、PDH、SDH、ASON、波分、OTN、IPRAN、IP、5G核心網、4G核心網、IMS、PON、L網無線設備、5G無線設備、動環設備等 點 硬件 架、框、槽道、板卡、模塊、U位、卡、軟件等 點 端口/端子 連接端子、傳送層基礎端口、傳送層劃分端口、會話層/表示層端口、動力端子等 線 纜線 通信纜段、通信原子線、接續原子線、動力纜段、動力原子線、纜線集合等 線 設施段 支撐段、支撐通道等 線 鏈路 媒介層原子鏈路、媒介層長鏈路、協議層原子鏈路、協議層長鏈路、劃分鏈路等 網 網 支撐網、光電纜網、通信系統、虛擬網、動環系統等 標識 碼號 用于標識設施點、用于標識設備、用于標識硬件、用于標識端口端子等 元數據大類-細類劃分 規格:具體業務對象,表述業務具體特征的內容,根據歸屬細類進行體系化管理。在規格的定義過程中,除去行業規范已有的標準規格之外,產品根據需求,在大類-細類的體系框架內,擴展補充相關業務對象的規格定義,滿足生產管理的需要。 屬性:業務對象的業務屬性。分為三類:標準屬性、產品屬性、私有屬性,標準屬性是符合行業規范的屬性,產品屬性是不屬于行業規范但又具備一定通用性的屬性,私有屬性則屬于某個項目所私有,這些業務屬性將按屬性分類和性質分別存于不同的表(主表、擴展表、縱表)。 2 匯聚完善元數據,聚沙成塔 作為行業核心數據的資源域元數據分散于各生產系統中,需要將分散的元數據采集清洗融合完成匯聚,不斷完善產品元數據核心資產。 匯聚完善元數據過程 采集:從不同數據源中獲取已有元數據,包括規格、屬性、字典值等數據; 清洗:分析采集的元數據,根據一些業務原則(是否在用、是否合理、是否退網等)對規格、屬性、字典值等進行判斷,清洗采集來的元數據,元數據去偽存精,剔除無效\無用數據; 融合:根據元數據的劃分定義原則,對清洗之后的規格、屬性等數據進行分析融合,包括識別同類規格進行歸并,識別定義不合理的規格重新定義,識別相近含義的屬性進行統一定義,對相近含義的字典類型和字典值合并統一等; 匯聚:通過不斷的匯聚過程,實現元數據的完備性、全面性,最終形成產品統一全面的元數據體系。 3 元數據管理分析,明察秋毫 正如開篇所述,高質量的元數據是提升業務效率、加強管理與分析能力的必要條件。通過對元數據進行統一管理,元數據資產的可視化,數據關系的分析等手段,使產品元數據不斷得以提升和保障。 元數據管理分析 資產視圖,一覽數據全貌 元數據資產視圖從宏觀層面組織信息,力求以管理視角對信息資產進行綜合,全局展現資產的宏觀信息,有效挖掘信息的潛在價值。 資產視圖展現產品、各項目的元數據概覽情況: 數據總體概覽:展示產品、項目落地的規格數量、屬性數量、重點規格引用情況;展示規格的分類占比情況,包括標準規格占比、產品規格占比、私有規格占比信息; 配置橫向分析結果:對項目落地的規格、屬性跟產品元數據的橫向比較結果展示,展示規格屬性的配置一致性情況; 數據質量評價:根據元數據稽核正常數、標準規格使用率、標準屬性使用率等信息,對元數據情況進行定性評價,發現元數據配置的短板問題和優化內容,推進元數據整體質量提升。 血緣分析,探查數據關系 血緣分析可以讓使用者根據需要了解元數據間的關系,每種關系的具體內容,產生什么樣的輸出。從某一資源規格出發,深入追蹤其元數據的幾種內在關系: 分析規格與項目的引用關系,掌握規格被各項目的使用情況、與產品對比分析項目中規格屬性的配置差異性; 分析規格與規格的關系,發現規格間關系的缺失情況,識別元數據中的關系引用高頻次規格; 分析規格屬性與業務標簽、API的引用關系,挖掘屬性和API的關聯情況,判斷屬性對業務邏輯的影響程度,為屬性配置調整提供重要參考。 質量管理,提升數據準確性 元數據的本質決定了其質量影響范圍較大,元數據的業務類、技術類配置信息項較多,而且不少信息項都是關鍵性配置信息,這些信息要么影響實例數據質量、要么影響系統功能邏輯,通過數據稽核手段,及時發現問題,保障相關元數據配置的準確性。 元數據稽核是對元數據本身合法性等方面檢查的過程,通過稽核規則和執行稽核來實現對數據屬性、數據屬性關系、數據表關系的檢查。 通過元數據稽核規則發現元數據配置問題,并提供清晰的異常修復提示,方便管理人員通過管理能力快速修復元數據問題。 場景 稽核規則(部分) 規格對象稽核 規格未配置關鍵字屬性 規格配置多個關鍵字屬性 規格的多選表和縱表配置,存在未配置字段的情況 ...... 屬性配置稽核 屬性字段和業務表模型的字段名是否一致 屬性字段類型和業務表模型的字段類型是否一致 屬性字段長度和業務表模型的字段長度是否一致 ...... 元數據稽核規則示例 4 元數據價值體現,“數”盡其用 穩健統一的元數據體系,有利于平臺服務層、核心數據層的統一,在此基礎上形成統一版本的生產系統,支撐上層規建營維優的應用建設。此處將探討一些高質量元數據的使用價值,在實際的應用過程相信能夠發現更多的可能性。 基礎功能元數據驅動 資源的基礎維護功能(查詢、新增、修改等)可基于元數據驅動快速實現。規格屬性是需要界面的控件展現,屬性的UI形態各不一樣,有文本框、下拉框、日期框、大文本框等各種不一樣的輸入元素,通過引用HandleBars語義模板庫,可根據配置數據生成前端view來快速生成某業務對象管理界面的web模板,將這一整套實現機制封裝形成產品的屬性組件、查詢組件等基礎能力,通過屬性、查詢等基礎組件利用元數據配置簡化業務功能的開發。 元數據驅動生成基礎功能 從需求到功能的轉換,則只需兩步:首先分析需求并整理元數據,通過元數據管理能力進行配置;然后業務側應用通過組件加載配置數據,自動生成查詢、增加、修改的功能界面。擺脫硬代碼實現的傳統模式,使業務對象的基礎管理功能能夠靈活快速實現。 數據服務元數據驅動 基于資源數據的能力共享要求,需要提供統一標準對外的數據服務和業務服務能力。以元數據驅動,通過配置手段可快速提供面向資源規格的CRUD基礎數據服務。 數據服務的定義,數據服務中所需的各實體規格的屬性選擇,確定數據服務的入參、出參、關聯條件所需的屬性。 數據服務涉及的規格屬性選擇 數據服務中邏輯的組裝,對數據服務中的關聯條件,進行設置: 建立規格間屬性的關聯關系,對關聯條件定義外關聯等約束。如下圖①、②所示,將規格A的屬性A與規格C的屬性A建立“=”的關聯關系,形成條件1;對③、④兩個屬性進行組裝,形成條件2;根據邏輯要求,可繼續形成關聯條件N; 后續再對條件1、條件2、條件N根據數據服務的邏輯需要進行條件間關系(與、或等組合)的進一步組裝; 組裝的條件最終都會根據元數據屬性存儲配置翻譯為數據庫層面表字段的關聯。 數據服務的條件組裝 通過元數據驅動生成數據服務,根據業務需求配置相關的資源規格和業務屬性的關系,降低數據服務的開發難度,數據服務的標準化也容易得以保障。