針對吉林油田上述實際需求，美創科(kē)技(jì )通過自主研發的數據支撐平台實現數據清洗、轉換、同步和加載工(gōng)作(zuò)。該平台通過對業務(wù)系統數據進行标準化，向數據倉庫或大數據平台提供高質(zhì)量數據，支持異構數據遷移、基于數據庫日志(zhì)的數據實時複制、ETL開發、分(fēn)布式處理(lǐ)等功能(néng)。具(jù)體(tǐ)如下：
數據清洗人物(wù)配置管理(lǐ)模塊
清洗模塊是整個清洗工(gōng)具(jù)的控制中(zhōng)心，實現清洗數據源的連接信息、清洗表的設置，并且記錄清洗信息。
清洗規則管理(lǐ)模塊
包含各類清洗算法的運行參數、數據質(zhì)量指标等，如重複記錄清洗算法的阈值、異常值檢測的标準、基于業務(wù)規則的清洗算法的業務(wù)邏輯等。
清洗算法管理(lǐ)模塊
對重複數據檢測算法、不完整數據檢測算法和字段匹配算法、異常值檢測算法等進行靈活定義和配置。
擴展模塊管理(lǐ)
通過擴展模塊允許向數據清洗工(gōng)具(jù)中(zhōng)加入完全定制化的清洗方法和流程，負責将編譯好的擴展清洗方法及描述信息保存到擴展模塊配置中(zhōng)，清洗任務(wù)可(kě)以靈活的選擇相應的擴展清洗方法。
清洗日志(zhì)管理(lǐ)
實現清洗動作(zuò)的可(kě)追溯性，清洗任務(wù)會自動保存到清洗日志(zhì)表中(zhōng)，不能(néng)自動清洗的為(wèi)異常。通過清洗日志(zhì)管理(lǐ)模塊可(kě)以對清洗任務(wù)進行查詢，并對異常數據進行手工(gōng)處理(lǐ)。
算法和規則配置管理(lǐ)
通過選擇不同的清洗方法和規則實現數據清洗的需求。算法庫管理(lǐ)：通過配置管理(lǐ)界面，将已實現算法編譯後的類加載到算法庫，并在算法庫中(zhōng)維護算法的描述信息便于以後的配置管理(lǐ)；規則庫管理(lǐ)：工(gōng)具(jù)中(zhōng)的清洗規則都維護在系統規則表中(zhōng)，将規則代碼和規則相對應管理(lǐ)。
擴展清洗模塊
增強數據清洗工(gōng)具(jù)和數據類型的靈活性，在滿足擴展模塊接口的前提下，定制數據清洗流程進行數據清洗工(gōng)作(zuò)。
安(ān)全測評
系統上線(xiàn)前開展代碼安(ān)全測評，并出具(jù)第三方測評機構出具(jù)評測報告。
浙公(gōng)網安(ān)備 33010502006954号 
