商業智能在供水企業的應用——澳門自來水

商業智能在供水企業的應用——澳門自來水

1、概述：

隨著計算機網絡與數據庫技術的廣泛應用，供水企業普遍建立了供水運營、客戶服務、水質檢測等多種業務信息系統，然而，逐步實現了生產運營的信息化和業務數據的電子化，同時也產生和積累了大量的歷史業務數據。面對瞬息萬變的業務環境，企業的經營管理人員迫切需要的并不是大量繁瑣的業務數據，而是隱藏在這些業務數據背后的統計分析信息和決策支持信息。如何實現從業務型數據到分析型信息的轉化，是在供水企業中普遍存在，并長期困擾管理人員和技術人員的難題。

近年來，隨著資訊科技的發展和信息需求的膨脹，商業智能（Business Intelligence，Bl）技術應運而生。BI技術融合了現代數據倉庫技術、在線分析技術、數據挖掘和數據呈現技術、能夠對企業現有的數據進行提取、合并和轉化，從而對其進行分析和處理。BI技術為供水企業突破數據分析瓶頸提供了一個良好的契機和可行的方向。

澳門自來水于2011年開始了對BI引技的研究和試驗，在改善敷據利用方式、加強數據分析效果等方面做出了一系列的探索和努力。我們設計了一套基于BI技術、貫穿數據整合、采集、分析、呈現等多個流程的解決方案，并于2012年投入了實際應用，取得了初步的成果。

2、背景分析

澳門自來水經歷了多年的信息化建設，累積了大量零散的歷史數據。這些歷史數據來自各個不同的業務系統，分散存儲在各個數據庫和數據文件中。長期以來，數據的統計分析工作主要在Excel中以手工方式完成。從信息資源組織和利用的角度來看，這樣的數據處理方式存在以下一些問題：

（1）數據具有不同的數據結構和格式，無法交叉分析和全局比較。

（2）統計分析主要依靠手工進行，消耗較多人力，也容易出錯。

（3）手工統計週期比較漫長，影響了統計的時效性。

（4）手工報表缺少系統性和科學性，分析角度比較單一。

（5）決策人員需要查看形式內容各異的多種報表，增加讀表負檐，降低決策效率。

（6）決策人員無法自由操作分析參數，難以展開二次分析，決策輔助效果不理想。

（7）難以從日常業務數據中發掘出潛在的分析型信息，浪費企業現有信息資源。

（8）決策者缺少有效的數據支持，導致決策缺乏科學依據，容易形成盲目或隨意的決策。

3、BI解決方案

為了解決現有數據處理方式中存在的問題，我們提出了一套基于BI技術的數據分析解決方案。

3.1方案目標

澳門自來水BI解決方案主要實現以下幾個目標：

（1）整合業務數據：采集散落于不同部門和不同系統的業務數據，并對數據進行統一的清理和整合，令原本零散的數據具備有序的組織結構，最終將所有數據合并到一個統一的數據集合中，形成企業數據的全局視圖。

（2）數據分析與決策支持：在企業級數據集合的基礎上，利用合適的查詢、統計和分析工具對數據進行分析，將業務數據轉化為全面、系統的分析型信息。為決策者提供一個發現間題、分析問題、建立模型、凝定方案的輔助環境，提高決策水平和質量。

（3）開放訪問與資源共享：利用網絡環境，向用戶提供一個開放、便捷的網絡訪間平臺。數據將以共享資源的形式在網絡上發布，并提供并發式的共享服務。用戶只要身處網絡中，便可利用各種終端設備，包括桌面電腦和移動設備，對數據進行訪間。

3.2設計原則

在澳門自來水BI解決方案的設計過程中，我們遵循以下原則：

（1）面向決策原則：面向公司內部的中，高級管理和決策人員，為決策提供服務。

（2）非侵入性原則：在數據采集的過程中，減少對業務系統的侵擾，避免影響業務系統的日常運作。

（3）即時性原則：在數據采集和整合過程中，縮短時間差，保證數據即時性。

（4）準確性原則：在數據轉化過程中，維持基礎數據的準確性。

（5）易用性原則：界面盡量簡潔，提供交互式操作，提高整體友好度。

（6）網絡化原則：以網絡服務器的形式提供服務，并注重對移動設備的支持。

3.3系統架構

澳門自來水BI解決方案的系統架構如圖1所示：

圖1系統架構

系統主要由五個部分組成：

（1）數據源：包括數據庫和數據文件，是系統采集業務數據的場所。

（2）數據倉庫：綜合性的企業數據集合，負責存儲和管理數據。

（3）數據分析服務器：對數據進行查詢和分析，生成各類報表。

（4）網絡服務器：接收用戶的分析請求，并將分析結果發布到網絡環境。

（5）用戶終端：包括電腦終端與移動設備（例如平板電腦、智能手機）。以各種形式呈現數據分析結果與用戶互動。

3.4系統流程

澳門自來水BI解決方案的系統流程主要包括以下幾步：

（1）採集數據：從業務系統中提取業務數據，進行初步的過濾和清理。

（2）整合數據：將業務數據進行轉化和重組，裝載到統一的數據集合。

（3）分析數據：按照用戶需求，從數據集合中查詢相關數據，進行統計分析。

（4）制作報表：利用表格或圖形模版，將分析結果以各種形式呈現給用戶，并可與用戶實現互動。

3.5 技術平臺基于穩定性、靈活性、可維護性、可擴展性等多方面綜合考量，我們選擇了以下技術平臺：

4、系統實施

澳門自來水BI解決方案于2011年9月設計成形，經過6個月的系統實施，于2012年3月開始上線運行。

整個實施過程包括了數據採集、數據整合、數據分析、報表呈現等多個功能模塊的開發和集成。

4.1 數據採集數據採集模塊負責提取來自不同部門、不同系統的業務數據。目前，BI系統主要採集了以下業務數據：

表2數據采集

4.2數據整合

數據整合模塊通過ETL技術實現（ETL: Extraction-Transformation-Loading，數據提取、轉換和加載）。

目前我們選擇了基于Java的ETL工具Talend，利用Talend的Eclipse插件進行配置與開發，實現了以下功能：

? 創建數據源，從關係數據庫和數據文件中提取數據。

? 根據需求對數據源進行過濾。

? 校對數據、轉換數據格式。

? 創建目標數據庫，將整理后的數據加載至目標數據庫。

? 設定ETL任務排程，設定ETL錯誤處理機制。

經過ETL過程對業務數據的提取、轉換和加載，數據不再分散，成為了一個統一有序的數據集合。

（1）日供水情況報表（圖3）

以曲線圖表現不同區域一日24小時的供水情況走勢。

以餅圖表現當日各水廠的供水比例，以及不同地區的用水比例。

圖3日供水情況報表

以曲線圖表現不同區域一日24小時的供水變化，并與去年同日作比較；自動計算出差值，以列表形式顯示在下方。

圖4日供水對比報表

（3）年供水對比報表以分組網格的形式對比歷年同期的供水情況，包括總供水量、日平均量、以及變化百分比等等。

（4）管網壓力趨勢報表（圖5）以曲線圖表現當日的管網壓力情況，并可觀察到過去三十天的整體趨勢。

圖5管網壓力趨勢報表

（5）原水指標報表（圖6）

以分組網格的形式顯示一日24小時各大水庫的原水指標，包括水位、咸度、濁度、開泵臺數等等。

圖6原水指標報表

5、實施效果

系統自2012年3月上線以來，經過一年多的運行，各個功能模塊運行穩定，用戶反饋總體較好。目前，系統運行的初步效果可大致歸納如下：

（1）系統每日自動採集數據3萬條左右。其中Data Logger用水量記錄占主要部分，約2萬條。其他原水、供水量、管網監測數據各有數十至數千條。

（2）系統已提供預設報表13個，主要包括供水營運和客戶服務的數據分析報表。

（3）目前用戶數量約10人，包括公司管理層以及供水營運和客戶服務的管理人員。

（4） 從目前的用戶反饋來看，用戶對系統的功能、界面、性能、擴展性方面都作出了總體滿意的評價。

（5）用戶已開始適應BI系統的數據分析報表，BI正在一定范圍內逐漸取代傳統的Excel文件。

（6）用戶積極提出新的需求，包括添加新數據源、制作新報表、應用新的分析方式等等。

6、未來發展

面對BI技術的不斷發展，結合用戶的具體需求，我們制定了BI系統下一步的發展方向，主要包括：

（1）加強互動操作圖表鑽取：在圖形化報表上自由變換分析粒度。圖表聯動：在同一頁面中顯示多張關聯的圖表，圖表內容同步變化。

（2）優化性能進一步優化查詢分析速度和報表加載速度，不斷適應日益增大的數據量。

（3）自動預警支持定義預警條件，預警條件通過數據分析加以判斷；主動挖掘潛在的預警信號。

（4） 平臺化報表訂閱推送、報表收藏、報表分享等功能。

（5）發展移動應用加強系統對移動設備的支持，發展更多適合移動設備的應用。

7、結語

社會的高速發展和企業競爭環境的變化，為供水企業的信息化建設提出了新的要求。供水企業需要將傳統的數據處理升級為深入的數據分析，將企業現有信息資源轉化為企業未來發展機遇。澳門自來水公司應用商業智能技術，提出了一個可行性較強的數據分析解決方案，在一定程度上實現了對供水企業業務數據的採集、整合、分析與呈現，取得了初步的效果。當然，這一新方案的設計和應用還處于初期，在許多方面還有很大的改進空間。我們期待與深港珠澳供水界各位同仁加強交流與合作，為推

動供水事業的信息化發展作出貢獻。