摘要：隨著物聯(lián)網(wǎng)、大數(shù)據(jù)等IT技術(shù)的快速發(fā)展, 產(chǎn)生了大量多源異構(gòu)的數(shù)據(jù), 但這些數(shù)據(jù)往往是各自為政、孤立存在, 數(shù)據(jù)中蘊(yùn)藏的知識(shí)和價(jià)值不能得到有效釋放。首先分析了工業(yè)大數(shù)據(jù)的現(xiàn)狀和特性, 針對(duì)大數(shù)據(jù)時(shí)代的數(shù)據(jù)應(yīng)用挑戰(zhàn), 提出元數(shù)據(jù)驅(qū)動(dòng)的大數(shù)據(jù)服務(wù)平臺(tái)的體系結(jié)構(gòu), 利用元數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化管理, 并驅(qū)動(dòng)合適粒度的數(shù)據(jù)服務(wù), 實(shí)現(xiàn)大數(shù)據(jù)時(shí)代的數(shù)據(jù)自服務(wù)平臺(tái), 推動(dòng)數(shù)據(jù)共享和價(jià)值釋放。

　　隨著物聯(lián)網(wǎng)、大數(shù)據(jù)等IT技術(shù)的快速發(fā)展, 包括電力企業(yè)在內(nèi)的行業(yè)均產(chǎn)生大量的數(shù)據(jù), 其數(shù)據(jù)儲(chǔ)存也占據(jù)著大量的資源, 依據(jù)相關(guān)數(shù)據(jù)限制, 在未來的發(fā)展中其數(shù)據(jù)總量呈現(xiàn)上升趨勢(shì), 大數(shù)據(jù)時(shí)代屬于一場(chǎng)前所未有的革命。當(dāng)前大數(shù)據(jù)主要應(yīng)用在互聯(lián)網(wǎng)、傳統(tǒng)商業(yè)領(lǐng)域, 主要是開展客戶挖掘、購物行為預(yù)測(cè), 購物需求分析等。在信息時(shí)代下, 工業(yè)化生產(chǎn)逐漸朝著智能化、柔性化的方向發(fā)展。不管是在生產(chǎn)設(shè)備, 或者是感知設(shè)備均屬于數(shù)據(jù)的生產(chǎn)者。依據(jù)相關(guān)資料顯示, 制造行業(yè)內(nèi)的數(shù)據(jù)儲(chǔ)存量明顯高于其他行業(yè)。在2012年其數(shù)據(jù)儲(chǔ)存量已經(jīng)接近于2EB。隨著數(shù)據(jù)儲(chǔ)存量的增長(zhǎng), 其管理難度、數(shù)據(jù)種類也在不斷變化, 呈爆炸式增長(zhǎng)趨勢(shì), 直接導(dǎo)致工業(yè)大數(shù)據(jù)爆發(fā)。德國(guó)的4.0工業(yè)、美國(guó)的工業(yè)互聯(lián)網(wǎng)行業(yè)的深入發(fā)展以及“中國(guó)制造2025”規(guī)劃, 將促使智能化分析與物聯(lián)網(wǎng)實(shí)現(xiàn)密切配合, 以此對(duì)現(xiàn)存的生產(chǎn)方式、管理方式進(jìn)行轉(zhuǎn)變。德國(guó)4.0工業(yè)也提出過“智能工廠”“智能物流”等發(fā)展理念, 在任何一種發(fā)現(xiàn)理念中, 其數(shù)據(jù)屬于底層核心。工業(yè)4.0就是將多源異構(gòu)的數(shù)據(jù)整合并支撐前端智能的過程。無疑, 數(shù)據(jù)將會(huì)滲透到企業(yè)運(yùn)營(yíng)的整個(gè)生命周期, 推動(dòng)制造業(yè)向智能化轉(zhuǎn)型, 意味著工業(yè)大數(shù)據(jù)時(shí)代到來。

　　結(jié)合相關(guān)資料, 工業(yè)大數(shù)據(jù)本身具備采樣性、多樣性的排列順序, 其數(shù)據(jù)還具備混雜性的特點(diǎn)。工業(yè)數(shù)據(jù)主要分為密集數(shù)據(jù)、慢數(shù)據(jù)、快數(shù)據(jù)。通過深入分析發(fā)現(xiàn), 工業(yè)數(shù)據(jù)還具有多源性、廣泛性、動(dòng)態(tài)性的特點(diǎn), 在工業(yè)數(shù)據(jù)的應(yīng)用與管理上存在著較多的問題與挑戰(zhàn)。主要是因?yàn)楣I(yè)數(shù)據(jù)涉及的部門較多, 其涉及的領(lǐng)域也比較廣, 在實(shí)際工作中面臨著數(shù)據(jù)安全、所有權(quán)、質(zhì)量、管理、控制等問題。加之當(dāng)前我國(guó)對(duì)工業(yè)數(shù)據(jù)管理與控制上還未能形成統(tǒng)一的管理制度與管理固定, 在實(shí)際的管理中“信息孤島”現(xiàn)象普遍存在。這就對(duì)工業(yè)產(chǎn)生的海量數(shù)據(jù), 如何進(jìn)行合理管理, 科學(xué)儲(chǔ)存, 以此提升數(shù)據(jù)資源的利用率, 成為當(dāng)前工業(yè)行業(yè)改革的重點(diǎn)問題之一。

　　使用元數(shù)據(jù), 能夠?qū)I(yè)數(shù)據(jù)進(jìn)行目錄化管理, 實(shí)現(xiàn)數(shù)據(jù)服務(wù), 這類技術(shù)能夠彌補(bǔ)傳統(tǒng)數(shù)據(jù)集中中的缺陷, 特別是數(shù)據(jù)集成不完善問題。從而能使工業(yè)大數(shù)據(jù)能得到更好的存儲(chǔ)和共享。

　　一、平臺(tái)體系架構(gòu)

　　多源異構(gòu)的數(shù)據(jù)就像一個(gè)個(gè)信息孤島, 如何集成到統(tǒng)一的數(shù)據(jù)中心并在統(tǒng)一管理下對(duì)外提供數(shù)據(jù)服務(wù)是研究的重點(diǎn)。為了打破數(shù)據(jù)壁壘, 釋放數(shù)據(jù)價(jià)值, 應(yīng)用元數(shù)據(jù)管理技術(shù)建立元數(shù)據(jù)管理平臺(tái), 實(shí)現(xiàn)元數(shù)據(jù)的采集、變更、刪除及檢索, 并在元數(shù)據(jù)的驅(qū)動(dòng)下實(shí)現(xiàn)數(shù)據(jù)的抽取、轉(zhuǎn)換、加載, 結(jié)合數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)模型管理和數(shù)據(jù)質(zhì)量管理, 建立電子化數(shù)據(jù)目錄, 最終實(shí)現(xiàn)統(tǒng)一的對(duì)外數(shù)據(jù)服務(wù)。

圖1 元數(shù)據(jù)驅(qū)動(dòng)的大數(shù)據(jù)服務(wù)平臺(tái)架構(gòu)

　　數(shù)據(jù)中心將來源于設(shè)備狀態(tài)監(jiān)測(cè)、企業(yè)管理信息系統(tǒng)等不同來源、不同特性的數(shù)據(jù)通過統(tǒng)一的ETL過程存儲(chǔ)下來, 并在此過程中實(shí)現(xiàn)元數(shù)據(jù)的采集和稽核, 建立電子化的數(shù)據(jù)目錄并存儲(chǔ)在元數(shù)據(jù)庫中, 同時(shí)在服務(wù)平臺(tái)上建立適當(dāng)粒度的數(shù)據(jù)服務(wù)。外部應(yīng)用可以在元數(shù)據(jù)管理平臺(tái)中檢索元數(shù)據(jù)和數(shù)據(jù)服務(wù), 并構(gòu)成數(shù)據(jù)服務(wù)請(qǐng)求進(jìn)而訪問數(shù)據(jù), 從而實(shí)現(xiàn)應(yīng)用系統(tǒng)以自助式、自主式的方式獲得數(shù)據(jù), 真正意義上打破數(shù)據(jù)壁壘, 實(shí)現(xiàn)工業(yè)大數(shù)據(jù)環(huán)境下的數(shù)據(jù)自服務(wù), 釋放數(shù)據(jù)價(jià)值。

　　二、關(guān)鍵技術(shù)

　　（一）元數(shù)據(jù)管理

　　元數(shù)據(jù)是一種結(jié)構(gòu)化的信息, 用于對(duì)某項(xiàng)信息資源進(jìn)行描述、解釋、定位, 使其易于提取和使用。工業(yè)大數(shù)據(jù)時(shí)代, 如何從海量數(shù)據(jù)中發(fā)現(xiàn)知識(shí)進(jìn)行分析成為難題。為此通過元數(shù)據(jù)管理高效支撐海量數(shù)據(jù)資產(chǎn)的快速識(shí)別定位、高效有序管理和智能便捷應(yīng)用, 使決策者知曉數(shù)據(jù)資產(chǎn)概況, 管理者知曉數(shù)據(jù)資產(chǎn)的健康運(yùn)行狀況, 使用者知曉數(shù)據(jù)資產(chǎn)的來龍去脈。

　　元數(shù)據(jù)包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù)。元數(shù)據(jù)管理以業(yè)務(wù)模型為切入點(diǎn), 以數(shù)據(jù)模型 (特指基于業(yè)務(wù)原始數(shù)據(jù)且未進(jìn)行邏輯加工處理的模型) 為中心, 制定業(yè)務(wù)模型和數(shù)據(jù)模型標(biāo)準(zhǔn), 管理數(shù)據(jù)模型、數(shù)據(jù)應(yīng)用、數(shù)據(jù)集成、數(shù)據(jù)處理、數(shù)據(jù)視圖等對(duì)象元數(shù)據(jù)信息, 監(jiān)控標(biāo)準(zhǔn)的執(zhí)行情況。

圖2 元數(shù)據(jù)管理模型

　　元數(shù)據(jù)管理包含元數(shù)據(jù)采集、元數(shù)據(jù)維護(hù)、元數(shù)據(jù)發(fā)布、血緣分析、影響度分析、表關(guān)聯(lián)度分析、元數(shù)據(jù)稽核等功能。通過自動(dòng)采集ETL轉(zhuǎn)換過程, 對(duì)結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行統(tǒng)一管理, 進(jìn)而支撐上層數(shù)據(jù)服務(wù)。

　?。ǘ?shù)據(jù)標(biāo)準(zhǔn)管理

　　數(shù)據(jù)標(biāo)準(zhǔn)管理要符合企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)管理的相關(guān)辦法, 落實(shí)數(shù)據(jù)標(biāo)準(zhǔn)管理相關(guān)人員的職責(zé), 固化數(shù)據(jù)標(biāo)準(zhǔn)管理的流程規(guī)范。

　　數(shù)據(jù)標(biāo)準(zhǔn)管理通過采集抽取元數(shù)據(jù), 建立標(biāo)準(zhǔn)數(shù)據(jù)與元數(shù)據(jù)映射, 并對(duì)關(guān)鍵元數(shù)據(jù)進(jìn)行篩選, 按照業(yè)務(wù)、地域、系統(tǒng)3個(gè)維度進(jìn)行劃分形成數(shù)據(jù)目錄, 數(shù)據(jù)目錄支持按維度下鉆瀏覽, 同時(shí)支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)對(duì)數(shù)據(jù)地圖進(jìn)行探索;數(shù)據(jù)標(biāo)準(zhǔn)管理支持?jǐn)?shù)據(jù)分布智能查詢、數(shù)據(jù)分布瀏覽功能。可根據(jù)元數(shù)據(jù)信息及專業(yè)數(shù)據(jù), 結(jié)合業(yè)務(wù)經(jīng)驗(yàn), 將具有詞典意義的單詞定義為標(biāo)準(zhǔn)單詞, 也可將多個(gè)單詞組合成業(yè)務(wù)術(shù)語或技術(shù)用語。

　　（三）數(shù)據(jù)模型管理

　　數(shù)據(jù)模型管理是對(duì)企業(yè)概念模型、邏輯模型和物理模型進(jìn)行統(tǒng)一管理, 覆蓋模型的設(shè)計(jì)、發(fā)布和應(yīng)用等各階段。數(shù)據(jù)模型管理將企業(yè)模型管理規(guī)范、模型與數(shù)據(jù)庫映射管理導(dǎo)入數(shù)據(jù)模型管理組件中, 并提供模型信息維護(hù)、版本管理、業(yè)務(wù)模型與物理模型映射等功能。數(shù)據(jù)模型管理也提供模型的可視化展現(xiàn)、在設(shè)計(jì)期、開發(fā)期、運(yùn)行期的模型分析比對(duì)、模型的分發(fā)功能, 進(jìn)行模型的全生命周期管理。

　?。ㄋ模?shù)據(jù)服務(wù)總線

　　數(shù)據(jù)服務(wù)總線建立基于元數(shù)據(jù)和數(shù)據(jù)模型的對(duì)外數(shù)據(jù)服務(wù), 采用基于數(shù)據(jù)模型的可視化配置的方式, 節(jié)省繁復(fù)的接口腳本編寫過程, 提高數(shù)據(jù)服務(wù)的效率。

　　數(shù)據(jù)服務(wù)總線提供的統(tǒng)一的數(shù)據(jù)服務(wù)目錄, 對(duì)數(shù)據(jù)資產(chǎn)的產(chǎn)生、位置、責(zé)任單位、共享范圍、更新維護(hù)方式、服務(wù)方式等方面的信息進(jìn)行全面描述, 為企業(yè)提供統(tǒng)一的數(shù)據(jù)資源全景地圖, 明確信息資源有什么, 在哪里, 誰負(fù)責(zé), 做到“信息清、資源清”。

　　通過數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)化開放訪問, 幫助數(shù)據(jù)中心和應(yīng)用中心實(shí)現(xiàn)應(yīng)用和數(shù)據(jù)分離, 提高應(yīng)用開發(fā)效率和生產(chǎn)效率。訪問接口支持Web Service、Http/Rest、FTP等, 并提供統(tǒng)一的服務(wù)封裝能力, 將對(duì)外共享的數(shù)據(jù)按照一定粒度封裝為獨(dú)立的服務(wù)實(shí)體, 盡可能屏蔽內(nèi)部的細(xì)節(jié), 只提供標(biāo)準(zhǔn)化的交互接口, 保證了數(shù)據(jù)的安全性和數(shù)據(jù)交換的標(biāo)準(zhǔn)化。

　　三、應(yīng)用實(shí)踐

　　中國(guó)南方電網(wǎng)有限責(zé)任公司調(diào)峰調(diào)頻發(fā)電公司成立于2006年7月, 隸屬于中國(guó)南方電網(wǎng)有限責(zé)任公司。公司主要負(fù)責(zé)南方電網(wǎng)區(qū)域內(nèi)的調(diào)峰、調(diào)頻電廠的運(yùn)營(yíng)、維護(hù)、管理和建設(shè)工作。其工作目的是為南方電網(wǎng)提供優(yōu)質(zhì)運(yùn)行服務(wù), 確保南方電網(wǎng)的安全性、經(jīng)濟(jì)性。目前, 公司的已投運(yùn)機(jī)組容量642萬k W, 在建機(jī)組容量158萬k W, 前期開發(fā)項(xiàng)目容量660萬k W。公司的管轄范圍主要包括:調(diào)峰、調(diào)頻、調(diào)相、事故備用等, 是確保電網(wǎng)安全運(yùn)行的關(guān)鍵環(huán)節(jié), 直接帶動(dòng)了當(dāng)?shù)亟?jīng)濟(jì)的發(fā)展。

　　當(dāng)前調(diào)峰調(diào)頻發(fā)電公司正在開展圍繞發(fā)電設(shè)備狀態(tài)監(jiān)測(cè)的狀態(tài)監(jiān)測(cè)中心研究與建設(shè)工作。其軟件環(huán)境分為數(shù)據(jù)中心和應(yīng)用中心兩大部分。數(shù)據(jù)中心集中存儲(chǔ)設(shè)備準(zhǔn)實(shí)時(shí)數(shù)據(jù)和管理業(yè)務(wù)的結(jié)構(gòu)化數(shù)據(jù), 分為采集層、存儲(chǔ)層、數(shù)據(jù)倉庫層、數(shù)據(jù)服務(wù)層。應(yīng)用中心以輕量化應(yīng)用的思路, 遵循OSGi技術(shù)規(guī)范, 支持PC端、移動(dòng)端的組件化應(yīng)用。

圖3 狀態(tài)監(jiān)測(cè)中心軟件環(huán)境邏輯架構(gòu)圖

　　通過應(yīng)用元數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)服務(wù)平臺(tái), 狀態(tài)監(jiān)測(cè)中心的數(shù)據(jù)中心已具備各類準(zhǔn)實(shí)時(shí)的設(shè)備監(jiān)測(cè)數(shù)據(jù)和結(jié)構(gòu)化的業(yè)務(wù)系統(tǒng)數(shù)據(jù)統(tǒng)一采集、存儲(chǔ)、綜合管理、分析和數(shù)據(jù)服務(wù)等功能, 初步實(shí)現(xiàn)應(yīng)用和數(shù)據(jù)的解耦, 為設(shè)備實(shí)時(shí)管理、企業(yè)實(shí)時(shí)管控和科學(xué)決策提供支持。

　　四、結(jié)論

　　隨著數(shù)據(jù)的指數(shù)級(jí)爆發(fā)式增長(zhǎng), 企業(yè)信息化轉(zhuǎn)型和數(shù)字化驅(qū)動(dòng)的迫切需求, 如何應(yīng)對(duì)大數(shù)據(jù)時(shí)代, 從數(shù)據(jù)中發(fā)現(xiàn)知識(shí)并驅(qū)動(dòng)企業(yè)發(fā)展, 成為當(dāng)前的熱點(diǎn)問題。提出元數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)服務(wù)平臺(tái), 適合大數(shù)據(jù)的存儲(chǔ)分析應(yīng)用需求, 是實(shí)現(xiàn)數(shù)據(jù)自服務(wù)、推動(dòng)企業(yè)數(shù)據(jù)化運(yùn)營(yíng)的可行路線。在未來的工作中, 要考慮如何將數(shù)據(jù)服務(wù)平臺(tái)支撐的應(yīng)用效果反饋到平臺(tái)中, 實(shí)現(xiàn)閉環(huán)的數(shù)據(jù)服務(wù)體系, 對(duì)設(shè)備監(jiān)測(cè)和企業(yè)管理進(jìn)行控制優(yōu)化。

　　作者：佘俊 周宇鵬 王林 董天波 蘭天