電力企業(yè)業(yè)擴(kuò)監(jiān)控及數(shù)據(jù)流處理技術(shù)

前言：想要寫(xiě)出一篇引人入勝的文章？我們特意為您整理了電力企業(yè)業(yè)擴(kuò)監(jiān)控及數(shù)據(jù)流處理技術(shù)范文，希望能給你帶來(lái)靈感和參考，敬請(qǐng)閱讀。

摘要：本文利用業(yè)擴(kuò)監(jiān)控及數(shù)據(jù)流處理技術(shù)，構(gòu)建了電力企業(yè)一張圖管控模式，為電網(wǎng)公司改善營(yíng)商環(huán)境、精益化管理方提供了堅(jiān)強(qiáng)支撐，不斷提升了電力營(yíng)銷業(yè)務(wù)的流程化、規(guī)范化、自動(dòng)化，提高了電力企業(yè)精益化管理水平。

關(guān)鍵詞：電力公司；業(yè)擴(kuò)報(bào)裝；業(yè)擴(kuò)監(jiān)控；數(shù)據(jù)流處理技術(shù)；一張圖管控

1供電企業(yè)業(yè)擴(kuò)現(xiàn)狀

隨著電力企業(yè)持續(xù)深度改革及“放管服”推進(jìn)，我國(guó)電力公司目前業(yè)務(wù)龐大，電力營(yíng)銷與電力基建業(yè)務(wù)相對(duì)割裂，很多業(yè)務(wù)溝通存在部門壁壘現(xiàn)象長(zhǎng)期存在，這給業(yè)擴(kuò)報(bào)裝全流程業(yè)務(wù)造成很多困難，導(dǎo)致工單傳達(dá)的及時(shí)性和中間環(huán)節(jié)的流轉(zhuǎn)易產(chǎn)生灰色地帶，難以監(jiān)管，也很難進(jìn)行業(yè)務(wù)考核與跟蹤。傳統(tǒng)業(yè)擴(kuò)流程如圖1所示。用電客戶根據(jù)用電屬性、改變用電性質(zhì)或者負(fù)荷超過(guò)原核定量向電力企業(yè)業(yè)務(wù)受理部門提出“用電申請(qǐng)”后，受理部門對(duì)用戶的用電設(shè)備、用電地點(diǎn)、用電性質(zhì)、電力負(fù)荷等需求進(jìn)行登記，隨后受理部門轉(zhuǎn)出客戶“用電申請(qǐng)單”到電力勘測(cè)部門進(jìn)行實(shí)地現(xiàn)場(chǎng)勘察，并報(bào)送設(shè)計(jì)部門進(jìn)行方案確定，供電方案確定后提交電力審核部門進(jìn)行審核審批，審批通過(guò)后結(jié)合客戶需求在受理規(guī)定期限內(nèi)對(duì)客戶進(jìn)行答復(fù)，并有供電財(cái)務(wù)部門收取相關(guān)費(fèi)用，同時(shí)，設(shè)計(jì)部門進(jìn)行具體設(shè)計(jì)，審查部門進(jìn)行審查，設(shè)計(jì)審查通過(guò)后通知電力施工部門進(jìn)行施工，施工完成后提交竣工驗(yàn)收申請(qǐng)，驗(yàn)收合格后，由供電公司合同部門負(fù)責(zé)與客戶簽訂供用電合同，并給裝表人員辦理“新裝客戶用電工作傳票”，最后由電力安裝部門通知電工負(fù)責(zé)給客戶安裝檢定的計(jì)量表，并進(jìn)行供送電測(cè)試，裝表接電任務(wù)完成安裝部門通知受理部門進(jìn)行用戶信息檔案建立，并隨機(jī)進(jìn)行客戶回訪。業(yè)務(wù)擴(kuò)充是電力企業(yè)進(jìn)行電力供應(yīng)和銷售的受理環(huán)節(jié)，屬于售前服務(wù)功能。

2業(yè)擴(kuò)數(shù)據(jù)流處理技術(shù)

2.1業(yè)擴(kuò)數(shù)據(jù)流采集

由于供電企業(yè)信息數(shù)據(jù)量大，業(yè)務(wù)部門龐雜，為更好實(shí)現(xiàn)電力業(yè)擴(kuò)等業(yè)務(wù)規(guī)范、簡(jiǎn)便、高效，需要對(duì)業(yè)擴(kuò)數(shù)據(jù)進(jìn)行高效處理。電力企業(yè)業(yè)擴(kuò)數(shù)據(jù)流處理采用高性能、高可能Flume分布式日志收集系統(tǒng)對(duì)業(yè)擴(kuò)數(shù)據(jù)從進(jìn)行采集，并通過(guò)分布式、高吞吐量Kafka訂閱消息系統(tǒng)及時(shí)傳送到數(shù)據(jù)處理中心。整個(gè)系統(tǒng)主要由Agent層、Collector層、Store層三層結(jié)構(gòu)構(gòu)成。Agent層是基礎(chǔ)進(jìn)程層，負(fù)責(zé)客戶端日志信息的收集；Collector層處于電力公司中心服務(wù)器，其功能是接收基礎(chǔ)進(jìn)程層日志，并按照路由規(guī)則把日志寫(xiě)入映射的Store層中；Store層主要存儲(chǔ)永久或者臨時(shí)日志，并把日志流導(dǎo)向各應(yīng)用服務(wù)器。所有層數(shù)據(jù)均采用均衡化處理，避免信息流堵塞。電力業(yè)擴(kuò)數(shù)據(jù)流處理采用Kafka消息系統(tǒng)，Kafka是基于LinkedIn活動(dòng)流及電力運(yùn)營(yíng)數(shù)據(jù)處理管道（pipeline）進(jìn)行消息系統(tǒng)應(yīng)用。）Kafka維護(hù)按類區(qū)分消息，電力業(yè)擴(kuò)管理部門利用計(jì)算機(jī)通過(guò)網(wǎng)絡(luò)發(fā)消息到kafka集群，向kafka主題消息，各子業(yè)務(wù)部門、用戶根據(jù)主題信息進(jìn)行注冊(cè)、接收主題消息后，各子業(yè)務(wù)部門按照業(yè)務(wù)屬性進(jìn)行同步業(yè)擴(kuò)流程工作跟進(jìn)，并及時(shí)通過(guò)工作OA系統(tǒng)進(jìn)行業(yè)務(wù)進(jìn)程溝通[1]。

2.2業(yè)擴(kuò)數(shù)據(jù)流讀寫(xiě)處理

Kafka消息應(yīng)用Driver端和checkpoint方式讀取高級(jí)API并進(jìn)行重構(gòu)數(shù)據(jù)優(yōu)化封裝，具有高可用性，避免服務(wù)宕機(jī)故障，并將數(shù)據(jù)進(jìn)行冗余處理。對(duì)于低級(jí)API數(shù)據(jù)讀取則直接進(jìn)行分區(qū)抽取數(shù)據(jù)直接處理方式，可有效避免數(shù)據(jù)額外冗余現(xiàn)象，大大降低占用數(shù)據(jù)應(yīng)用資源，處理效率較高。數(shù)據(jù)寫(xiě)入是在不同應(yīng)用程序線程池中綁定獨(dú)立數(shù)據(jù)生產(chǎn)對(duì)象，有利于減少服務(wù)交互網(wǎng)絡(luò)開(kāi)銷和占用內(nèi)存對(duì)象。寫(xiě)入封裝利用多線程并行、小批量發(fā)送模式優(yōu)化封裝，有效提高了吞吐率和kafka消息隊(duì)列寫(xiě)入效率。電力業(yè)擴(kuò)數(shù)據(jù)批處理采用引擎spark上Sparkstreaming構(gòu)件的流數(shù)據(jù)處理框架。系統(tǒng)把流式計(jì)算分解成多批量的SparkJob，并進(jìn)行SparkDAG圖分解和任務(wù)集集中調(diào)度，流處理具備可擴(kuò)展、容錯(cuò)、高吞吐特性，很好的滿足了電力業(yè)擴(kuò)數(shù)據(jù)流實(shí)時(shí)處理場(chǎng)景需求[2]。

2.3組件化擴(kuò)展

基于SOA架構(gòu)的擴(kuò)展功能具有松耦合、標(biāo)準(zhǔn)化、構(gòu)建化、流程化、服務(wù)化模式，很好的順應(yīng)了電力業(yè)擴(kuò)業(yè)務(wù)模式變遷及技術(shù)更新應(yīng)用，SOA核心是服務(wù)，是建模-開(kāi)發(fā)-裝配-運(yùn)行-管理全生命周期企業(yè)級(jí)架構(gòu)。SOA主要采用SCA（ServiceComponentArchitecture）服務(wù)構(gòu)件編程模型、SDO（ServiceDataObject）服務(wù)數(shù)據(jù)模型和BPEL（BusinessProcessExecutionLanguage）服務(wù)編排流程，很好的實(shí)現(xiàn)網(wǎng)絡(luò)構(gòu)建以及XML標(biāo)準(zhǔn)流程服務(wù)Web接口。組件化擴(kuò)展預(yù)制性、靈活性、封裝性、通用性、互操作性較好，在電力企業(yè)應(yīng)用前景較好。如圖2所示SOA業(yè)務(wù)結(jié)構(gòu)。

3電力業(yè)擴(kuò)監(jiān)控及數(shù)據(jù)流處理應(yīng)用

電力企業(yè)通過(guò)一張圖管控，可以及時(shí)了解每張工單當(dāng)前的運(yùn)行情況，并制定相應(yīng)的責(zé)任清單。一張圖中可以進(jìn)行工作單起止時(shí)間的篩選以及各類實(shí)用化條件，有利于業(yè)務(wù)操作人員導(dǎo)出明細(xì)清單進(jìn)行自查。通過(guò)大數(shù)據(jù)中心打通各系統(tǒng)數(shù)據(jù)通過(guò)數(shù)據(jù)中心直接采集營(yíng)銷、計(jì)劃、基建、物資等業(yè)擴(kuò)全流程數(shù)據(jù)，在同一系統(tǒng)中展示了業(yè)擴(kuò)各專業(yè)環(huán)節(jié)的工作全貌，提供了不同色塊的可控、預(yù)警和超時(shí)告警人性化標(biāo)注功能?！皹I(yè)擴(kuò)一張圖”中工單不同狀態(tài)的數(shù)量均可下鉆清單，并且通過(guò)清單進(jìn)一步進(jìn)入到對(duì)應(yīng)的“工單一張圖”，用跨專業(yè)數(shù)據(jù)集成和直觀圖形化的設(shè)計(jì)原則，解決了業(yè)擴(kuò)及配套工單監(jiān)控和溯源難的問(wèn)題。監(jiān)控覆蓋用電咨詢、業(yè)擴(kuò)及配套項(xiàng)目全流程。利用數(shù)據(jù)處理中心服務(wù)器短信平臺(tái)每日通報(bào)數(shù)據(jù)，業(yè)擴(kuò)工單實(shí)現(xiàn)閉環(huán)管理，實(shí)時(shí)監(jiān)控功能系統(tǒng)協(xié)同短信平臺(tái)，利用多個(gè)短信發(fā)送模板將每日已超時(shí)預(yù)警高壓工單逐單按照超時(shí)期限給工單主人、業(yè)擴(kuò)專責(zé)、分管主任、分管領(lǐng)導(dǎo)4級(jí)發(fā)送告警和提級(jí)督辦短信，加強(qiáng)業(yè)務(wù)部門協(xié)調(diào)，提高了工作效率。辦電一張圖多平臺(tái)上線監(jiān)控業(yè)擴(kuò)全過(guò)程信息可應(yīng)用于多維度應(yīng)用場(chǎng)景。大屏端適用于交流展示；電腦端適用于業(yè)務(wù)操作人員進(jìn)行明細(xì)清單下載及工單過(guò)程追溯；移動(dòng)端適用于管理人員隨時(shí)查看本單位或部門指標(biāo)情況，三位一體，全方位進(jìn)行監(jiān)管。業(yè)擴(kuò)監(jiān)控加快了各環(huán)節(jié)、跨部門的工作協(xié)同，著力于監(jiān)管業(yè)擴(kuò)配套時(shí)限長(zhǎng)、難跟蹤、精準(zhǔn)篩查業(yè)擴(kuò)工單超時(shí)、隨意中止等問(wèn)題。另外，工單全流程公開(kāi)透明，極大縮短客戶現(xiàn)有辦電時(shí)間，改善客戶體驗(yàn)，減少客戶投訴[3]。

4結(jié)論

業(yè)擴(kuò)監(jiān)控及數(shù)據(jù)流處理技術(shù)為電網(wǎng)公司改善營(yíng)商環(huán)境、精益化管理方提供了堅(jiān)強(qiáng)支撐，通過(guò)對(duì)營(yíng)銷域業(yè)務(wù)特別是獲得電力的運(yùn)營(yíng)監(jiān)控，實(shí)現(xiàn)營(yíng)銷業(yè)務(wù)的優(yōu)化與完善，對(duì)服務(wù)功能及程序進(jìn)行重新整合，對(duì)新業(yè)務(wù)需求不斷補(bǔ)充，構(gòu)建信息高度共享、流程運(yùn)轉(zhuǎn)通暢、科學(xué)規(guī)范統(tǒng)一的業(yè)務(wù)應(yīng)用，不斷提升了電力營(yíng)銷業(yè)務(wù)的流程化、規(guī)范化、自動(dòng)化，提高了電力企業(yè)精益化管理水平。

參考文獻(xiàn)

[1]張舟.內(nèi)部控制在供電企業(yè)業(yè)擴(kuò)報(bào)裝業(yè)務(wù)流程中的應(yīng)用研究-基于風(fēng)險(xiǎn)管理的視角[J].河南科技,2014,203(10):255-256.

[2]王穎.供電企業(yè)業(yè)擴(kuò)報(bào)裝管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].2015.

[3]馬敏.電力業(yè)擴(kuò)報(bào)裝分析預(yù)測(cè)系統(tǒng)在電力行業(yè)的應(yīng)用與研究[J].大眾用電,2015,276(S2):60-63.

作者：張卓 單位：廣州供電局稽查中心