地震前兆臺網數(shù)據通信技術探析

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了地震前兆臺網數(shù)據通信技術探析范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要針對地震前兆數(shù)據到云端傳輸?shù)目煽?、穩(wěn)定和高效問題，研究了前兆數(shù)據通信策略中云端的資源動態(tài)分配方式以及基于UDP通信協(xié)議的傳輸技術和高效數(shù)據壓縮技術，實現(xiàn)將數(shù)據以盡快速度可靠的傳輸?shù)皆贫说臄?shù)據匯聚平臺，為前兆海量數(shù)據信息的存儲、分析、清理、分割提供通信傳輸保障。

關鍵詞云平臺；前兆臺網；傳輸技術；通信策略

引言

云平臺的出現(xiàn)，至今已趨于成熟，數(shù)據采集與管理的扁平化是大勢所趨，地震前兆數(shù)據的產出、處理、分析、存儲以及管理也必然走上扁平化道路，即將改變目前逐級匯集的管理模式，實現(xiàn)數(shù)據的可靠高效傳輸，達到儀器到云端直接對接的要求。地震前兆觀測數(shù)據可以利用這種新的基于互聯(lián)網的計算方式和資源應用平臺，通過網絡將龐大復雜的數(shù)據交由多部服務器組成的巨大系統(tǒng)平臺進行統(tǒng)一計算、分析和存儲。把分布在全國各地的地震前兆觀測儀器接入目前相對成熟的云計算和云存儲平臺，實現(xiàn)分別采用“模擬”、“九五”和“十五”等標準的異構設備統(tǒng)一接入到云架構管理平臺，從而將當前多節(jié)點數(shù)據存儲[1]，多級匯集、分發(fā)的組網模式，改為中心存儲、單級采集管理模式。這一數(shù)據生產管理模式的實現(xiàn)必須建立在數(shù)據通信系統(tǒng)的可靠、穩(wěn)定和高效的基礎之上。臺網數(shù)據源，即儀器數(shù)據傳輸?shù)皆贫说姆植际骄W絡環(huán)境，尤其是對跨區(qū)域傳輸中如何保證網絡的穩(wěn)定性、傳輸效率和數(shù)據的一致性提出了非常高的要求。本文針對如上問題設計了高性能云傳輸技術方案，克服網絡帶寬有限、狀態(tài)不夠穩(wěn)定等問題，實現(xiàn)對大容量數(shù)據高效傳輸，并最大限度地提升網絡帶寬利用率。

1數(shù)據傳輸方案設計

把前兆數(shù)據采集扁平化，集中于云端管理，確保數(shù)據傳輸?shù)囊恢滦浴⒖煽啃院透咝允窍到y(tǒng)實現(xiàn)的關鍵所在，針對該問題本文對數(shù)據傳輸部分進行了設計。在該設計中將高性能云傳輸分為數(shù)據傳輸引擎、資源索引服務、文件處理組件和用戶應用終端4個組成部分。數(shù)據傳輸引擎基于UDP用戶數(shù)據報協(xié)議，利用數(shù)據壓縮技術降低數(shù)據傳輸占用帶寬，同時改進UDP傳輸協(xié)議，提高數(shù)據傳輸效率和可靠性；文件處理組件和資源索引服務基于文件系統(tǒng)，提供數(shù)據的校驗、存儲及檢索功能，保持數(shù)據的一致性；用戶應用終端針對數(shù)據傳輸、索引服務、文件處理等底層功能組件的運行狀態(tài)進行監(jiān)控，完成系統(tǒng)資源的動態(tài)分配。從數(shù)據通信傳輸系統(tǒng)設計可看出，確保數(shù)據傳輸?shù)母咝Э煽?，包含了云端資源動態(tài)分配、基于UDP協(xié)議的可靠通信和數(shù)據壓縮技術等關鍵技術部分。

2資源動態(tài)分配模塊設計

從前兆臺網數(shù)據傳輸?shù)墓ぷ髁鞒虂砜?，首先前兆?shù)據需要通過終端接入網絡，向云端提出數(shù)據傳輸需求，然后云端接受請求后分配基礎設施資源，如內存、CPU、網絡帶寬等，最后完成數(shù)據通信任務。在數(shù)據通信過程中，通過資源動態(tài)分配，實現(xiàn)可用資源的最大化利用。。整個云端實際上在一個虛擬系統(tǒng)的管理下，再細分為多個虛擬系統(tǒng)（虛擬機），每個虛擬機作為一個工作節(jié)點，虛擬機的系統(tǒng)資源多少是可動態(tài)分配的。每個虛擬機占用的核心資源是動態(tài)分配的，系統(tǒng)通過監(jiān)控管理功能模塊對應用層和接口層的資源消耗進行動態(tài)監(jiān)控，當各個前兆節(jié)點向中心云端發(fā)送數(shù)據請求時，虛擬機所要求的物理資源隨之變化。虛擬機根據請求對象的優(yōu)先級以及當前虛擬機的資源分配情況，重新評估物理資源的可用性，并進行再次分配，達到動態(tài)分配的效果，實現(xiàn)分配滿足性能要求的最小資源量，從而提高資源利用率和滿足功能執(zhí)行需要。中心云端接到數(shù)據通信請求后按照任務類型，預先定義任務執(zhí)行完成所需要的內存（估算），如：采集分鐘值數(shù)據需要2MB內存，采集秒數(shù)據需要20MB內存等；對當前CPU使用情況進行分析，并對完成通信任務所需資源進行評估，以及對當前帶寬容量進行檢測，根據資源情況，對當前通信請求進行有效資源分配，在分配任務的時候首先將正在運行的任務所需的內存數(shù)減掉，然后再分配任務。每分配一個任務都要在可用內存數(shù)的基礎上將任務所需內存減掉，如果減掉后的結果大于設計預留內存數(shù)，則分配任務運行，否則，等待下一輪分配。

3可靠UDP協(xié)議數(shù)據通信設計

一般情況下，實現(xiàn)可靠數(shù)據傳遞的方法主要采用傳輸控制TCP協(xié)議。但是，TCP協(xié)議有一個根本的速度瓶頸，這個瓶頸隨著傳輸延遲和網絡丟包率的增加而變得愈發(fā)明顯。速度瓶頸的形成和TCP控制數(shù)據流量速率的機制密切相關。TCP協(xié)議的數(shù)據分片和基于分片的確認方式，要占用一些通信帶寬，降低了以太網上的有效荷載；同時TCP是基于點對點連接方式的，不能充分利用以太網絡對突發(fā)傳輸?shù)闹С諿2-3]。用戶數(shù)據報協(xié)議（UDP）是ISO參考模型中的一種無連接的傳輸層協(xié)議，提供面向操作的簡單非可靠信息傳送服務。傳統(tǒng)UDP協(xié)議通信效率高、可靠性較差，不適合對可靠性要求較高的應用環(huán)境。隨著網絡傳輸?shù)目焖侔l(fā)展，一種基于UDP協(xié)議的簡單可靠傳輸協(xié)議可以在保證高效性的基礎上提高通信雙方傳輸?shù)目煽啃?。擁塞控制機制將速率控制和流量控制兩者結合起來：前者通過調整包的發(fā)送間隔來控制包的發(fā)送速率；后者則通過限制可以發(fā)送的包的最大序號來調整發(fā)送方一次可以發(fā)送的數(shù)據。我國地震前兆觀測數(shù)據通過專有線路網絡傳輸，而專有線路網絡的帶寬和誤碼率等網絡參數(shù)都位于可控范圍，且占用網絡帶寬的應用也比較確定，因此，網絡狀況較為簡單，當出現(xiàn)網絡擁塞時，按照特定的算法平緩地降低發(fā)送速率，直至擁塞消除，同時能兼顧帶寬利用率。。采用UDP協(xié)議完成數(shù)據傳輸，但在傳輸端和發(fā)送端需要進行傳輸控制信息交互，確認數(shù)據的一致性，從而保障數(shù)據傳輸?shù)目煽啃?。同時該設計相對TCP協(xié)議從多個方面提高了數(shù)據的傳輸效率：①UDP協(xié)議無需數(shù)據分片，將數(shù)據接收和確認分開，無需等待確認，數(shù)據接收方定期發(fā)送方報告數(shù)據包的接收情況，包括接收到的和未接收到的包的序號；②由于確認數(shù)據的發(fā)送速率保持恒定，從而確?！按_認”的開銷為常量，因此，帶寬越大，報文確認的開銷占比越小；③UDP協(xié)議的無連接方式，省去了連接維護負擔，可充分利用以太網絡支持突發(fā)傳輸。

4通信傳輸壓縮技術設計

數(shù)據壓縮是一門通信原理和計算機科學都會涉及到的學科。通過數(shù)據壓縮技術縮小傳輸數(shù)據的體量，降低帶寬的占用，同時減小硬件輸入輸出的壓力。目前我國地震前兆觀測臺網全網3000多套觀測儀器，分布在全國各地，平均每天每套儀器產出原始數(shù)據按1MB計算，每天全臺網產出原始數(shù)據量約3GB，而數(shù)據采集的時間比較集中，數(shù)據傳輸?shù)乃矔r流量是當前網絡很難滿足的；同時對數(shù)據庫和硬盤讀寫能力也將造成較大的壓力。采用數(shù)據壓縮技術可同時降低網絡和輸入輸出壓力。本文針對當前前兆數(shù)據的特點，對所需傳輸?shù)臄?shù)據信息進行二級壓縮，即專業(yè)數(shù)據壓縮與工具壓縮相結合，。熵編碼是利用數(shù)據的統(tǒng)計信息進行壓縮的無語義數(shù)據流無損編碼，能實現(xiàn)數(shù)據的無損壓縮，因此，能保障數(shù)據壓縮的安全與效率[4]。由于地震前兆觀測地電、地磁、重力、形變和地下流體各學科數(shù)據具有非常強的日變規(guī)律，故采用基于統(tǒng)計的熵編碼是較為理想的選擇，因此，分別采用熵編碼香農-范諾（Shannon-Fano）編碼、哈夫曼（Huffman）編碼、算術編碼（arithmeticcoding）、行程編碼（RLE）和LZW編碼來實現(xiàn)。然后再對壓縮后的數(shù)據采用通用壓縮工具ZIP進行二次壓縮。應用測試實驗結果顯示，前兆觀測數(shù)據平均實現(xiàn)12:1的壓縮比，扣除壓縮、解壓縮的性能遞減，總體提升傳輸性能3倍左右。

5結束語

本文針對前兆臺網數(shù)據上云端的需求，結合當前網絡技術基礎進行了前兆臺網數(shù)據傳輸方案設計，并對其實現(xiàn)的關鍵技術，如設計云平臺資源的動態(tài)分配實現(xiàn)系統(tǒng)資源的負載均衡管理；針對TCP協(xié)議傳輸速率瓶頸設計可靠的UDP傳輸方案，在提高數(shù)據傳輸效率的同時保證了可靠性；在分析前兆數(shù)據規(guī)律的基礎上選擇合適的壓縮算法組合，對數(shù)據實現(xiàn)了壓縮比高于12:1的無損壓縮，將有助于降低帶寬要求。這3個關鍵技術問題的解決，為儀器數(shù)據與云端的直接對接和地震前兆數(shù)據管理的扁平化提供了很好的技術支持，為減少硬件重復投資和精簡技術管理人員提供了條件。

參考文獻

［1］陳俊，劉高川，李罡風，等.基于Web的地震前兆應用數(shù)據庫管理系統(tǒng)設計[J].四川地震，2016(4)：41-45趙飛，葉震.UDP協(xié)議與TCP協(xié)議的對比分析與可靠性改進[J].計算機技術與發(fā)展，2006，16(9)：219-221

［2］王繼剛，顧國昌，徐立峰，等.可靠UDP數(shù)據傳輸協(xié)議的研究與設計[J].計算機工程與應用，2006(15)：113-116

［3］楊敬鋒，張南峰，李勇，等.基于改進Huffman編碼的農機作業(yè)數(shù)據傳輸壓縮方法[J].農業(yè)工程學報，2014，30(13)：153-159［4］

作者：王晨 陳俊 劉金城 趙銀剛 裴紅云 謝慶 單位：中國地震局地球物理研究所 安徽省地震局 天津市地震局 安丘地震臺