云計(jì)算分布式容錯(cuò)技術(shù)研究

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了云計(jì)算分布式容錯(cuò)技術(shù)研究范文，希望能給你帶來(lái)靈感和參考，敬請(qǐng)閱讀。

摘要：伴隨云計(jì)算和物聯(lián)網(wǎng)等技術(shù)受到推廣和使用，以往的存儲(chǔ)陣列早已不能達(dá)到飛速增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需要。分布式存儲(chǔ)擁有超規(guī)模的數(shù)據(jù)處置能力，同時(shí)無(wú)論是擴(kuò)展性、可靠性還是成本上均表現(xiàn)得極為出色，漸漸變成了公有云存儲(chǔ)的主流產(chǎn)品。此外，為提升云計(jì)算的運(yùn)行效率，本文提出了云計(jì)算存儲(chǔ)的架構(gòu)和容錯(cuò)技術(shù)，并加以探究，論證了其達(dá)成過(guò)程和重要技術(shù)。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，該容錯(cuò)技術(shù)性能優(yōu)良。

關(guān)鍵詞：云計(jì)算；傳統(tǒng)存儲(chǔ)；分布式存儲(chǔ)；容錯(cuò)技術(shù)

科學(xué)技術(shù)的飛速發(fā)展，云計(jì)算模型也在持續(xù)健全，當(dāng)下云計(jì)算的發(fā)展已經(jīng)成熟且受到廣泛使用。云計(jì)算作為一類資源共享的商業(yè)計(jì)算模型，每天要接受的數(shù)據(jù)量很多，并且數(shù)據(jù)化量還在持續(xù)增加，給計(jì)算環(huán)境中的分布式存儲(chǔ)帶來(lái)了很大的威脅。分布式存儲(chǔ)的重要技術(shù)是云計(jì)算的主要構(gòu)成部分，它所存在的問(wèn)題將會(huì)成為云計(jì)算發(fā)展和推廣的阻礙。本文將對(duì)該技術(shù)加以分析。

1云計(jì)算技術(shù)

（1）作為服務(wù)的云計(jì)算技術(shù)是信息技術(shù)

IaaS是計(jì)算服務(wù)提供方式之一，它就像水、電、氣的供應(yīng)一樣，只要擰一下龍頭或開(kāi)關(guān)，不需要自己就可以建造復(fù)雜的管線和線路。優(yōu)秀的云計(jì)算平臺(tái)可以把目前的軟件作用有效發(fā)揮，提供設(shè)備性能，在消費(fèi)IT服務(wù)時(shí)，跟消費(fèi)水、電、氣同樣便利。云技術(shù)主要包含IaaS、PaaS、SaaS三種模式。使用云計(jì)算技術(shù)，用戶可以在基于Web的平臺(tái)上進(jìn)行操作，無(wú)論何時(shí)，無(wú)論何時(shí)，只要能連接互聯(lián)網(wǎng)，任何地方都可以使用終端設(shè)備，能夠訪問(wèn)所需的程序和文件，以鏈接到數(shù)據(jù)，處理工作任務(wù)。

（2）虛擬化技術(shù)

目前計(jì)算機(jī)硬件設(shè)備發(fā)展迅速，盡管設(shè)備不錯(cuò)，但性能也在提高，但是無(wú)法提升資源使用率，借用虛擬化技術(shù)，可以重新分配資源。軟件技術(shù)可模仿硬件設(shè)施，可以在一臺(tái)或是多臺(tái)設(shè)備上運(yùn)轉(zhuǎn)，使該計(jì)算機(jī)的資源使用增加，在此之前可能需要五臺(tái)機(jī)器來(lái)運(yùn)行的程序，僅用一臺(tái)計(jì)算機(jī)就能運(yùn)行，極大地節(jié)約了能源。云的概念主要是用虛擬化技術(shù)向用戶提供一臺(tái)機(jī)器，其功能與實(shí)際設(shè)備相同，使用者不必知道這種機(jī)器的位置，也不必?fù)?dān)心如何管理和維護(hù)，管理人員可以根據(jù)用戶的需要提供服務(wù)。一般而言，Virtualization是一種資源管控技術(shù)，存儲(chǔ)空間、硬件、計(jì)算機(jī)軟件等資源重新配置時(shí)，原來(lái)每個(gè)設(shè)備只能提供給一位用戶使用，但Virtualization可以分開(kāi)這些資源，使資源得以充分利用。

2云計(jì)算下分布式存儲(chǔ)安全性面臨的問(wèn)題

在云計(jì)算基礎(chǔ)上，分布式存儲(chǔ)技術(shù)以“云”為根本，有自身特征，首先，大量數(shù)據(jù)集中存儲(chǔ)在多個(gè)數(shù)據(jù)中心，這給數(shù)據(jù)中心的存儲(chǔ)空間帶來(lái)了巨大的挑戰(zhàn)。與此同時(shí)，云服務(wù)消費(fèi)者需要從數(shù)據(jù)中心讀取和寫入數(shù)據(jù)，這使得數(shù)據(jù)訪問(wèn)成為更大的瓶頸。為盡可能地提高空間利用率，加快數(shù)據(jù)存取速度，減少數(shù)據(jù)中心中傳輸帶寬的壓力，一定要有個(gè)小冗余，該容錯(cuò)技術(shù)可以極大地節(jié)省帶寬資源。網(wǎng)絡(luò)編碼容錯(cuò)技術(shù)的出現(xiàn)，為滿足上述需求提供了可能。但是在前面章節(jié)的介紹中可以看到，以網(wǎng)絡(luò)編碼為基礎(chǔ)的容錯(cuò)技術(shù)可以從網(wǎng)絡(luò)中獲取足夠的數(shù)據(jù)塊，能夠?qū)⑾到y(tǒng)存儲(chǔ)的原始數(shù)據(jù)恢復(fù)到原來(lái)狀態(tài)，這個(gè)特性提高了系統(tǒng)的可靠性，再次成為系統(tǒng)的安全瓶頸。在云計(jì)算環(huán)境下，數(shù)據(jù)中心網(wǎng)絡(luò)相互依賴、相互連接，因此必須將數(shù)據(jù)中心向外開(kāi)放，而數(shù)據(jù)中心之間又常常是地理距離較遠(yuǎn)的，很難控制數(shù)據(jù)中心中所有存儲(chǔ)節(jié)點(diǎn)的情況，這一特點(diǎn)還使攻擊者能夠輕松地利用數(shù)據(jù)中心的開(kāi)放以實(shí)現(xiàn)對(duì)“云”的攻擊。所以在云計(jì)算環(huán)境中，分布存儲(chǔ)器數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)不但要保證傳輸?shù)目煽啃院托剩€要保證網(wǎng)絡(luò)設(shè)備的安全可控；將容錯(cuò)技術(shù)應(yīng)用于分布式存儲(chǔ)，同時(shí)具有較小的冗余高可靠性，具有節(jié)約帶寬、同時(shí)要保證安全，防止仿冒、串謀等攻擊。針對(duì)這一問(wèn)題，本文提出了一套安全容錯(cuò)系統(tǒng)的設(shè)計(jì)方案，該系統(tǒng)包括數(shù)據(jù)中心網(wǎng)絡(luò)安全架構(gòu)和安全容錯(cuò)編碼，以保證云計(jì)算環(huán)境下分布式存儲(chǔ)數(shù)據(jù)的安全可靠。

3云計(jì)算下分布式存儲(chǔ)關(guān)鍵技術(shù)架構(gòu)

（1）將服務(wù)器當(dāng)作數(shù)據(jù)中心

還可以將服務(wù)器用作數(shù)據(jù)中心，而將服務(wù)器用作數(shù)據(jù)中心的機(jī)制與將交換機(jī)用作數(shù)據(jù)中心的機(jī)制完全不同。該服務(wù)器并非專用數(shù)據(jù)存儲(chǔ)設(shè)備，其作用是在與因特網(wǎng)設(shè)備相連的前提下，對(duì)因特網(wǎng)上的數(shù)據(jù)進(jìn)行轉(zhuǎn)發(fā)。與用于數(shù)據(jù)中心的交換機(jī)相比，顯然，使用服務(wù)器作為數(shù)據(jù)中心更簡(jiǎn)單，但是，把服務(wù)器當(dāng)作數(shù)據(jù)中心來(lái)使用也存在嚴(yán)重的問(wèn)題，也就是說(shuō)，它的數(shù)據(jù)鏈路比較長(zhǎng)，不但減少存儲(chǔ)效率，另外，它本身對(duì)于較小的存儲(chǔ)空間也有一定的影響。上述兩個(gè)缺點(diǎn)也是需要改進(jìn)和創(chuàng)新的。

（2）將交換機(jī)作為數(shù)據(jù)核心

用作數(shù)據(jù)存儲(chǔ)裝置，交換機(jī)可連接網(wǎng)絡(luò)系統(tǒng)和數(shù)據(jù)中心。接通電腦后，能夠?qū)崿F(xiàn)數(shù)據(jù)包存儲(chǔ)、轉(zhuǎn)送、處理等。把開(kāi)關(guān)看成是一棵樹(shù)，它包括三個(gè)部分：聚合層、邊緣層和核心層。將交換機(jī)作為數(shù)據(jù)核心的利弊，是顯而易見(jiàn)的。優(yōu)勢(shì)在于操作簡(jiǎn)單，與服務(wù)器連接后更易擴(kuò)散。不足在于存儲(chǔ)數(shù)量少，已經(jīng)跟不上時(shí)代。必須將其存儲(chǔ)空間和靈活性加以優(yōu)化。

（3）結(jié)合交換機(jī)和服務(wù)器優(yōu)點(diǎn)

將交換機(jī)與服務(wù)器混合在一起，機(jī)理如下：首先，將交換機(jī)作為連接實(shí)時(shí)網(wǎng)絡(luò)系統(tǒng)和數(shù)據(jù)中心，在數(shù)據(jù)包上繼續(xù)存儲(chǔ)，傳送與處理，將帶有Internet設(shè)備的服務(wù)器作為次要對(duì)象，它還有助于交換機(jī)處理數(shù)據(jù)包、轉(zhuǎn)發(fā)和存儲(chǔ)工作，這使得以服務(wù)器為數(shù)據(jù)中心、以交換機(jī)為數(shù)據(jù)中心的優(yōu)勢(shì)得以最大化地發(fā)揮出來(lái)，與此同時(shí)，如果能將這兩個(gè)中心作為數(shù)據(jù)中心，數(shù)據(jù)存儲(chǔ)空間將獲得補(bǔ)充，彌補(bǔ)數(shù)據(jù)存儲(chǔ)效率不高、數(shù)據(jù)鏈路過(guò)長(zhǎng)等缺陷，對(duì)云計(jì)算的發(fā)展是非常有用的。

4系統(tǒng)試驗(yàn)

（1）密鑰整體架構(gòu)

密鑰服務(wù)器客戶端由三部分構(gòu)成：交互模塊、存儲(chǔ)模塊和運(yùn)算模塊，下面介紹三個(gè)模塊的功能。交互模塊：交互模塊主要有兩種，第一種，負(fù)責(zé)與系統(tǒng)中的密碼模塊互動(dòng)，獲得密鑰服務(wù)器的密鑰并將認(rèn)證所需信息提供給密碼模塊；第二種，負(fù)責(zé)將數(shù)據(jù)傳輸?shù)娇蛻舳说拇鎯?chǔ)模塊和運(yùn)算模塊。存儲(chǔ)模塊：存儲(chǔ)模塊負(fù)責(zé)存儲(chǔ)密胡的密鑰、驗(yàn)證信息和分享秘密。運(yùn)算模塊：運(yùn)算模塊會(huì)共享秘密和為交互模塊供應(yīng)所需的運(yùn)算技術(shù)。

（2）存儲(chǔ)服務(wù)器客戶端架構(gòu)

存儲(chǔ)服務(wù)器客戶端架構(gòu)類包含五部分：存儲(chǔ)數(shù)據(jù)交互模塊、編碼數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)恢復(fù)服務(wù)器模塊、身份驗(yàn)證信息存儲(chǔ)模塊和運(yùn)算模塊，以下是五個(gè)模塊的功能介紹：存儲(chǔ)數(shù)據(jù)交互模塊為存儲(chǔ)服務(wù)器和系統(tǒng)存儲(chǔ)管理模塊提供交互接口，從系統(tǒng)存儲(chǔ)管控模塊獲得存儲(chǔ)數(shù)據(jù)，同時(shí)發(fā)送到編碼數(shù)據(jù)存儲(chǔ)位置；負(fù)責(zé)將服務(wù)器作為數(shù)據(jù)恢復(fù)服務(wù)器，存儲(chǔ)獲得外加存儲(chǔ)服務(wù)器的數(shù)據(jù)；運(yùn)轉(zhuǎn)過(guò)程中為保證安全性，將獲得的密鑰服務(wù)器共享碼交到運(yùn)算模塊。編碼數(shù)據(jù)存儲(chǔ)模塊：用于保存編碼資料。數(shù)據(jù)恢復(fù)服務(wù)器模塊執(zhí)行數(shù)據(jù)恢復(fù)操作。身份驗(yàn)證信息存儲(chǔ)模塊在運(yùn)行時(shí)，認(rèn)證信息存儲(chǔ)模塊的功能與系統(tǒng)運(yùn)行的安全編碼算法相關(guān)，并進(jìn)行安全編碼，身份驗(yàn)證信息存儲(chǔ)模塊存儲(chǔ)了服務(wù)器的身份驗(yàn)證信息，該信息用于獲取密鑰服務(wù)器的共享秘密。運(yùn)行模塊：運(yùn)行模塊主要用于安全編碼，用于還原編碼的秘密，數(shù)據(jù)恢復(fù)操作模塊用來(lái)進(jìn)行數(shù)據(jù)恢復(fù)操作。

（3）分布存儲(chǔ)架構(gòu)中容錯(cuò)技術(shù)的實(shí)現(xiàn)

分布存儲(chǔ)技術(shù)是分布式存儲(chǔ)的關(guān)鍵技術(shù)，是系統(tǒng)可用的數(shù)據(jù)容錯(cuò)技術(shù)，其對(duì)可靠性和數(shù)據(jù)訪問(wèn)效率的干擾是十分顯著的。數(shù)據(jù)容錯(cuò)技術(shù)一般利用增多數(shù)據(jù)冗余來(lái)達(dá)成，因?yàn)槿哂鄶?shù)據(jù)可以使失敗和丟失的數(shù)據(jù)被發(fā)現(xiàn)，并且，存儲(chǔ)資源耗損也在增多，所以，要確保容錯(cuò)能力，盡可能提升對(duì)存儲(chǔ)資源利用率，還可以減少成本。在目前階段，最常用的技術(shù)分為兩種，一是基于容錯(cuò)復(fù)制技術(shù)，二是基于糾刪碼的容錯(cuò)技術(shù)。對(duì)于復(fù)制式容錯(cuò)技術(shù)來(lái)說(shuō)，可以為一個(gè)對(duì)象創(chuàng)建多個(gè)數(shù)據(jù)的同一副本，而且，它所創(chuàng)建的多個(gè)拷貝可以分布到不同的存儲(chǔ)節(jié)點(diǎn)。要使這項(xiàng)技術(shù)更加有效，一般情況下，以復(fù)制為基礎(chǔ)的容錯(cuò)技術(shù)需要關(guān)注數(shù)據(jù)的組織和復(fù)制策略。用這些方法，海量數(shù)據(jù)對(duì)象和管理復(fù)制的方式是數(shù)據(jù)結(jié)構(gòu)的主要研究對(duì)象，復(fù)制的生成時(shí)間、拷貝的數(shù)量、拷貝的位置等都是數(shù)據(jù)復(fù)制策略需要研究的問(wèn)題。會(huì)有較多的因素干擾數(shù)據(jù)的復(fù)制方式，比如運(yùn)用需要、網(wǎng)絡(luò)環(huán)境、數(shù)據(jù)存取方式和存儲(chǔ)空間，等等。在研究復(fù)制方式時(shí)，應(yīng)該從復(fù)制策略入手，具體為關(guān)注并討論拷貝的創(chuàng)建時(shí)間和數(shù)目，設(shè)置策略主要是改善數(shù)據(jù)的容錯(cuò)性能，當(dāng)拷貝失敗時(shí)，允許用戶從其他拷貝中獲取數(shù)據(jù)。容錯(cuò)技術(shù)以糾錯(cuò)碼為根本，此技術(shù)源自編碼技術(shù)，能夠允許多個(gè)數(shù)據(jù)幀的丟失，因而可以加入存儲(chǔ)域。通過(guò)這種方式，技術(shù)可以容忍多個(gè)數(shù)據(jù)塊失效，其中，編碼容錯(cuò)技術(shù)又是被運(yùn)用最為多的?；诰幋a的容錯(cuò)技術(shù)是一種經(jīng)過(guò)多個(gè)數(shù)據(jù)對(duì)象而出現(xiàn)的一種編碼方式。這樣做的目的能降低完全復(fù)制產(chǎn)生的存儲(chǔ)開(kāi)銷。但由于計(jì)算量太大，維修費(fèi)用太高是它的弊端。

5結(jié)束語(yǔ)

總之，科技飛速發(fā)展的今天，云不知不覺(jué)地改變了我們的生活，它以一種新的計(jì)算方式改變了世界，云計(jì)算還可以更新時(shí)調(diào)整數(shù)據(jù)環(huán)境，從而更有效鏈接更多數(shù)據(jù)點(diǎn)和網(wǎng)絡(luò)設(shè)施。IT行業(yè)的飛速發(fā)展，帶動(dòng)了分布式存儲(chǔ)技術(shù)的發(fā)展和進(jìn)步，改進(jìn)數(shù)據(jù)的容錯(cuò)能力，并使用多種節(jié)能技術(shù)減少能源損耗，其擴(kuò)展性強(qiáng)大，在實(shí)際生活中，屬于分布式存儲(chǔ)的數(shù)據(jù)中心。

參考文獻(xiàn)：

[1]李鑫，孫蓉，劉景偉.分布式存儲(chǔ)系統(tǒng)中容錯(cuò)技術(shù)綜述[J].無(wú)線電通信技術(shù)，2019（5）：463-475.

[2]郭威，謝光偉，張帆，等.一種分布式存儲(chǔ)系統(tǒng)擬態(tài)化架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程，2020，514（06）：18-25.

[3]孫黎，蘇宇，張弛，等.分布式存儲(chǔ)系統(tǒng)中的糾刪碼容錯(cuò)方法研究[J].計(jì)算機(jī)工程，2019（11）：74-80.

[4]李浩，樊鵬華.關(guān)于云計(jì)算環(huán)境下的分布式存儲(chǔ)關(guān)鍵技術(shù)分析[J].電子世界，2019，578（20）：189-190.

作者:李振 單位:浙江長(zhǎng)征職業(yè)技術(shù)學(xué)院