网站首页
教育杂志
CSSCI期刊 北大期刊 CSCD期刊 统计源期刊 知网收录期刊 维普收录期刊 万方收录期刊 SCI期刊(美)
医学杂志
CSSCI期刊 北大期刊 CSCD期刊 统计源期刊 知网收录期刊 维普收录期刊 万方收录期刊 SCI期刊(美)
经济杂志
CSSCI期刊 北大期刊 CSCD期刊 统计源期刊 知网收录期刊 维普收录期刊 万方收录期刊 SCI期刊(美)
金融杂志
CSSCI期刊 北大期刊 CSCD期刊 统计源期刊 知网收录期刊 维普收录期刊 万方收录期刊 SCI期刊(美)
管理杂志
CSSCI期刊 北大期刊 CSCD期刊 统计源期刊 知网收录期刊 维普收录期刊 万方收录期刊 SCI期刊(美)
科技杂志
CSSCI期刊 北大期刊 CSCD期刊 统计源期刊 知网收录期刊 维普收录期刊 万方收录期刊 SCI期刊(美)
工业杂志
CSSCI期刊 北大期刊 CSCD期刊 统计源期刊 知网收录期刊 维普收录期刊 万方收录期刊 SCI期刊(美)
SCI杂志
中科院1区 中科院2区 中科院3区 中科院4区
全部期刊
公務(wù)員期刊網(wǎng) 論文中心 大數(shù)據(jù)技術(shù)范文

大數(shù)據(jù)技術(shù)全文(5篇)

前言:小編為你整理了5篇大數(shù)據(jù)技術(shù)參考范文,供你參考和借鑒。希望能幫助你在寫作上獲得靈感,讓你的文章更加豐富有深度。

大數(shù)據(jù)技術(shù)

數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)的應(yīng)用

摘要:互聯(lián)網(wǎng)技術(shù)發(fā)展非常驚人,大量的數(shù)據(jù)產(chǎn)生。在云計算高速發(fā)展的今天,大數(shù)據(jù)結(jié)合數(shù)據(jù)庫集群技術(shù),提升了數(shù)據(jù)處理的效率。

關(guān)鍵詞:大數(shù)據(jù);數(shù)據(jù)庫集群技術(shù);分布集群

一、分布集群數(shù)據(jù)庫在大數(shù)據(jù)中的應(yīng)用

目前,許多數(shù)據(jù)增長率很高的大型數(shù)據(jù)庫系統(tǒng)正被用于改善全球人類活動,如通信、社交網(wǎng)絡(luò)、交易、銀行等,分布集群數(shù)據(jù)庫已成為提高數(shù)據(jù)訪問速度的解決方案之一。為多種類型的用戶在多個存儲中組織數(shù)據(jù)訪問,分布集群數(shù)據(jù)庫的問題不僅在于如何管理大量的數(shù)據(jù),而且在于如何組織分布式存儲中的數(shù)據(jù)模式。智能數(shù)據(jù)組織是提高檢索速度、減少磁盤I/O數(shù)量、縮短查詢響應(yīng)時間的最佳方法之一。基于規(guī)則的聚類是提供數(shù)據(jù)庫自動聚類和數(shù)據(jù)存儲模式解釋的解決方案之一,基于規(guī)則的集群通過分析屬性和記錄上的數(shù)據(jù)庫結(jié)構(gòu),將數(shù)據(jù)模式表示為規(guī)則。使用不同規(guī)則池分區(qū)的每個集群,每個規(guī)則與內(nèi)部集群中的規(guī)則相似,與外部集群中的規(guī)則不同。分布集群數(shù)據(jù)庫是一種有向圖結(jié)構(gòu)的進化優(yōu)化技術(shù),用于數(shù)據(jù)分類,在緊湊的程序中具有顯著的表示能力,這源于節(jié)點的可重用性,而節(jié)點本身就是圖形結(jié)構(gòu)的功能。為了實現(xiàn)基于規(guī)則的集群,分布集群數(shù)據(jù)庫可以通過分析記錄來處理數(shù)據(jù)集的規(guī)則提取。分布集群數(shù)據(jù)庫的圖形結(jié)構(gòu)由三種節(jié)點組成:起始節(jié)點、判斷節(jié)點和處理節(jié)點。開始節(jié)點表示節(jié)點轉(zhuǎn)換的開始位置;判斷節(jié)點表示要在數(shù)據(jù)庫中檢查的屬性。分布集群數(shù)據(jù)庫規(guī)則提取的節(jié)點準(zhǔn)備包括兩個階段:節(jié)點定義和節(jié)點排列。節(jié)點定義的目的是準(zhǔn)備創(chuàng)建規(guī)則,節(jié)點排列是選擇重要的節(jié)點,以便高效地提取大量規(guī)則。節(jié)點排列由以下兩個順序過程執(zhí)行,第一個過程是查找模板規(guī)則,第二個過程是結(jié)合第一個過程中創(chuàng)建的模板生成規(guī)則。提取模板以獲得數(shù)據(jù)集中經(jīng)常發(fā)生的屬性組合。在模板提取過程中,分布集群數(shù)據(jù)庫規(guī)則提取中只使用了少數(shù)幾個屬性,它旨在增加獲得高支持模板的可能性。與沒有模板規(guī)則的方法相比,該節(jié)點排列方法具有更好的聚類結(jié)果,這兩個過程中的規(guī)則生成都是通過圖結(jié)構(gòu)的演化來實現(xiàn)。

二、在線規(guī)則更新系統(tǒng)的應(yīng)用

在線規(guī)則更新系統(tǒng)用于通過分析所有記錄從數(shù)據(jù)集中提取規(guī)則,在大數(shù)據(jù)應(yīng)用中,每個節(jié)點都有自己的節(jié)點號,描述每個節(jié)點號的節(jié)點信息。程序大小取決于節(jié)點的數(shù)量,這會影響程序創(chuàng)建的規(guī)則的數(shù)量。起始節(jié)點表示根據(jù)連接順序執(zhí)行的判斷節(jié)點序列的起始點,開始節(jié)點的多個位置將允許一個人提取各種規(guī)則。判斷節(jié)點表示數(shù)據(jù)集的屬性,顯示屬性索引。在大數(shù)據(jù)應(yīng)用環(huán)節(jié),從每個起始節(jié)點開始的節(jié)點序列用虛線a、b和c表示,節(jié)點序列流動,直到支持判斷節(jié)點的下一個組合不滿足閾值。在節(jié)點序列中,如果具有已出現(xiàn)在上一個節(jié)點序列,將跳過這些節(jié)點。在更新每個集群中的規(guī)則時,重要的是要找到與最新數(shù)據(jù)不匹配的屬性。因此,規(guī)則更新中要考慮的屬性由以下過程確定。當(dāng)計算集群中每個屬性和數(shù)據(jù)之間的輪廓值時,閾值設(shè)置為0.85,只有輪廓值低于0.85的屬性。將為規(guī)則更新過程中的判斷節(jié)點的屬性選擇。一些數(shù)據(jù)的庫存值和權(quán)重值低于0.85,因此這些值不包括在國民生產(chǎn)總值的規(guī)則更新中。在線規(guī)則更新系統(tǒng)中包含用于更新規(guī)則的屬性,每個集群都具有屬性的主要值,這些屬性是集群質(zhì)量的錨定點,進而影響輪廓值。在線規(guī)則更新系統(tǒng)應(yīng)用中,完成主要的規(guī)則提取過程,這是一個標(biāo)準(zhǔn)的規(guī)則提取,在線規(guī)則更新系統(tǒng)考慮到數(shù)據(jù)集中的所有屬性。執(zhí)行該過程,對初始數(shù)據(jù)集進行初始集群;改善規(guī)則更新過程,僅對輪廓值低于閾值的數(shù)據(jù)執(zhí)行。

三、大規(guī)模并行處理技術(shù)的應(yīng)用

點擊查看全文

大數(shù)據(jù)的審計技術(shù)探究

摘要:審計作為我國以及我黨監(jiān)督管理的關(guān)鍵組成之一,在保障國家經(jīng)濟秩序、提升財政資金使用效率、推動政府廉政建設(shè)、維護經(jīng)濟社會健康發(fā)展等方面,都具有重要作用。大數(shù)據(jù)時代的到來也推動著審計創(chuàng)新,運用大數(shù)據(jù)分析科技是實現(xiàn)審計事業(yè)全面覆蓋目標(biāo)的需要,而大數(shù)據(jù)分析審計工程則是影響中國審計事業(yè)未來發(fā)展方向的核心。

關(guān)鍵詞:大數(shù)據(jù);審計技術(shù);技術(shù)分析

審計制度作為保證我國開展民主治國的根本制度,是我國依法使用權(quán)力約束的重要體系。審計制度的本質(zhì)是我國管理體系內(nèi)存在的一種內(nèi)生制度,其具有防范、預(yù)防、抵御的免疫管理體系,其核心任務(wù)為健全民主制度,完善審計管理,推動我國社會經(jīng)濟健康運行與科學(xué)發(fā)展,進而更好地維護廣大民眾的切身利益,更是國管理的重要組成部分,故需完善大數(shù)據(jù)時代下的審計工作。

一、大數(shù)據(jù)分析審計方法和電子數(shù)據(jù)審核方式對比

電子數(shù)據(jù)審計的數(shù)據(jù)挖掘技術(shù),主要依靠統(tǒng)計分析模塊進行審計疑點發(fā)現(xiàn)和審計線索發(fā)現(xiàn)。通常,統(tǒng)計分析流程主要分為信息收集、清理、匯總、挖掘和可視化。傳統(tǒng)環(huán)境下,常用方式包括賬表分類、大數(shù)據(jù)搜索、數(shù)據(jù)分析、審計抽樣和數(shù)值分析等。而在該類統(tǒng)計分析方式中,如Excel、Oracle、AO、ACL、IDEA等,作為主要的審計軟件而被普遍采用。在大數(shù)據(jù)分析時代的會計活動往往包括國民經(jīng)濟運行中的所有大數(shù)據(jù)分析,而這種大數(shù)據(jù)分析常跨行業(yè)、跨領(lǐng)域,即具備了大量、多樣、高價值、低密度等的大數(shù)據(jù)特點。根據(jù)資料類型對其進行分析,不難發(fā)現(xiàn)包含數(shù)據(jù)以及半結(jié)構(gòu)化數(shù)據(jù),其中涵蓋照片、視頻、文檔等非數(shù)據(jù)內(nèi)容。根據(jù)各個數(shù)據(jù)的實際來源對其進行分析后,可以發(fā)現(xiàn)單位內(nèi)進行審計的相關(guān)數(shù)據(jù)信息以及資料,這些資料包括企業(yè)公開的信息。從目標(biāo)入手,能夠發(fā)現(xiàn)會計目標(biāo)逐漸成為發(fā)現(xiàn)線索、評價風(fēng)險、關(guān)注績效的內(nèi)容。審計工作不僅關(guān)系到企業(yè)違法違規(guī)的情況,還要求一旦發(fā)現(xiàn)企業(yè)制度存在的問題,需及時評估企業(yè)的內(nèi)部控制風(fēng)險,借助社會經(jīng)濟以及大數(shù)據(jù)技術(shù),收集更多的信息內(nèi)容,并對其展開分析,充分了解企業(yè)的發(fā)展情況,隨后分析企業(yè)發(fā)展的趨勢以及規(guī)律。此時,能夠為企業(yè)以及國家提供更多的數(shù)據(jù),隨后制定合理的干預(yù)措施,便于企業(yè)做出決策。因此,大數(shù)據(jù)下的企業(yè)審計工作,具有收集、保存、管理、分析等多個功能,且在可視化的特點下,需明確其與傳統(tǒng)方法的顯著不同。所以,企業(yè)需明確大數(shù)據(jù)時代下,傳統(tǒng)審計與電子審計方式之間的主要區(qū)別。

二、大數(shù)據(jù)審計采集技術(shù)

企業(yè)使用電子技術(shù)收集數(shù)據(jù),直接關(guān)系到企業(yè)內(nèi)審計工作的準(zhǔn)確性,企業(yè)是否可以獲得精準(zhǔn)的數(shù)據(jù)內(nèi)容,是決定企業(yè)能否開展下一步數(shù)據(jù)分析的關(guān)鍵。所以,企業(yè)在收集各個模型以及理論的基礎(chǔ)上,可以發(fā)現(xiàn)采用大數(shù)據(jù)審計的關(guān)鍵如下:首先,電子數(shù)據(jù)的收集以及轉(zhuǎn)換相關(guān)技術(shù)。其次,已經(jīng)收集數(shù)據(jù)的完整性以及有效性。企業(yè)在收集數(shù)據(jù)的過程中,需明確研究重點為根據(jù)特定的領(lǐng)域、來源數(shù)據(jù),制定具有針對性的收集以及處理形式。數(shù)據(jù)完整度以及有效性的檢驗,主要是根據(jù)當(dāng)前審計的目標(biāo),并根據(jù)詳細的審計標(biāo)準(zhǔn)以及規(guī)范,通過分析審計數(shù)據(jù)與準(zhǔn)則的符合性,可以有效評價遠程數(shù)據(jù)和本地數(shù)據(jù)的完整性與有效性。

點擊查看全文

大數(shù)據(jù)時代背景下數(shù)據(jù)庫技術(shù)應(yīng)用

摘要:隨著科技的不斷發(fā)展和進步,大數(shù)據(jù)技術(shù)已滲透到人們生活和工作中,隨之?dāng)?shù)據(jù)庫的相關(guān)概念被提出。數(shù)據(jù)庫中的數(shù)據(jù)可以根據(jù)自身特性,通過信息技術(shù)進行規(guī)則地、有序地排列組合,不但可以長期保存在電腦中,還可以實現(xiàn)數(shù)據(jù)共享?;诖?,筆者首先對數(shù)據(jù)庫技術(shù)進行了概述,其次分析了大數(shù)據(jù)時代背景下數(shù)據(jù)庫技術(shù)的應(yīng)用現(xiàn)狀,再次闡述了大數(shù)據(jù)時代背景下的數(shù)據(jù)庫技術(shù)特點,最后提出了數(shù)據(jù)庫技術(shù)的應(yīng)用對策和手段。

關(guān)鍵詞:大數(shù)據(jù);數(shù)據(jù)庫技術(shù);數(shù)據(jù)標(biāo)簽

1引言

數(shù)據(jù)庫技術(shù)主要是通過相關(guān)的技術(shù)措施對信息數(shù)據(jù)進行有效的存儲管理、優(yōu)化數(shù)據(jù)結(jié)構(gòu)、設(shè)計數(shù)據(jù)管理模式等。另外,數(shù)據(jù)庫技術(shù)還可以對庫里的數(shù)據(jù)進行科學(xué)合理的整合分析,挖掘數(shù)據(jù)的真實性和實用性,找出不同數(shù)據(jù)之間的聯(lián)系,這也是當(dāng)前社會發(fā)展的實際需求,對于現(xiàn)代信息技術(shù)的發(fā)展起著十分重要的作用和意義。

2數(shù)據(jù)庫技術(shù)簡介

隨著大數(shù)據(jù)技術(shù)的不斷改革完善,作為近年來興起的新型技術(shù),它在一定程度上是隨著云計算的出現(xiàn)而發(fā)展的。立足于云計算的相關(guān)技術(shù),對人們生活和工作中產(chǎn)生的大量數(shù)據(jù)進行綜合處理,結(jié)合計算機技術(shù)、網(wǎng)絡(luò)通信技術(shù)、數(shù)據(jù)庫技術(shù)等,有效推動社會經(jīng)濟的穩(wěn)步發(fā)展。數(shù)據(jù)庫技術(shù)在推廣和普及過程中,主要是以計算機信息技術(shù)為載體,充分結(jié)合傳統(tǒng)數(shù)據(jù)信息處理技術(shù)和互聯(lián)網(wǎng)技術(shù),對社會中的生產(chǎn)要素和業(yè)務(wù)要素進行及時有效的分析和更新,調(diào)整社會中現(xiàn)有的業(yè)務(wù)結(jié)構(gòu)和發(fā)展模式,從而有效實現(xiàn)經(jīng)濟轉(zhuǎn)型。

3大數(shù)據(jù)時代背景下數(shù)據(jù)庫技術(shù)的應(yīng)用現(xiàn)狀

點擊查看全文

財經(jīng)高校數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)建設(shè)

摘要:文章針對數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)建設(shè)面臨的挑戰(zhàn),基于數(shù)字經(jīng)濟發(fā)展對大數(shù)據(jù)人才的行業(yè)產(chǎn)業(yè)需求調(diào)研,分析大數(shù)據(jù)人才就業(yè)方向與崗位要求,遵循OBE理念的反向設(shè)計、正向?qū)嵤┰恚瑥呐囵B(yǎng)目標(biāo)、畢業(yè)要求、課程體系及實施評價等方面闡述財經(jīng)高校如何基于OBE理念開展數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)建設(shè)。

關(guān)鍵詞:OBE;大數(shù)據(jù);專業(yè)建設(shè);財經(jīng)高校

當(dāng)今社會,大數(shù)據(jù)爆發(fā)性增長,正在掀起一場產(chǎn)業(yè)革命,對經(jīng)濟發(fā)展、社會治理和人民生活產(chǎn)生著重大影響,成為國家、社會、企業(yè)及個人關(guān)注和投入的新焦點。在國家大數(shù)據(jù)戰(zhàn)略和數(shù)字經(jīng)濟發(fā)展驅(qū)動下,2016-2021年,全國分六批共有670余所高校獲批數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)本科專業(yè),主要培養(yǎng)具備大數(shù)據(jù)采集、處理、分析與應(yīng)用能力的復(fù)合型人才,其專業(yè)建設(shè)對于滿足數(shù)字經(jīng)濟時代行業(yè)產(chǎn)業(yè)發(fā)展對大數(shù)據(jù)人才的需求具有重要意義。為辦好這一新興本科專業(yè),高校教研人員圍繞培養(yǎng)方案制定、課程體系設(shè)計、師資隊伍建設(shè)、學(xué)生實踐能力訓(xùn)練等內(nèi)容進行了探討[1-4]。數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)是一門融合多學(xué)科知識的交叉專業(yè),高校如何根據(jù)現(xiàn)有辦學(xué)基礎(chǔ)和特色,遵循基于成果產(chǎn)出的教育(Outcome-basedEducation,OBE)理念,明確培養(yǎng)目標(biāo)定位,構(gòu)建個性化培養(yǎng)方案和課程體系,將專業(yè)特色體現(xiàn)為被培養(yǎng)者所具備的知識、能力和素質(zhì)要求,以適應(yīng)數(shù)字經(jīng)濟發(fā)展對大數(shù)據(jù)人才的需要,還需進一步深入探討。本文基于OBE理念,從培養(yǎng)目標(biāo)、畢業(yè)要求、課程體系與考核評價等方面,探討財經(jīng)高校的數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)建設(shè)之路。

一、專業(yè)建設(shè)面臨的挑戰(zhàn)

作為一門融合多學(xué)科知識的新興專業(yè),高校往往基于原有專業(yè)基礎(chǔ)和條件來建設(shè)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè),規(guī)劃不同的辦學(xué)方向和特色。雖然原有基礎(chǔ)和條件為新專業(yè)建設(shè)提供了資源支持和參考借鑒,但新專業(yè)建設(shè)還面臨以下問題和挑戰(zhàn):

1.培養(yǎng)目標(biāo)定位“換湯不換藥”。作為多學(xué)科融合交叉專業(yè),高校開設(shè)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè),多基于現(xiàn)有計算機科學(xué)與技術(shù)、統(tǒng)計學(xué)、應(yīng)用數(shù)學(xué)或管理學(xué)相關(guān)專業(yè)的辦學(xué)基礎(chǔ)和師資隊伍?,F(xiàn)有辦學(xué)基礎(chǔ)雖然為新專業(yè)建設(shè)提供了參考借鑒,但也使得新專業(yè)的培養(yǎng)目標(biāo)和特色定位容易出現(xiàn)與原有專業(yè)交叉重復(fù)和含糊不清的問題,不能與時代發(fā)展和社會需求相適應(yīng),導(dǎo)致學(xué)生培養(yǎng)思路不清晰,出現(xiàn)培養(yǎng)目標(biāo)定位“換湯不換藥”的現(xiàn)象。

2.課程體系設(shè)計“泛而不精”。數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)學(xué)生培養(yǎng),既要求掌握計算機科學(xué)與技術(shù)基礎(chǔ),又要學(xué)習(xí)數(shù)學(xué)與統(tǒng)計學(xué)相關(guān)知識,還需具備一定的專業(yè)化行業(yè)知識,即基礎(chǔ)知識要求高、數(shù)據(jù)分析能力要求強、行業(yè)知識范圍要求廣。高校在設(shè)計課程體系時往往會兼顧到不同學(xué)科知識,但很難理清不同學(xué)科知識之間的相關(guān)關(guān)系和層次脈絡(luò),導(dǎo)致課程設(shè)置存在“泛而不精”的問題,使得學(xué)生只是停留在知識學(xué)習(xí)層面,不能融會貫通,綜合運用能力較差。

點擊查看全文

大數(shù)據(jù)下計算機信息數(shù)據(jù)處理技術(shù)淺析

摘要:通過圍繞計算機數(shù)據(jù)信息處理的任務(wù),借助于后臺服務(wù)器、數(shù)據(jù)庫、存儲單元等硬件設(shè)施,以及Hadoop文件系統(tǒng)架構(gòu)、SOA服務(wù)體系、HDFS分布式存儲等大數(shù)據(jù)技術(shù),進行計算機數(shù)據(jù)信息處理系統(tǒng)的建構(gòu),提供虛擬機資源調(diào)度、分布式數(shù)據(jù)計算、任務(wù)處理等服務(wù),來完成海量化數(shù)據(jù)資源的搜集、處理與存儲。

關(guān)鍵詞:大數(shù)據(jù);信息數(shù)據(jù)處理;網(wǎng)絡(luò)架構(gòu)

1大數(shù)據(jù)技術(shù)的主要內(nèi)容概述

當(dāng)前常用的大數(shù)據(jù)技術(shù),包括Hadoop文件系統(tǒng)架構(gòu)、SOA服務(wù)體系、HDFS分布式存儲等。其中Hadoop分布式數(shù)據(jù)處理架構(gòu),屬于大數(shù)據(jù)云計算系統(tǒng)的平臺即服務(wù)層,包括Collect(匯總)、Map(映射)、Reduce(歸約)等組成部分,主要秉持著先進先出的動態(tài)化任務(wù)調(diào)度理念。針對已搜集的海量化數(shù)據(jù)信息,利用Map映射函數(shù)建立兩組數(shù)據(jù)的映射規(guī)則,并向多個主節(jié)點、從節(jié)點的任務(wù)處理需求,動態(tài)分配虛擬主機,實現(xiàn)某一數(shù)據(jù)類型的映射、歸約操作。之后SOA服務(wù)體系為面向服務(wù)的組件模型,通常包含服務(wù)工作流、服務(wù)接口、服務(wù)注冊、服務(wù)訪問和服務(wù)查找等組件。該服務(wù)架構(gòu)通過TCP/IP網(wǎng)絡(luò)通信協(xié)議、定義的I/O接口,將某一應(yīng)用程序的多個功能服務(wù)單元進行連接,并將多個分布式的服務(wù)組件進行封裝,為用戶提供需要的Web數(shù)據(jù)發(fā)送與接收、業(yè)務(wù)處理等的服務(wù)[1]。最后,HDFS分布式存儲是以分布式形式,對互聯(lián)網(wǎng)中海量化的數(shù)據(jù)信息作出存儲,主要包括數(shù)據(jù)資源管理、存儲等節(jié)點。HDFS的存儲單元為每個數(shù)據(jù)塊(block),而數(shù)據(jù)節(jié)點(DataNode)、元數(shù)據(jù)節(jié)點(Namenode)負責(zé)數(shù)據(jù)信息的寫入和讀出,其中數(shù)據(jù)塊的單個最小存儲單位是64Mbits。在HDFS文件系統(tǒng)HDFS框架的中心服務(wù)器,收到外部客戶端的數(shù)據(jù)訪問請求后,可以通過數(shù)據(jù)節(jié)點、元數(shù)據(jù)節(jié)點對數(shù)據(jù)訪問、目錄創(chuàng)建和數(shù)據(jù)存儲等作出控制,實現(xiàn)對不同數(shù)據(jù)資源的處理與存儲。

2大數(shù)據(jù)計算機信息處理的多層網(wǎng)絡(luò)架構(gòu)

基于大數(shù)據(jù)及云計算技術(shù)的計算機信息處理系統(tǒng),通常為包含基礎(chǔ)硬件設(shè)備、資源虛擬化硬件、用戶與映像管理、SOA服務(wù)體系的多層網(wǎng)絡(luò)架構(gòu),不同層級分別負責(zé)不同的硬件支持、任務(wù)響應(yīng)、數(shù)據(jù)處理與存儲工作[2]。1)硬件設(shè)施資源層。物理資源層為多層網(wǎng)絡(luò)架構(gòu)的最底層,包括計算機、后臺服務(wù)器、數(shù)據(jù)庫、存儲器和網(wǎng)絡(luò)交換機等硬件設(shè)備,不同設(shè)備之間經(jīng)由定義的I/O接口進行連接,來為網(wǎng)絡(luò)資源虛擬化池、虛擬化計算機的建構(gòu)提供支持。2)資源虛擬化層。資源虛擬化層是依托于后臺服務(wù)器,對多臺計算機主機、數(shù)據(jù)信息服務(wù)硬件等進行虛擬化,該層級存在網(wǎng)絡(luò)資源池、數(shù)據(jù)資源池、存儲與計算資源池等組成部分。在任務(wù)管理中間層收到前端用戶,發(fā)送的web網(wǎng)絡(luò)訪問、數(shù)據(jù)處理與存儲請求后,會充分借助資源虛擬化層的分布式虛擬硬件,為不同用戶任務(wù)執(zhí)行匹配合適的虛擬化硬件資源。3)映像與用戶管理層。映像與用戶管理層是負責(zé)不同數(shù)據(jù)之間映像、映射規(guī)則建立,以及用戶權(quán)限、任務(wù)請求管理的層級。其中用戶管理包括用戶身份、用戶許可、用戶請求等的管理模塊;映像管理包括映像創(chuàng)建、映像部署、映像庫管理和映像周期管理等組成模塊,負責(zé)對后臺服務(wù)器端搜集的數(shù)據(jù)信息,建立起兩組數(shù)據(jù)的映射規(guī)則,并作出映像周期的合理控制[3]。4)SOA服務(wù)體系層。SOA體系是是一種精確定義接口、松耦合的服務(wù)架構(gòu),包含服務(wù)工作流、服務(wù)接口、服務(wù)注冊、服務(wù)訪問和服務(wù)查找等組件結(jié)構(gòu)。多種服務(wù)組件為即插即用的排布方式,也即可以先進行用戶安全檢查、再作服務(wù)處理與管理,也可以按相反順序執(zhí)行服務(wù),多種服務(wù)執(zhí)行有明確的接口定義、業(yè)務(wù)代碼。

3計算機數(shù)據(jù)信息處理涉及到的大數(shù)據(jù)關(guān)鍵技術(shù)

點擊查看全文
免责声明

本站为第三方开放式学习交流平台,所有内容均为用户上传,仅供参考,不代表本站立场。若内容不实请联系在线客服删除,服务时间:8:00~21:00。

AI写作,高效原创

在线指导,快速准确,满意为止

立即体验
友情鏈接
文秘服务 AI帮写作 润色服务 论文发表