前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的數(shù)據(jù)管理主題范文,僅供參考,歡迎閱讀并收藏。
據(jù)IDC統(tǒng)計(jì),2010年,全球共生成了超過1澤字節(jié)(ZB)或100萬拍字節(jié)(PB)的數(shù)據(jù)。2014年,預(yù)計(jì)該數(shù)字將增長至每年72ZB,其中一部分來自機(jī)器生成的數(shù)據(jù)。隨著程序化貿(mào)易與金融交易系統(tǒng)以及智能電表和其它智能儀表的使用量不斷增加,加之智能手機(jī)和平板電腦生成的大量呼叫詳細(xì)記錄(CDR),機(jī)器生成的數(shù)據(jù)正呈大幅增長態(tài)勢。
與此同時(shí),非結(jié)構(gòu)化數(shù)據(jù)(如圖像、音視頻文件等)和半結(jié)構(gòu)化數(shù)據(jù)(如電子郵件、日志等)的日益增長進(jìn)一步增加了管理的復(fù)雜性,尤其是在確定最高效和最可靠的采集、保護(hù)、組織、訪問、保管和防御性刪除所有這些重要信息的方法之時(shí)。隨著越來越多的企業(yè)被要求保管來自電子郵件、文檔、富媒體文件等各種來源的數(shù)據(jù),保管和保留數(shù)據(jù)的需求正變得日益復(fù)雜。
跨越大數(shù)據(jù)備份與歸檔斷層
對于很多企業(yè)而言,備份和歸檔功能是在一個(gè)信息管理總戰(zhàn)略中分別加以部署和管理的“孤島”。鑒于很多原因,這樣做并不明智。多個(gè)互不相干的硬件和軟件產(chǎn)品通常負(fù)責(zé)管理這些數(shù)據(jù)孤島,從而產(chǎn)生了必須加以保護(hù)和保管的重復(fù)的信息副本。除此之外,要求搜索和保管數(shù)據(jù)的法規(guī)壓力通常也會催生更多的孤島。最糟糕的情況是:無限延長信息資產(chǎn)的保留期,因?yàn)槿藗儾荒艹浞至私馄髽I(yè)正在保存什么。
因此,大數(shù)據(jù)對話中的這兩個(gè)要素之間產(chǎn)生了一個(gè)斷層。Gartner指出,備份可以補(bǔ)充歸檔,反之亦然;但傳統(tǒng)上,備份管理員和信息架構(gòu)師沒有共同語言,而且大多數(shù)工具和技術(shù)也只是為了滿足這兩種需求之一。
雖然備份和歸檔的目的不同,但它們的功能卻類似:它們都創(chuàng)建原始數(shù)據(jù)的副本,用于恢復(fù)或保管等目的。鑒于此,Gartner等公司預(yù)測,能夠整體地看待備份和歸檔功能將有助于大幅降低成本和提升風(fēng)險(xiǎn)管理水平。隨著企業(yè)開始尋求可減少備份和歸檔副本并協(xié)調(diào)兩者數(shù)據(jù)訪問策略的解決方案,備份與歸檔融合這一概念正在興起。
結(jié)成數(shù)據(jù)融合統(tǒng)一戰(zhàn)線
考慮到預(yù)算和資源的短缺,雖然這并非因?yàn)楣芾韺訉π畔⒐芾砘驍?shù)據(jù)管制缺乏興趣,秘訣似乎應(yīng)該是“事半功倍”。實(shí)現(xiàn)這一目標(biāo)的一個(gè)方法是統(tǒng)一備份和歸檔功能,但這需要組建跨職能團(tuán)隊(duì),以確保滿足所有利益相關(guān)方的業(yè)務(wù)需求。
首先,我們應(yīng)該更好地了解應(yīng)用、用戶和關(guān)鍵業(yè)務(wù)流程訪問數(shù)據(jù)的需求以及如何在數(shù)據(jù)的生命周期內(nèi)使用它們。這需要負(fù)責(zé)數(shù)據(jù)恢復(fù)和發(fā)現(xiàn)的業(yè)務(wù)和IT利益相關(guān)方開展合作和協(xié)作。該團(tuán)隊(duì)?wèi)?yīng)該審視用于移動、復(fù)制、分類和訪問的數(shù)據(jù),從而達(dá)到以備份、保留、恢復(fù)、發(fā)現(xiàn)和處理為目的的所有策略和做法。
初期審查的另一個(gè)結(jié)果通常是,突然意識到多個(gè)數(shù)據(jù)復(fù)本無處不在:在物理和虛擬服務(wù)器上,在公司各處的員工的計(jì)算機(jī)和移動設(shè)備上。我們不僅可以利用重復(fù)數(shù)據(jù)刪除功能有效和高效地消減冗余數(shù)據(jù)復(fù)本的數(shù)量,而且可以獲得一大好處:利用一個(gè)硬件和/或軟件備份與歸檔通用基礎(chǔ)設(shè)施。
將數(shù)據(jù)整合到單一數(shù)據(jù)存儲單元中、可消除冗余副本和孤島的單一數(shù)據(jù)存儲庫理念在很多方面都極具吸引力。一種能夠采集數(shù)據(jù)、然后將其用于數(shù)據(jù)保護(hù)和保管目的的整體方法是將正確的數(shù)據(jù)交到正確的人手中的關(guān)鍵,后者可將這些數(shù)據(jù)轉(zhuǎn)變?yōu)閷τ谄髽I(yè)更加有意義和更能付諸實(shí)施的信息。
部署一個(gè)綜合信息管理戰(zhàn)略可對企業(yè)的各個(gè)層面產(chǎn)生深刻影響,其中也包括IT以外的領(lǐng)域。尤其是,企業(yè)團(tuán)隊(duì)將能通過點(diǎn)擊“依法保留”的搜索結(jié)果,對內(nèi)容進(jìn)行保管。另一個(gè)好處是:通過消除冗余數(shù)據(jù)復(fù)本、及早獲得對于證據(jù)的新的認(rèn)識,降低訴訟風(fēng)險(xiǎn)和成本,同時(shí)確保捕獲所有重要的案例數(shù)據(jù),并運(yùn)用一種具有針對性的方法減少所要審閱的數(shù)據(jù)量。
運(yùn)用融合數(shù)據(jù)管理控制成本和風(fēng)險(xiǎn)
數(shù)據(jù)增長、有限的預(yù)算和資源正使得備份與歸檔融合成為當(dāng)今最流行的發(fā)展趨勢之一。CommVault的Simpana OnePass功能是業(yè)內(nèi)首個(gè)基于一個(gè)一體化數(shù)據(jù)采集和通用基礎(chǔ)設(shè)施的備份、歸檔和報(bào)告融合解決方案。它能夠讓您利用零足跡歸檔功能應(yīng)對文件和電子郵件大幅增長的問題,并且不會增加任何管理費(fèi)用。有了Simpana OnePass技術(shù),您將能更好地管理您的信息,從而獲得情報(bào)、降低成本和運(yùn)營復(fù)雜性。
三種傳統(tǒng)數(shù)據(jù)管理工作流與 Simpana OnePass 功能的比較
Simpana OnePass功能將數(shù)據(jù)管理整合到單一操作之中,讓企業(yè)能夠:通過單一操作掃錨、采集、備份和歸檔數(shù)據(jù)。將備份、歸檔和報(bào)告所需的總時(shí)間減少50%。減少對業(yè)務(wù)環(huán)境的影響,并提升服務(wù)器性能,將源端冗余數(shù)據(jù)最多減少90%。
CommVault Simpana管理的所有數(shù)據(jù)保存在ContentStore中,它是一個(gè)可擴(kuò)展、與硬件無關(guān)的虛擬存儲庫,提供一個(gè)智能索引,可幫助用戶找到他們所需的信息。IT企業(yè)可以使用ContentStore Mail減少技術(shù)支持部門的工作量。ContentStore Mail是一個(gè)微軟插件,提供針對ContentStore中歸檔郵件的自助預(yù)覽和檢索功能。借助Simpana OnePass和ContentStore,企業(yè)可以優(yōu)化歸檔和備份數(shù)據(jù)的采集、保管、處理和發(fā)現(xiàn),從而滿足各項(xiàng)合規(guī)要求。
利用一體化能力增強(qiáng)數(shù)據(jù)可見性、改進(jìn)數(shù)據(jù)管理和減少存儲足跡,優(yōu)化文件和郵件的法律取證和審查,管理成本和容量,同時(shí)實(shí)現(xiàn)性能目標(biāo)。
-EMILY WOJCIK
Emulex高性能NetFlow生成器
Emulex公司日前宣布推出新EndaceFlow3040 NetFlow 生成器。它是專門為高密度萬兆以太網(wǎng)(10GbE)設(shè)計(jì)制造的,可以100%準(zhǔn)確地生成最多4條以太網(wǎng)鏈路的NetFlow,鏈路速度最高可達(dá)每秒10Gb(10Gbps) 。這種高性能可以加快關(guān)鍵安全和網(wǎng)絡(luò)問題的檢測、識別和故障排除速度,提升企業(yè)數(shù)據(jù)中心的網(wǎng)絡(luò)無故障正常運(yùn)行時(shí)間,降低運(yùn)營支出(OPEX)。
Doyle Research實(shí)驗(yàn)室首席分析師Lee Doyle表示:“隨著越來越多地采用最新的數(shù)據(jù)中心技術(shù),如10GbE、服務(wù)器虛擬化和軟件定義網(wǎng)絡(luò),企業(yè)發(fā)現(xiàn)在自己網(wǎng)絡(luò)中實(shí)施虛擬化變得越來越困難了。更嚴(yán)重的是許多原先在1Gbps速度下工作良好的工具,根本無法擴(kuò)展到10Gbps環(huán)境。這種情況預(yù)示企業(yè)對于新環(huán)境下的安全監(jiān)控、取證和網(wǎng)絡(luò)性能管理等任務(wù)只能使用專門設(shè)計(jì)用于10Gbps或更高速度網(wǎng)絡(luò)虛擬化的工具來完成?!?/p>
隨著企業(yè)應(yīng)用環(huán)境變得越來越復(fù)雜,NetOps和SecOps人員正在尋找新的方式來提高自己網(wǎng)絡(luò)的可視性,從而確保網(wǎng)絡(luò)安全、保證以網(wǎng)絡(luò)為中心的應(yīng)用高性能運(yùn)行,以及檢查網(wǎng)絡(luò)是否符合服務(wù)水平協(xié)議(SLA)?,F(xiàn)有的10GbE NetFlow生成器只能提供10GbE鏈路的取樣數(shù)據(jù),具備生成NetFlow功能的交換機(jī)和路由器也是如此。而且,用交換機(jī)和路由器生成NetFlow會影響它們的性能,特別是在發(fā)生拒絕服務(wù)攻擊的時(shí)候。這種取樣NetFlow無法提供解決重要網(wǎng)絡(luò)問題所需的可視性。通過提供非取樣NetFlow,EndaceFlowTM 3040可以在10GbE的網(wǎng)絡(luò)環(huán)境中提供全面的可視性。
惠普 “IT新型態(tài)”基礎(chǔ)設(shè)施管理平臺
10月28日,惠普宣布推出業(yè)界首個(gè)面向惠普融合基礎(chǔ)設(shè)施、以消費(fèi)級IT產(chǎn)品為設(shè)計(jì)靈感的基礎(chǔ)設(shè)施管理平臺——惠普OneView。該平臺可簡化支撐數(shù)據(jù)中心所有流程的最基本步驟,讓IT部門顯著改善運(yùn)營,同時(shí)降低成本并減少導(dǎo)致宕機(jī)的人為錯(cuò)誤。
服務(wù)技術(shù)的發(fā)展,專業(yè)技術(shù)人員的大量涌入以及業(yè)務(wù)復(fù)雜性的增長,導(dǎo)致業(yè)務(wù)需求與傳統(tǒng)IT供應(yīng)間的差距日益加大。當(dāng)前,許多企業(yè)不得不以過時(shí)的管理工具來交付并管理IT。
惠普OneView專為惠普BladeSystem、惠普ProLiant Generation 8(Gen8)和惠普ProLiant Generation 7而設(shè)計(jì),采用領(lǐng)先的服務(wù)器和軟件技術(shù),可提供單一管理平臺,加強(qiáng)整個(gè)數(shù)據(jù)中心IT部門的協(xié)作和溝通。
惠普OneView擁有直觀的用戶界面和簡化日常任務(wù)的自動化智能特性,能夠提高IT管理員的工作效率。將最常見的數(shù)據(jù)中心流程(包括如部署、升級、遷移和排除故障)從幾小時(shí)或幾天縮至幾分鐘。
例如,在16個(gè)服務(wù)器上配置管理程序,傳統(tǒng)工具需要2小時(shí)50分鐘的管理時(shí)間,惠普OneView只需要14分鐘?;厥仗摂M局域網(wǎng)絡(luò),傳統(tǒng)工具需要480個(gè)步驟,2小時(shí)以上,而使用惠普OneView只需4個(gè)步驟,30秒的管理時(shí)間。
惠普亞太及日本地區(qū)工業(yè)標(biāo)準(zhǔn)服務(wù)器與軟件副總裁兼總經(jīng)理Stephen Bovis表示:“社交媒體、IT消費(fèi)化和不斷變化的人口結(jié)構(gòu)正在改變我們的工作方式,促使企業(yè)不得不應(yīng)對其需求與傳統(tǒng)IT供應(yīng)之間越來越大的差距帶來的挑戰(zhàn)。當(dāng)前基礎(chǔ)設(shè)施的管理模式依然停留在舊時(shí)代,惠普OneView是從根本上變革數(shù)據(jù)中心內(nèi)基礎(chǔ)設(shè)施管理整體方案所邁出的第一步?!?/p>
LSI閃存解決方案
LSI公司日前宣布推出集成VMware虛擬化軟件支持的LSI Nytro XD應(yīng)用加速存儲解決方案。該款帶VMware支持的Nytro XD解決方案可將PCIe閃存卡與專門針對虛擬化環(huán)境而設(shè)計(jì)的智能主機(jī)緩存軟件相結(jié)合。
虛擬化在企業(yè)中普遍存在,但可供IT部門部署的虛擬機(jī)(VM)數(shù)量卻經(jīng)常受到限制,其原因在于硬盤存取緩慢會引起存儲I/O瓶頸問題。LSI Nytro XD解決方案可顯著提高IOPS性能和虛擬機(jī)密度,有助于消除虛擬化環(huán)境中的存儲瓶頸,而且對現(xiàn)有基礎(chǔ)架構(gòu)的影響也是最小的。
LSI Nytro XD解決方案可將訪問最頻繁的“熱”數(shù)據(jù)智能地緩存到低延遲PCIe閃存存儲器中,從而加速虛擬機(jī)中運(yùn)行的應(yīng)用的性能。LSI Nytro XD解決方案能夠快速簡便地與VMware vSphere、vCenter 和vMotion實(shí)現(xiàn)集成,并可通過本地VMware管理實(shí)現(xiàn)對系統(tǒng)管理的透明化。
LSI NytroXD解決方案為客戶帶來的優(yōu)勢包括:
·智能地將熱數(shù)據(jù)自動緩存到PCIe 閃存存儲器上,以更低成本加速現(xiàn)有SAN、DAS和NAS(僅VMware)存儲設(shè)備的性能。
·虛擬機(jī)密度提高3倍,可實(shí)現(xiàn)服務(wù)器整合,減少機(jī)架空間需求,并降低功耗、制冷及許可成本。
·提高CPU利用率,使閑置的CPU支持更多的業(yè)務(wù)應(yīng)用。
這一年電商價(jià)格大戰(zhàn)時(shí),不少小家電制造業(yè)面對網(wǎng)絡(luò)渠道商的強(qiáng)硬降價(jià)策略,不得不采取自損毛利跟進(jìn)降價(jià),但蘇泊爾沒有盲目跟進(jìn),而是根據(jù)BI系統(tǒng)當(dāng)日報(bào)表中呈現(xiàn)的各項(xiàng)相關(guān)毛利數(shù)據(jù)分析,選擇部分品類去跟進(jìn)促銷。
這種應(yīng)對策略有效地避免了企業(yè)陷入價(jià)格戰(zhàn)后造成的多輸局面,使蘇泊爾既避免了客戶的流失,又守住了市場和利潤。
除此之外,報(bào)表中還會反映出采取相應(yīng)措施的信息,比如當(dāng)某個(gè)區(qū)域的品類達(dá)成率降低到60%以下,報(bào)表中會做出分析,給出一系列可采取的措施,相關(guān)負(fù)責(zé)人就可以馬上行動。針對競爭對手隨時(shí)推出的促銷政策,報(bào)表也做出一系列分析并給出解決方案,為迅速調(diào)整營銷策略提供“數(shù)據(jù)彈藥”。
“每天打開電腦就能夠看到實(shí)時(shí)的數(shù)據(jù),對做具體業(yè)務(wù)的管理者非常有意義。想看哪個(gè)數(shù)據(jù),想控制哪個(gè)節(jié)點(diǎn),隨時(shí)都可以看到并進(jìn)行管控,這個(gè)是管理時(shí)效性的價(jià)值?!?蘇泊爾副總裁王豐禾說,現(xiàn)在BI系統(tǒng)已經(jīng)成為蘇泊爾50多個(gè)高管每天必看的經(jīng)營指南。
通過國際并購快速發(fā)展的蘇泊爾走的是傳統(tǒng)民營企業(yè)的管理模式,雖然蘇泊爾旗下四大事業(yè)部,六大生產(chǎn)基地和各地分公司很早就使用了SAP管理系統(tǒng)。但由于沒有統(tǒng)一的流程和規(guī)范,而且手工操作的項(xiàng)目過多,導(dǎo)致報(bào)表的數(shù)據(jù)匯總速度慢,準(zhǔn)確度不高,直接影響高層的分析與決策,并使工作管理效率低下,不能對瞬息萬變的市場進(jìn)行快速反應(yīng)。蘇泊爾信息中心現(xiàn)任IT總監(jiān)王波舉例說:“比如成本分?jǐn)?,這個(gè)基地可能將費(fèi)用記在某個(gè)科目,而另一個(gè)基地可能就記在了另一個(gè)科目上?!?/p>
為了獲得準(zhǔn)確的數(shù)據(jù)、支持公司高層的分析決策,也為了讓SAP管理系統(tǒng)發(fā)揮其應(yīng)有的作用,2009年,蘇泊爾開始對已有的SAP系統(tǒng)進(jìn)行優(yōu)化。2010年,王波從GE進(jìn)入到蘇泊爾,擔(dān)任這一項(xiàng)目的主要負(fù)責(zé)人。王波認(rèn)為,IT要體現(xiàn)業(yè)務(wù)價(jià)值,IT戰(zhàn)略的制定不僅要關(guān)注業(yè)務(wù)需求,還要關(guān)注行業(yè)發(fā)展。他判斷蘇泊爾的競爭關(guān)鍵在于小家電在渠道和終端上的投入。他在正式啟動SAP項(xiàng)目前作了充分的調(diào)研,并規(guī)劃了以SAP為中心,結(jié)合CRM、BI的總體IT戰(zhàn)略規(guī)劃。
王波確定此次優(yōu)化項(xiàng)目要達(dá)到的目標(biāo)有三:一是保證基層數(shù)據(jù)的準(zhǔn)確,形成有效的管理支撐;二是做到流程規(guī)范,一般的業(yè)務(wù)流程要做到80%一致,財(cái)務(wù)管理流程則是100%一致,以支撐集團(tuán)的標(biāo)準(zhǔn)化管理;三是針對業(yè)務(wù)復(fù)雜度,系統(tǒng)管理的靈活性必須提高,并且系統(tǒng)能支持上百億元的銷售規(guī)模,實(shí)現(xiàn)T+1月結(jié),T+2出管理快報(bào)的目標(biāo)。
王波在系統(tǒng)布局上不僅從企業(yè)內(nèi)部管理考慮,同時(shí)考慮和渠道的協(xié)同效率,終端信息收集和反應(yīng)速度等,并將這些數(shù)據(jù)整合到BI進(jìn)行分析?,F(xiàn)在BI系統(tǒng)可以出每天的銷售日報(bào)、損益日報(bào),多維度的分析為事業(yè)部及總部管理層提供了強(qiáng)有力的決策依據(jù)。
蘇泊爾的IT服務(wù)系統(tǒng)從前端的數(shù)據(jù)采集、店面管理,一直到CRM、商業(yè)智能分析,已經(jīng)擁有了一套完整的管理鏈條。
【關(guān)鍵詞】MySQL;緩存;查詢
在數(shù)據(jù)庫中,用戶可能多次執(zhí)行相同的查詢語句。為了提高查詢效率,數(shù)據(jù)庫會在內(nèi)存在劃分一個(gè)專門的區(qū)域,用來存放用戶最近執(zhí)行的查詢,這塊區(qū)域就是緩存。因?yàn)閮?nèi)存的運(yùn)行速度要比硬盤快的多。為此通過緩存機(jī)制,就可以提高查詢的效率。當(dāng)用戶下一次再執(zhí)行相同查詢時(shí),就可以直接從緩存中獲取數(shù)據(jù),而不用到硬盤中的數(shù)據(jù)文件中去讀取數(shù)據(jù),也可以省去相關(guān)解析的工作。
1.數(shù)據(jù)管理的應(yīng)用
并不是在任何情況下數(shù)據(jù)管理都能夠起到應(yīng)有的效果。如果企業(yè)有一個(gè)不經(jīng)常改變的表并且服務(wù)器受到這個(gè)表的大量的相同查詢時(shí),數(shù)據(jù)管理才能夠起到不錯(cuò)的效果。通常情況下,針對Web的應(yīng)用,效果會比較明顯。如現(xiàn)在在數(shù)據(jù)庫中有一張產(chǎn)品信息表。企業(yè)的用戶需要通過網(wǎng)頁來查詢產(chǎn)品的信息。如果在系統(tǒng)設(shè)計(jì)時(shí),默認(rèn)查詢的結(jié)果是顯示最近一個(gè)月交易過的產(chǎn)品信息。那么每次用戶按默認(rèn)情況查詢產(chǎn)品信息時(shí),將都會從緩存中獲取信息(如果相關(guān)的信息沒有被更新過)。此時(shí)系統(tǒng)查詢的速度就會比較快。
如果企業(yè)有一個(gè)不經(jīng)常改變的表并且服務(wù)器受到這個(gè)表的大量的相同查詢時(shí),筆者就建議大家啟用數(shù)據(jù)管理機(jī)制。在啟動之前,可以先使用命名來查詢現(xiàn)在系統(tǒng)緩存是否開啟。如果查詢的結(jié)果是YES的話,那么就說明系統(tǒng)中已經(jīng)開啟了數(shù)據(jù)管理機(jī)制。
只有當(dāng)數(shù)據(jù)庫里已經(jīng)有了足夠多的測試數(shù)據(jù)時(shí),它的性能測試結(jié)果才有實(shí)際參考價(jià)值。如果在測試數(shù)據(jù)庫里只有幾百條數(shù)據(jù)記錄,它們往往在執(zhí)行完第一條查詢命令之后就被全部加載到內(nèi)存里。
2. 使用數(shù)據(jù)管理的方式
并不是在任何情況下,數(shù)據(jù)管理都會起到改善查詢的效果。在以下幾種情況,數(shù)據(jù)管理機(jī)制的效果并不會很大。
一是查詢所涉及到的表會經(jīng)常更改。如在一個(gè)進(jìn)銷存管理系統(tǒng)中,可能會有產(chǎn)品與銷售記錄兩張表格。產(chǎn)品表一般不怎么會更新,而銷售記錄表就可能每分鐘都會發(fā)生變化。此時(shí)對于銷售記錄表來說,采用緩存機(jī)制就不會起到多大的效果。因?yàn)楦鶕?jù)緩存的工作原理,當(dāng)某個(gè)表被更改后,其對應(yīng)的數(shù)據(jù)管理的相關(guān)條目就會被清空。
二是查詢緩存不使用與服務(wù)器方便些的語句。根據(jù)B/S或者C/S架構(gòu),可以將相關(guān)應(yīng)用分為服務(wù)器斷和客戶端兩類。在使用數(shù)據(jù)管理時(shí),數(shù)據(jù)庫管理員要考慮到,在MySQL數(shù)據(jù)庫中,查詢緩存并不適用于服務(wù)器方所編寫的查詢語句。當(dāng)數(shù)據(jù)庫管理員正在使用服務(wù)器方編寫的語句時(shí),要注意到這些語句并不會應(yīng)用緩存技術(shù)。
三是查詢時(shí)使用緩存的兩個(gè)基本條件:所采用的查詢語句完全一致。不僅包括查詢的字段,也包括查詢的條件。如果用戶查詢一個(gè)產(chǎn)品信息表,使用了查詢條件,只查詢最近一個(gè)月新建的產(chǎn)品信息。顯然此時(shí)查詢的結(jié)果是查詢的子集,應(yīng)該可以使用數(shù)據(jù)管理。數(shù)據(jù)庫仍然會先重新解析SQL語句,然后從硬盤上的數(shù)據(jù)文件中去獲取數(shù)據(jù)。
數(shù)據(jù)類型的大小也會影響到基礎(chǔ)表的大小。如對于MEDIUMINT和INT兩個(gè)數(shù)據(jù)類型,其都可以用來保存整數(shù)型的數(shù)據(jù),只是其能夠保存的精度不同而已。
用戶在查詢語句中,使用了自定義函數(shù)、自定義變量或者因引用了系統(tǒng)數(shù)據(jù)庫中的表,那么緩存機(jī)制可能會失效。
3.提高數(shù)據(jù)管理的使用效率
通過數(shù)據(jù)庫的合理設(shè)計(jì),可以提高緩存的使用效率,擴(kuò)大緩存的使用領(lǐng)域。具體的說,數(shù)據(jù)庫管理員可以從如下幾個(gè)方面出發(fā)。
⑴根據(jù)數(shù)據(jù)變化的頻率來分解表
如現(xiàn)在有產(chǎn)品基本資料與產(chǎn)品最新庫存兩部分內(nèi)容。在不考慮緩存的情況下,可以將產(chǎn)品基本資料與產(chǎn)品庫存放在同一個(gè)表中,然后通過其他作業(yè)來更新這個(gè)庫存數(shù)量。如此的話,在前臺界面中,就可以直觀的反映出產(chǎn)品的庫存數(shù)量。但是從緩存的設(shè)計(jì)角度來看,這么操作并不是很合理。因?yàn)楫a(chǎn)品信息相對來說不怎么會變化,而庫存數(shù)量卻經(jīng)常在發(fā)生變化。如果將他們放在同一張表上,由于庫存數(shù)量的不斷更新,數(shù)據(jù)管理中的內(nèi)容就會不斷被清空(與產(chǎn)品信息表相關(guān)的數(shù)據(jù)管理)。此時(shí)如果很多用戶要查詢產(chǎn)品的描述、規(guī)格(他們可能并不關(guān)注產(chǎn)品的庫存),那么他們就無法使用數(shù)據(jù)管理。因?yàn)榫彺嬷袥]有相關(guān)的數(shù)據(jù)(由于庫存數(shù)量不斷變化而被清空)。
遇到這種情況時(shí),數(shù)據(jù)庫管理員就可以將庫存數(shù)量與產(chǎn)品基本信息存放在兩張不同的表上,然后通過關(guān)鍵字來進(jìn)行關(guān)聯(lián)。這么做的好處就是庫存數(shù)量更新并不會影響到產(chǎn)品基本信息表所對應(yīng)的數(shù)據(jù)管理(他們是兩張表)。從而提高產(chǎn)品信息查詢時(shí)的緩存命中率。
⑵采用默認(rèn)條件的查詢
在上面的分析中筆者談到,要兩條完全相同的SQL語句才能夠使用緩存。條件不同或者使用的字段不同,數(shù)據(jù)庫系統(tǒng)都不會使用緩存來進(jìn)行查詢優(yōu)化。
采用默認(rèn)條件的查詢來提高緩存命中率。如在設(shè)計(jì)產(chǎn)品信息查詢這個(gè)功能,可以考慮默認(rèn)查詢?nèi)啃畔⒒蛘咧付硞€(gè)固定的條件。如此就可以提高緩存的命中率。而不要在不同的用戶界面設(shè)置不同的默認(rèn)值。某些應(yīng)用系統(tǒng),為了提高界面的友好性,會給用戶提供一些個(gè)性化設(shè)置的參數(shù),以保存用戶的個(gè)性化內(nèi)容。此時(shí)雖然可以提高界面的人性化,但是顯然會降低數(shù)據(jù)管理的命中率。遇到這種情況時(shí),數(shù)據(jù)庫管理員就需要在人性化設(shè)計(jì)與系統(tǒng)的查詢性能之間進(jìn)行均衡。
不同的應(yīng)用針對同一個(gè)表格的相同查詢,其查詢語句最好相同。如現(xiàn)在對于產(chǎn)品信息,即可以通過產(chǎn)品信息窗口進(jìn)行查詢,也可以根據(jù)報(bào)表來查詢。此時(shí)其對應(yīng)的后臺表格是相同的。只要其執(zhí)行的查詢語句相同、并且在這段時(shí)間之內(nèi)數(shù)據(jù)庫表格沒有發(fā)生變化,那么系統(tǒng)就可以從緩存中獲取數(shù)據(jù)。在實(shí)際工作中,窗體與報(bào)表往往是有不同的人設(shè)計(jì)與開發(fā)的。不同的用戶之間要統(tǒng)一SQL語句的書寫規(guī)范。項(xiàng)目管理員要根據(jù)實(shí)際情況來制定相關(guān)的規(guī)則。
⑶提高緩存空間大小來提高數(shù)據(jù)庫的緩存使用率
當(dāng)數(shù)據(jù)管理滿時(shí),新的數(shù)據(jù)會覆蓋舊的數(shù)據(jù)。在這種情況下,即使查詢的語句相同、表格也沒有發(fā)生變化,數(shù)據(jù)庫系統(tǒng)仍然要從硬盤上的數(shù)據(jù)文件中去獲取數(shù)據(jù),所以,應(yīng)該增加服務(wù)器上緩存的空間。
總之,MySQL提供了TCP/IP、ODBC和JDBC等多種數(shù)據(jù)庫連接途徑,提供用于管理、檢查、優(yōu)化數(shù)據(jù)庫操作的管理工具。利用MySQL技術(shù)可以很好地對系統(tǒng)的緩存進(jìn)行管理,提高了查詢的效率,提高緩存的使用率,靈活的緩存可以說不僅大大減輕了服務(wù)器的壓力,而且因?yàn)楦焖俚挠脩趔w驗(yàn)而方便了用戶。
參考文獻(xiàn):
[1]《php+mysql完全學(xué)習(xí)手冊》黃桂金,清華大學(xué)出版社,2008-6.
[2]《mysql高效編程》王志剛,人民郵電出版社,2012-1.
[3]《php+mysql動態(tài)網(wǎng)站開發(fā)指南》楊智宇,科學(xué)出版社,2008-6.
關(guān)鍵詞:數(shù)據(jù)管理 數(shù)據(jù)庫技術(shù) 發(fā)展
數(shù)據(jù)管理包括數(shù)據(jù)的分類、組織、編碼、存儲、檢索和維護(hù)等,數(shù)據(jù)管理技術(shù)的發(fā)展與計(jì)算機(jī)硬件、軟件的發(fā)展及計(jì)算機(jī)應(yīng)用的范圍密切相關(guān)。迄今為止,計(jì)算機(jī)數(shù)據(jù)管理技術(shù)的發(fā)展經(jīng)歷了四個(gè)階段:
一、人工管理階段
這一階段是指20世紀(jì)50年代中期以前,一般公認(rèn)世界上第一臺計(jì)算機(jī)于1946年誕生,這期間,計(jì)算機(jī)主要用于科學(xué)計(jì)算,其它工作還沒展開。硬件方面:還沒出現(xiàn)可直接存取數(shù)據(jù)的存儲設(shè)備,主要依靠磁帶、卡片和紙帶來讀寫程序和數(shù)據(jù)。軟件方面:操作系統(tǒng)還沒產(chǎn)生,也無專門的數(shù)據(jù)管理軟件,主要依靠機(jī)器語言和匯編語言編程。由于沒有專門的數(shù)據(jù)管理軟件,我們將這一階段稱為—人工管理階段。該階段的特點(diǎn)是:
①數(shù)據(jù)不保存。計(jì)算時(shí)數(shù)據(jù)與程序一起輸入內(nèi)存,運(yùn)算處理后將結(jié)果數(shù)據(jù)輸出,隨著計(jì)算任務(wù)的完成,數(shù)據(jù)空間隨著程序空間一起被釋放。
②數(shù)據(jù)服務(wù)應(yīng)用。數(shù)據(jù)處于從屬地位,一組數(shù)據(jù)對應(yīng)一個(gè)程序(應(yīng)用)。數(shù)據(jù)與程序不獨(dú)立。
③數(shù)據(jù)組織依靠人工。數(shù)據(jù)的存儲結(jié)構(gòu)、存取方法、輸入輸出等必須由程序員自行設(shè)計(jì)與安排。
二、文件系統(tǒng)階段
20世紀(jì)50年代后期~60年代中期,計(jì)算機(jī)不僅用于科學(xué)計(jì)算也開始大量用于信息管理。隨著數(shù)據(jù)量的增加、數(shù)據(jù)的存儲、檢索和維護(hù)問題成為緊迫的需要。硬件方面出現(xiàn)了磁盤等直接存取存儲設(shè)備,軟件方面產(chǎn)生了高級語言和操作系統(tǒng)。操作系統(tǒng)中的文件系統(tǒng)是專門管理數(shù)據(jù)的軟件。數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)管理技術(shù)迅速發(fā)展起來。這一階段的數(shù)據(jù)管理有以下特點(diǎn):
①數(shù)據(jù)可長期積存。對數(shù)據(jù)的維護(hù)與使用提供了可能。
②文件形式多樣化。有索引文件、鏈表文件和直接存取文件等。但文件之間相互獨(dú)立,數(shù)據(jù)之間的聯(lián)系要通過程序構(gòu)造。
③數(shù)據(jù)相對獨(dú)立。數(shù)據(jù)可被多個(gè)程序重復(fù)使用。
④數(shù)據(jù)的存取基本上以記錄為單位。
隨著數(shù)據(jù)管理規(guī)模的擴(kuò)大,數(shù)據(jù)量急劇增加,文件系統(tǒng)顯露出以下三個(gè)不足:
①數(shù)據(jù)冗余。由于文件之間氣管聯(lián)系,造成每個(gè)應(yīng)用程序都有對應(yīng)的文件(數(shù)據(jù)),勢必會造成同樣的數(shù)據(jù)在多個(gè)文件中同時(shí)存儲。
②數(shù)據(jù)不一致。由于存在數(shù)據(jù)冗余,在對數(shù)據(jù)進(jìn)行更新操作時(shí),就要通盤考慮,稍不謹(jǐn)慎,就可能造成同樣的數(shù)據(jù)在不同的文件中不一樣。
③數(shù)據(jù)聯(lián)系弱。數(shù)據(jù)文件相對獨(dú)立,要通過程序來構(gòu)造它們之間的聯(lián)系。
三、數(shù)據(jù)庫系統(tǒng)階段
20世紀(jì)60年代后期,計(jì)算機(jī)應(yīng)用于管理的規(guī)模更加龐大,數(shù)據(jù)量急劇增加,同時(shí)多種應(yīng)用、多種語言互相覆蓋地共享數(shù)據(jù)集合的要求也越來越強(qiáng)烈。僅對文件系統(tǒng)及功能加以擴(kuò)充已不能滿足需要。其時(shí),計(jì)算機(jī)硬件、軟件有了進(jìn)一步的發(fā)展。硬件方面:磁盤技術(shù)取得重要進(jìn)展,大容量、高速存取磁盤相繼推出,且成本下降。軟件方面:出現(xiàn)了統(tǒng)一管理數(shù)據(jù)的專門軟件系統(tǒng)――數(shù)據(jù)庫管理系統(tǒng)(DBMS)。這些都為數(shù)據(jù)庫技術(shù)的產(chǎn)生提供了良好的物質(zhì)條件和理論基礎(chǔ)。數(shù)據(jù)管理技術(shù)進(jìn)入數(shù)據(jù)庫系統(tǒng)階段的標(biāo)志性三大事件為:
⑴1968年美國國際商用機(jī)器公司IBM(International Business Machine)公司推出了IMS(Information Management System)系統(tǒng),該系統(tǒng)支持的是層次結(jié)構(gòu)數(shù)據(jù)模型。
⑵1969年美國數(shù)據(jù)系統(tǒng)語言協(xié)會CODASYL(Conference On Data System Language)下屬的數(shù)據(jù)庫任務(wù)組DBTG(DataBase Task Group)公布了若干報(bào)告(稱為DBTG報(bào)告),提出了網(wǎng)狀結(jié)構(gòu)數(shù)據(jù)模型。
⑶1970年起,IBM的研究員E·F·Codd發(fā)表一系列論文,提出關(guān)系模型,奠定了關(guān)系數(shù)據(jù)庫的理論基礎(chǔ)。
概括數(shù)據(jù)庫系統(tǒng)管理數(shù)據(jù)的方式具有以下特點(diǎn):
①采用數(shù)據(jù)模型表示數(shù)據(jù)結(jié)構(gòu)。用數(shù)據(jù)模型描述數(shù)據(jù)本身的特點(diǎn)和數(shù)據(jù)之間的聯(lián)系,且這種聯(lián)系通過存取路徑(指針)來實(shí)現(xiàn)整體數(shù)據(jù)的結(jié)構(gòu)化。由于數(shù)據(jù)不再面向某一特定的應(yīng)用,而是面向整個(gè)應(yīng)用系統(tǒng),因而數(shù)據(jù)冗余明顯降低,實(shí)現(xiàn)了數(shù)據(jù)共享。
②具有較高的數(shù)據(jù)獨(dú)立性。數(shù)據(jù)庫體系結(jié)構(gòu)分成用戶邏輯結(jié)構(gòu)(外模式)、整體邏輯結(jié)構(gòu)(概念模式)、物理結(jié)構(gòu)(內(nèi)模式)三級。數(shù)據(jù)物理結(jié)構(gòu)的改變不影響整體邏輯結(jié)構(gòu)、用戶邏輯結(jié)構(gòu)及應(yīng)用程序,即達(dá)成數(shù)據(jù)的物理獨(dú)立。而整體邏輯結(jié)構(gòu)改變,不影響用戶邏輯結(jié)構(gòu),以達(dá)成數(shù)據(jù)的邏輯獨(dú)立。
③為用戶提供了方便的口。用戶可以使用查詢語言或命令操作數(shù)據(jù)庫,也可以用程序方式來操作數(shù)據(jù)庫。
④提供完善的數(shù)據(jù)控制功能。數(shù)據(jù)庫系統(tǒng)提供四方面的數(shù)據(jù)控制,以確保數(shù)據(jù)的安全與完整:
■ 并發(fā)控制:確保多用戶同時(shí)存取數(shù)據(jù)時(shí)的數(shù)據(jù)完整性。
■ 數(shù)據(jù)庫恢復(fù):有意或無意造成部分或全部數(shù)據(jù)破壞后能恢復(fù)到某一已知正確狀態(tài)。
■ 數(shù)據(jù)完整性:確保數(shù)據(jù)的正確、有效、相容。
■ 數(shù)據(jù)安全性:防止不合法使用造成數(shù)據(jù)的泄露和破壞,保證數(shù)據(jù)的安全和機(jī)密。
四、高級數(shù)據(jù)庫技術(shù)階段
這一階段起始于20世紀(jì)80年代初,其主要標(biāo)志是分布式數(shù)據(jù)庫系統(tǒng)DDBS(Distributed DataBases System)和面向?qū)ο髷?shù)據(jù)庫系統(tǒng)OODBS(Object-Oriented DataBases System)的出現(xiàn)。
①分布式數(shù)據(jù)庫技術(shù)
分布式數(shù)據(jù)庫技術(shù)是傳統(tǒng)的集中式數(shù)據(jù)庫技術(shù)與網(wǎng)絡(luò)技術(shù)融合的產(chǎn)物,其基本特征:一是異地節(jié)點(diǎn)通過數(shù)據(jù)通信網(wǎng)絡(luò)互連;二是數(shù)據(jù)的物理分布性和邏輯整體性;三是本地自治與全局應(yīng)用相結(jié)合。
②面向?qū)ο髷?shù)據(jù)庫技術(shù)
面向?qū)ο蟮臄?shù)據(jù)技術(shù)是傳統(tǒng)集中式數(shù)據(jù)庫技術(shù)與面向?qū)ο蟪绦蛟O(shè)計(jì)技術(shù)結(jié)合的產(chǎn)物,其特點(diǎn)為:一是面向?qū)ο蟮臄?shù)據(jù)模型能完整描述現(xiàn)實(shí)世界的數(shù)據(jù)結(jié)構(gòu),能表達(dá)數(shù)據(jù)之間的復(fù)雜聯(lián)系,如嵌套與遞歸;二是具有面向?qū)ο蠹夹g(shù)的封裝性和繼承性,提高了軟件的可重用性。
除此之外,數(shù)據(jù)庫技術(shù)與其它新興技術(shù)的結(jié)合產(chǎn)生了許多新的領(lǐng)域如:
并行數(shù)據(jù)庫;主動數(shù)據(jù)庫;知識庫;多媒體數(shù)據(jù)庫;模糊數(shù)據(jù)庫;工程數(shù)據(jù)庫;空間數(shù)據(jù)庫等。
有理由相信,數(shù)據(jù)庫技術(shù)通過不斷完善和提高,它會朝著支持更大規(guī)模、更快速度、更廣泛的應(yīng)用等方向發(fā)展。
參考文獻(xiàn):
[1]劉升,曹紅蘋.數(shù)據(jù)庫系統(tǒng)原理與應(yīng)用,清華大學(xué)出版社,2012.
大數(shù)據(jù)管理與大數(shù)據(jù)應(yīng)用都離不開大數(shù)據(jù)技術(shù),但更離不開大數(shù)據(jù)人才。沒有人才,再先進(jìn)的設(shè)備只能是“豪華擺設(shè)”;沒有人才,再先進(jìn)的技術(shù)也只能是“紙上談兵”。因此,推進(jìn)大數(shù)據(jù)管理,除了需要培養(yǎng)一大批優(yōu)秀的IT人才外,還迫切需要培養(yǎng)一大批大數(shù)據(jù)人才———數(shù)據(jù)管理師、數(shù)據(jù)分析師,造就一批數(shù)據(jù)科學(xué)家等高端人才。因?yàn)橹挥兴麄儾拍荞{輕就熟處理海量的信息,并從中挖掘出“數(shù)據(jù)財(cái)富”。此外,面對全體員工傳播大數(shù)據(jù)知識,普及大數(shù)據(jù)技術(shù),培訓(xùn)大數(shù)據(jù)技能,奠定推進(jìn)大數(shù)據(jù)管理的群眾基礎(chǔ)和技術(shù)基礎(chǔ),同樣也是一項(xiàng)長期而艱巨的任務(wù)。
二、構(gòu)筑大數(shù)據(jù)管理“一站式”工程,建設(shè)“大數(shù)據(jù)管理智庫”新平臺
1.加強(qiáng)內(nèi)、外部數(shù)據(jù)的“一站式”管理。對企業(yè)來說,數(shù)據(jù)無處不在,無時(shí)不有,究其來源,無非企業(yè)內(nèi)部和外部兩個(gè)渠道。內(nèi)部數(shù)據(jù)的活水源頭是各單位、各部門、各專業(yè)的統(tǒng)計(jì)報(bào)表提供的數(shù)據(jù);外部數(shù)據(jù)一方面是國家管理部門、行業(yè)管理部門、權(quán)威機(jī)構(gòu)等的統(tǒng)計(jì)數(shù)據(jù),另一方面是來自互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、各種傳感器等信息感知和采集終端采集的數(shù)據(jù)。這些數(shù)據(jù),日積月累,最終“百川歸?!?,匯成大數(shù)據(jù)的海洋。大數(shù)據(jù)時(shí)代,企業(yè)通過建立“大數(shù)據(jù)管理智庫”,打破渠道的邊界,把不同來源的數(shù)據(jù)整合在一起,實(shí)施一站式管理,讓數(shù)據(jù)時(shí)時(shí)刻刻為企業(yè)提供服務(wù)。2.注重?cái)?shù)據(jù)挖掘環(huán)節(jié)的“一站式”管理。企業(yè)數(shù)據(jù)挖掘過程也是數(shù)據(jù)發(fā)現(xiàn)和梳理的過程,其有4個(gè)重要環(huán)節(jié):采集、存儲、分析、預(yù)測。企業(yè)建立了“大數(shù)據(jù)管理智庫”,對這4個(gè)環(huán)節(jié)實(shí)施一站式管理,可以大大“提純”數(shù)據(jù)價(jià)值。首先是盡可能采集異源甚至是異構(gòu)的數(shù)據(jù),去偽存真,多角度驗(yàn)證數(shù)據(jù)的全面性和可信性。其次是要用到冗余配置、分布化和云計(jì)算技術(shù),分類、過濾和去重,減少存儲量,同時(shí)加入便于檢索的標(biāo)簽。第三是將高維數(shù)據(jù)降維后度量與處理,利用上下文關(guān)聯(lián)進(jìn)行語義分析,從大量動態(tài)而且可能是模棱兩可的數(shù)據(jù)中綜合信息,導(dǎo)出可理解的內(nèi)容。第四是將數(shù)據(jù)分析后預(yù)測出的結(jié)論應(yīng)用到企業(yè)中去。3.突出價(jià)值鏈上數(shù)據(jù)的“一站式”管理。企業(yè)價(jià)值鏈可以分為基本增值活動和輔增值活動兩大部分?;驹鲋祷顒?,即一般意義上的“生產(chǎn)經(jīng)營環(huán)節(jié)”,如材料供應(yīng)、成品開發(fā)、生產(chǎn)運(yùn)行、成品儲運(yùn)、市場營銷和售后服務(wù)。這些活動都與商品實(shí)體的加工流轉(zhuǎn)直接相關(guān);輔增值活動,包括組織建設(shè)、人事管理、技術(shù)開發(fā)和采購管理。價(jià)值鏈的每一個(gè)環(huán)節(jié)都有相伴而生的數(shù)據(jù)。過去這些數(shù)據(jù)處在分散狀態(tài)。大數(shù)據(jù)時(shí)代,企業(yè)通過“大數(shù)據(jù)管理智庫”平臺,對這些數(shù)據(jù)實(shí)施一站式管理,有利于每一個(gè)環(huán)節(jié)的價(jià)值再創(chuàng)造和價(jià)值鏈的增值。
三、構(gòu)筑大數(shù)據(jù)管理“一體化”工程,打造“大數(shù)據(jù)管理融合”新生態(tài)
HLR用戶數(shù)據(jù)查詢流程如圖1所示。圖1HLR用戶數(shù)據(jù)查詢流程(1)用戶數(shù)據(jù)管理子系統(tǒng)的DPUPGW(1)用戶數(shù)據(jù)管理子系統(tǒng)的DPUPGW發(fā)送查詢指令至DSG,DSG(DataServiceGateway)根據(jù)DCI(DSCallInterface)消息中的路由鍵信息選擇對應(yīng)的DRUCluster,再根據(jù)負(fù)載均衡選擇一個(gè)DRU(DataRoutingUnit)節(jié)點(diǎn),然后發(fā)送DCI消息給該節(jié)點(diǎn)。(2)DRU節(jié)點(diǎn)根據(jù)DCI消息中的路由鍵信息查找對應(yīng)的DSUCluster,分析后得出消息的操作類型為數(shù)據(jù)查詢,根據(jù)負(fù)載均衡算法把消息發(fā)送到DSUCluster中的一個(gè)節(jié)點(diǎn)。(3)DSU(DataServiceUnit)節(jié)點(diǎn)查詢本節(jié)點(diǎn)數(shù)據(jù)并組裝響應(yīng)消息,發(fā)送響應(yīng)消息給DRU節(jié)點(diǎn)。(4)DRU節(jié)點(diǎn)返回操作結(jié)果給DSG。
2、HLR用戶數(shù)據(jù)修改流程
HLR用戶數(shù)據(jù)修改流程如圖2所示。(1)DSG根據(jù)DCI消息中的路由鍵信息選擇對應(yīng)的DRUCluster,再根據(jù)負(fù)載均衡選擇一個(gè)DRU節(jié)點(diǎn),然后發(fā)送DCI消息給該節(jié)點(diǎn)。(2)DRU節(jié)點(diǎn)根據(jù)DCI消息中的路由鍵信息查找對應(yīng)的DSUCluster,分析后得出消息的操作類型為數(shù)據(jù)修改,把消息發(fā)送到DSUCluster中的Master節(jié)點(diǎn)。(3)DSUMaster節(jié)點(diǎn)修改本節(jié)點(diǎn)數(shù)據(jù)成功后,發(fā)送復(fù)制消息給同一個(gè)Cluster中Slave節(jié)點(diǎn),并等待其響應(yīng)消息。(4)DSUSlave節(jié)點(diǎn)收到復(fù)制消息,修改本節(jié)點(diǎn)數(shù)據(jù)成功后,發(fā)送響應(yīng)消息給Master節(jié)點(diǎn)。(5)DSUMaster節(jié)點(diǎn)發(fā)送響應(yīng)消息給DRU節(jié)點(diǎn)。(6)DRU返回操作結(jié)果給DSG。
3、HLR用戶數(shù)據(jù)開戶流程
HLR用戶數(shù)據(jù)開戶流程如圖3所示。(1)DSG根據(jù)DCI消息中的路由鍵信息選擇對應(yīng)的DRUCluster,再根據(jù)負(fù)載均衡選擇一個(gè)DRU節(jié)點(diǎn),然后發(fā)送DCI消息給該節(jié)點(diǎn)。(2)DRU節(jié)點(diǎn)根據(jù)DCI消息中的路由鍵信息查找對應(yīng)的DSUCluster,分析后得出消息的操作類型為數(shù)據(jù)開戶,把消息發(fā)送到DSUCluster中的Master節(jié)點(diǎn)。(3)DSUMaster節(jié)點(diǎn)發(fā)送路由更新消息給DRUMaster節(jié)點(diǎn)。(4)DRUMaster節(jié)點(diǎn)修改本節(jié)點(diǎn)數(shù)據(jù)成功后,發(fā)送復(fù)制消息給同一個(gè)Cluster中Slave節(jié)點(diǎn),并等待其響應(yīng)消息。(5)DRUSlave節(jié)點(diǎn)收到復(fù)制消息,修改本節(jié)點(diǎn)數(shù)據(jù)成功后,發(fā)送響應(yīng)消息給Master節(jié)點(diǎn)。(6)DRU返回操作結(jié)果給DSUMaster節(jié)點(diǎn)。(7)DSUMaster節(jié)點(diǎn)修改本節(jié)點(diǎn)數(shù)據(jù)成功后,發(fā)送復(fù)制消息給同一個(gè)Cluster中Slave節(jié)點(diǎn),并等待其響應(yīng)消息。(8)DSUSlave節(jié)點(diǎn)收到復(fù)制消息,修改本節(jié)點(diǎn)數(shù)據(jù)成功后,發(fā)送響應(yīng)消息給Master節(jié)點(diǎn)。(9)DSUMaster節(jié)點(diǎn)發(fā)送響應(yīng)消息給DRU節(jié)點(diǎn)。(10)DRU返回操作結(jié)果給DSG。
4、結(jié)束語
【關(guān)鍵詞】云計(jì)算;云數(shù)據(jù)管理;技術(shù)
中圖分類號: C37 文獻(xiàn)標(biāo)識碼: A 文章編號:
一、前言
云計(jì)算和云數(shù)據(jù)管理技術(shù)越來越受到人類的重視,目前科技越來越發(fā)達(dá),云計(jì)算和云數(shù)據(jù)的管理技術(shù)成為了科技研究的熱點(diǎn)問題之一,云計(jì)算作為一個(gè)新興的技術(shù),已經(jīng)和云數(shù)據(jù)管理一起,為人類的文明作出了進(jìn)一步的貢獻(xiàn)。
二、云計(jì)算概念
云計(jì)算(cloud computing)是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式,通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說法。過去在圖中往往用云來表示電信網(wǎng),后來也用來表示互聯(lián)網(wǎng)和底層基礎(chǔ)設(shè)施的抽象。狹義云計(jì)算指IT基礎(chǔ)設(shè)施的交付和使用模式,指通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需資源;廣義云計(jì)算指服務(wù)的交付和使用模式,指通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需服務(wù)。這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān),也可是其他服務(wù)。它意味著計(jì)算能力也可作為一種商品通過互聯(lián)網(wǎng)進(jìn)行流通。
三、云計(jì)算的關(guān)鍵技術(shù)
1虛擬化技術(shù)
虛擬化技術(shù)是指計(jì)算元件在虛擬的基礎(chǔ)上而不是真實(shí)的基礎(chǔ)上運(yùn)行,它可以擴(kuò)大硬件的容量,簡化軟件的重新配置過程,減少軟件虛擬機(jī)相關(guān)開銷和支持更廣泛的操作系統(tǒng)方面。通過虛擬化技術(shù)可實(shí)現(xiàn)軟件應(yīng)用與底層硬件相隔離,它包括將單個(gè)資源劃分成多個(gè)虛擬資源的裂分模式,也包括將多個(gè)資源整合成一個(gè)虛擬資源的聚合模式。
2分布式海量數(shù)據(jù)存儲
云計(jì)算系統(tǒng)由大量服務(wù)器組成,同時(shí)為大量用戶服務(wù),因此云計(jì)算系統(tǒng)采用分布式存儲的方式存儲數(shù)據(jù),用冗余存儲的方式(集群計(jì)算、數(shù)據(jù)冗余和分布式存儲)保證數(shù)據(jù)的可靠性。
3海量數(shù)據(jù)管理技術(shù)
云計(jì)算需要對分布的、海量的數(shù)據(jù)進(jìn)行處理、分析,因此,數(shù)據(jù)管理技術(shù)必需能夠高效的管理大量的數(shù)據(jù)。云計(jì)算系統(tǒng)中的數(shù)據(jù)管理技術(shù)主要是Google的BT(BigTable)數(shù)據(jù)管理技術(shù)和Hadoop團(tuán)隊(duì)開發(fā)的開源數(shù)據(jù)管理模塊HBase。
四、云數(shù)據(jù)管理系統(tǒng)(CDMS)基本原理
雖然 GFS、HDFS、S3 等分布式文件系統(tǒng)較好地解決了云計(jì)算中海量數(shù)據(jù)的組織問題,能夠高效讀寫“云端”海量數(shù)據(jù),但對于結(jié)構(gòu)化數(shù)據(jù)的管理仍需要借助專門的數(shù)據(jù)管理系統(tǒng)。 兩者之間的關(guān)系或分工,類似于操作系統(tǒng)中負(fù)責(zé)文件組織的文件系統(tǒng)和負(fù)責(zé)結(jié)構(gòu)化數(shù)據(jù)管理的數(shù)據(jù)庫管理系統(tǒng)(DBMS)。 云數(shù)據(jù)管理必須有效地解決云計(jì)算中大數(shù)據(jù)集的高效管理、海量數(shù)據(jù)定數(shù)據(jù)的快速定位等問題。Google 的 BigTable、Hadoop 的 HBase、Sector/Sphere都是目前相對比較成熟的云數(shù)據(jù)管理系統(tǒng)。BigTable 是 Google 為有效管理大規(guī)模結(jié)構(gòu)化數(shù)據(jù)而設(shè)計(jì)的分布式存儲系統(tǒng),例如數(shù)千臺服務(wù)器的上 PB(petabytes)級規(guī)模的數(shù)據(jù)。
1 BigTable 原理
BigTable 在很多地方與數(shù)據(jù)庫很類似, 使用了很多數(shù)據(jù)庫的實(shí)現(xiàn)策略。 但不支持完全的關(guān)系數(shù)據(jù)模型,而是為客戶提供了簡單的數(shù)據(jù)模型。 BigTable 對數(shù)據(jù)讀操作進(jìn)行優(yōu)化,采用列存儲的方式,提高數(shù)據(jù)讀取效率。 BigTable 的基本元素包括行 (row)、 列族 (column families) 和時(shí)間戳(Timestamps)等。 其中,行關(guān)鍵字可以是任意字符串(目前支持最多 64 KB,多數(shù)情況下 10~100 字節(jié)足夠),在一個(gè)行關(guān)鍵字下的每一個(gè)讀寫操作都是原子操作(不管讀寫這一行里有多少個(gè)不同列), 這樣在對同一行進(jìn)行并發(fā)操作時(shí),用戶對于系統(tǒng)行為更容易理解和掌控。 列族由一組同一類型的列關(guān)鍵字組成,是訪問控制的基本單位。 列族必須先創(chuàng)建,然后能在其中的列關(guān)鍵字下存放數(shù)據(jù);列族創(chuàng)建后,族中任何一個(gè)列關(guān)鍵字均可使用。時(shí)間戳可以由 BigTable 來賦值,表示準(zhǔn)確到毫秒的“實(shí)時(shí)”或者由用戶應(yīng)用程序來賦值。 不同版本的表項(xiàng)內(nèi)容按時(shí)間戳倒序排列,即最新的排在前面。 為了簡化對于不同數(shù)據(jù)版本的數(shù)據(jù)的管理,對每一個(gè)列族支持兩個(gè)設(shè)定, 以便于 BigTable 對表項(xiàng)的版本自動進(jìn)行垃圾清除。用戶可以指明只保留表項(xiàng)的最后 n 個(gè)版本,或者只保留足夠新的版本(比如只保留最近 7 天的內(nèi)容)。
SSTable 提供一個(gè)從關(guān)鍵字到值持續(xù)有序的映射,關(guān)鍵字和值都可以是任意字符串。 塊索引(block index)存儲在 SSTable 的最后,用來定位數(shù)據(jù)塊。 Chubby是 BigTable 采用的一個(gè)高度可用的持續(xù)分布式數(shù)據(jù)鎖服務(wù)。 每個(gè) Chubby 服務(wù)由 5 個(gè)活的備份構(gòu)成,其中一個(gè)為主備份并響應(yīng)服務(wù)請求。 只有當(dāng)大多數(shù)備份都保持運(yùn)行并保持互相通信時(shí),相應(yīng)的服務(wù)才是活動的。 當(dāng)有備份失效時(shí),Chubby 使用 Paxos算法來保證備份的一致性。
2 、HBase 原理
HBase是 Hadoop的子項(xiàng)目,是目前比較成熟的云數(shù)據(jù)管理開源解決方案之一。 HBase 采用與 Bigtable 非常相似的數(shù)據(jù)模型。 用戶存儲數(shù)據(jù)行(data row)在一個(gè)標(biāo)識表(labelled table)中,一個(gè)數(shù)據(jù)行有一個(gè)可排序的主鍵或分類鍵 (sortable key) 和 任 意 數(shù) 量 的 列 (column)。 表 是 疏 松(sparsely) 存儲的 ,因此用戶可以根據(jù)需要給同一表中的不同行定義各種不同的列。 每張 HBase 表的索引是行關(guān)鍵字(row key)、列關(guān)鍵字(column key)和時(shí)間戳(timestamp)。 如圖 3所示, 每個(gè)值是一個(gè)很難解釋的字符數(shù)組, 數(shù)據(jù)都是字符串,不區(qū)分類型。
列名字的格式是“:”,都是由字符串組成,每一張表有一個(gè)族(family)集合,這個(gè)集合是固定不變的, 相當(dāng)于表的結(jié)構(gòu), 只能通過改變表結(jié)構(gòu)來改變。 標(biāo)識(label)值相對于每一行來說都是可以改變的 。 Hbase 把同族里面的數(shù)據(jù)存儲在同一個(gè)目錄下, 而 Hbase 的寫操作是鎖行的,每一行都是一個(gè)原子元素,都可以加鎖。 所有數(shù)據(jù)庫的更新都有一個(gè)時(shí)間戳標(biāo)記,每個(gè)更新都是一個(gè)新的版本,系統(tǒng)會保留一定數(shù)量的版本,這個(gè)值是可以設(shè)定的。 用戶可以選擇獲取距離某個(gè)時(shí)間最近的版本,或者一次獲取所有版本。Hbase 遵從如圖 4 所示的簡單主從服務(wù)器架構(gòu), 每個(gè)Hbase 集群通常由單個(gè)主服務(wù)器 (master server)、 數(shù)百個(gè)或更多區(qū)域服務(wù)器(region server)構(gòu)成。 每個(gè) Region 由某個(gè)表的連續(xù)數(shù)據(jù)行組成,從開始主鍵到結(jié)束主鍵,而某張表的所有行保存在一組 Region 中。 通過用表名和開始/結(jié)束主鍵,來區(qū)分不同的 Region。 區(qū)域服務(wù)器主要通過 3 種方式保存數(shù)據(jù):Hmemcache 高速緩存, 保留的是最新寫入的數(shù)據(jù);Hlog 記錄文件,保留的是提交成功了,但未被寫入文件的數(shù)據(jù);Hstores 文件,數(shù)據(jù)的物理存放形式。
3 、Sector/Sphere 原理
參考文獻(xiàn)[43]還從通信協(xié)議、數(shù)據(jù)傳輸協(xié)議、程序設(shè)計(jì)模 式 、 安 全 模 型 等 方 面 對 GFS/BigTable、HDFS/HbaseSector/Sphere 進(jìn)行了比較 。 Robert L Grossman 等在設(shè)計(jì)并實(shí)現(xiàn) Sector/Sphere的基礎(chǔ)上,利用數(shù)據(jù)發(fā)掘應(yīng)用進(jìn)行了性能方面的實(shí)驗(yàn)。
五、云數(shù)據(jù)管理技術(shù)分析
在新興的云計(jì)算數(shù)據(jù)管理領(lǐng)域Google的BigTable,MapReduce和亞馬遜的Dynamo技術(shù)針對云計(jì)算海量數(shù)據(jù)的問題和應(yīng)用特點(diǎn)有了很多創(chuàng)新,綜合來看未來云計(jì)算數(shù)據(jù)管理主要包括以下幾個(gè)層次.其總體架構(gòu)如圖6所示:如圖6所示云計(jì)算數(shù)據(jù)管理層次分為4層,分別為:數(shù)據(jù)組織與管理,數(shù)據(jù)集成與管理,分布式并行處理,數(shù)據(jù)分析.最終實(shí)現(xiàn)對非確定性數(shù)據(jù)的管理與集成,為用戶提供高效的查詢等服務(wù).
六、結(jié)束語
通過分析和研究,我們發(fā)現(xiàn),云計(jì)算雖然成為了人們熱捧的新技術(shù),但是它和云數(shù)據(jù)都面臨著很多的挑戰(zhàn),未來需要我們對云計(jì)算和云數(shù)據(jù)的管理作出進(jìn)一步的分析和探討,以便于更好的使用這兩個(gè)新興的技術(shù)。
參考文獻(xiàn)
[1]吳吉義,傅建慶,張明西,平玲娣 云數(shù)據(jù)管理研究綜述[J].電信科學(xué). 2010(05)
[2]周傲英,金澈清,王國仁,李建中.不確定性數(shù)據(jù)管理技術(shù)研究綜述[J].計(jì)算機(jī)學(xué)報(bào). 2009(01)
關(guān)鍵詞:Web;瀏覽器;PDM
中圖分類號:M14 文獻(xiàn)標(biāo)識碼:A文章編號:1009-3044(2008)28-0092-02
Web Technology and Product Data Management Study
LIU Xia-lai
(Chengdu Precision Optical Engineering Research Center, Chengdu 610041, China)
Abstract:PDM takes a technology, it is depends on the IT technology to realize the enterprise optimization management efficacious device, is product which the scientific management frame and the enterprise realistic question unifies, is the computer technology and the enterprise culture union one product. The modern enterprise enterprise's PDM solution and the Web superiority (Web node's extendibility and easy maintenance, Web technology's unique union-like distribution pattern and so on) to unify in together. This article outlines Web the product data management technology, introduced the Web technology and PDM development PDM simply, production background, PDM network environment.
Key words:Web; Browser; PDM
1 引言
Web技術(shù)是Internet網(wǎng)上衍生的一套服務(wù)技術(shù).在作者看來,Web技術(shù)以及Internet/Intranet所欲達(dá)到的目標(biāo)與PDM技術(shù)有著驚人的相似之處。Internet本身從ARPANET網(wǎng)起家經(jīng)NSFNET發(fā)展到今天,其上已連接100多萬個(gè)網(wǎng)絡(luò),上千萬臺主機(jī),其目前的發(fā)展越來越使人們看到它的確在改變著人和人交流的方式,改變著人們工作、生活和學(xué)習(xí)的傳統(tǒng)方式,并以Internet/Intranet為母體衍生出一系列相關(guān)的Web技術(shù),使得人們更能夠充分利用和開發(fā)Internet/Intranet的潛力。
2 Web技術(shù)與PDM的發(fā)展
2.1 PDM的定義
隨著網(wǎng)絡(luò)、數(shù)據(jù)庫技術(shù)的發(fā)展,以及客戶機(jī)/服務(wù)器與面向?qū)ο蠹夹g(shù)的應(yīng)用,最近幾年P(guān)DM技術(shù)得到了突飛猛進(jìn)的發(fā)展。從狹義上講,PDM僅管理與工程設(shè)計(jì)相關(guān)的領(lǐng)域內(nèi)的信息,而從廣義上講,它可以覆蓋到整個(gè)企業(yè)中從產(chǎn)品的市場需求分析、產(chǎn)品設(shè)計(jì)、制造、銷售、服務(wù)與維護(hù)等過程,即全生命周期中的信息。因此,對于PDM可給出如下定義:
PDM是以軟件為基礎(chǔ),是一門管理所有與產(chǎn)品相關(guān)的信息(包括電子文檔、數(shù)字化文件、數(shù)據(jù)庫記錄等)和所有與產(chǎn)品相關(guān)的過程(包括工作流程和更改流程)的技術(shù)。它提品全生命周期的信息管理,并可在企業(yè)范圍內(nèi)為產(chǎn)品設(shè)計(jì)與制造建立一個(gè)并行化的協(xié)作環(huán)境。
2.2 PDM的功能和目標(biāo)
PDM系統(tǒng)的功能日趨強(qiáng)大,它的主要功能有以下幾個(gè)方面:
1) 電子倉庫和文檔管理
電子倉庫是PDM的核心,它一般建立在關(guān)系型數(shù)據(jù)庫系統(tǒng)的基礎(chǔ)上,通過權(quán)限控制來保證數(shù)據(jù)的安全性和完整性,并支持各種查詢與檢索功能。通過面向?qū)ο蟮臄?shù)據(jù)組織方式,允許用戶迅速地訪問全企業(yè)的產(chǎn)品信息,而不必考慮用戶和數(shù)據(jù)的物理位置。
2) 產(chǎn)品結(jié)構(gòu)與配置管理
產(chǎn)品結(jié)構(gòu)和配置管理也是PDM的核心功能之一,可以對產(chǎn)品結(jié)構(gòu)、配置信息和BOM(bin of material)進(jìn)行管理。
3) 工作流程管理
工作流程管理,它用來定義和控制數(shù)據(jù)操作的基本過程,并對已建立的工作流程進(jìn)行運(yùn)行、維護(hù)、控制工作狀態(tài)以及對工作歷史過程進(jìn)行記載,使產(chǎn)品數(shù)據(jù)與其相關(guān)的過程有機(jī)地結(jié)合起來。
4) 分類及檢索功能
PDM系統(tǒng)需要管理大量的數(shù)據(jù),為了較好的建立、使用與維護(hù)這些數(shù)據(jù),PDM系統(tǒng)提供了快速方便的分類技術(shù)。
2.3 PDM的發(fā)展
產(chǎn)品數(shù)據(jù)管理技術(shù)的應(yīng)用不同于CAX等單元技術(shù),不能拿來即用。它是一種平臺技術(shù),是一個(gè)框架。它是對企業(yè)的設(shè)計(jì)、生產(chǎn)等管理進(jìn)行了一定程度的抽象。對應(yīng)于具體的應(yīng)用環(huán)境,必須對其進(jìn)行針對客戶的定制工作,即將客戶的具體環(huán)境和數(shù)據(jù)填充到產(chǎn)品管理數(shù)據(jù)系統(tǒng)中,置于PDM的管理之下。而且,定制工作具有相當(dāng)大的工作量。目前基于C/C++這種與硬件平臺相關(guān)的PDM產(chǎn)品必然對環(huán)境的適應(yīng)性較差,而企業(yè)中的網(wǎng)絡(luò)必然存在著各種硬件與軟件并存的情況,這無疑是產(chǎn)品數(shù)據(jù)管理面臨的一個(gè)問題。
2.4 WEB技術(shù)的與PDM的結(jié)合
基于Web的分布式PDM的關(guān)鍵技術(shù)包括:數(shù)據(jù)庫技術(shù)、Web技術(shù)。
1) 數(shù)據(jù)庫技術(shù)
PDM的主要目標(biāo)就是有效地管理數(shù)據(jù),以實(shí)現(xiàn)數(shù)據(jù)共享,要實(shí)現(xiàn)這一目標(biāo),首先必須解決數(shù)據(jù)存儲的問題。目前,數(shù)據(jù)存儲主要有兩種形式:一種是以文件形式保存數(shù)據(jù),另一種是以記錄形式將數(shù)據(jù)存放于數(shù)據(jù)庫中。
2) Web技術(shù)
PDM系統(tǒng)作為一種應(yīng)用框架,其對開放性與可擴(kuò)展性的要求與Web的開放性體系結(jié)構(gòu)是相互補(bǔ)充的。應(yīng)用Web技術(shù)可以使PDM系統(tǒng)在異構(gòu)環(huán)境下使用,擴(kuò)展PDM的功能,并支持異地和異構(gòu)環(huán)境下的設(shè)計(jì)、生產(chǎn)與管理。
3 基于Web的產(chǎn)品數(shù)據(jù)管理技術(shù)
3.1 WEB的B/S三層體系結(jié)構(gòu)
系統(tǒng)在開發(fā)過程中將采用WINDOWSNT作為操作系統(tǒng),在企業(yè)局域網(wǎng)內(nèi)進(jìn)行開發(fā),然后擴(kuò)展到Internet。系統(tǒng)可伸縮性以及信息共享程度高,開發(fā)周期短,見效快。
系統(tǒng)開發(fā)中,主要利用JSP技術(shù)為模具企業(yè)設(shè)計(jì)完成B/S模式的注塑模具產(chǎn)品數(shù)據(jù)管理系統(tǒng)。開發(fā)環(huán)境為:客戶端裝有WINDOWSNT操作系統(tǒng)和IE瀏覽器,服務(wù)器端裝有WINDOWS NT Server操作系統(tǒng),Web服務(wù)器采用TOMCAT,數(shù)據(jù)庫服務(wù)器采用SQL Server2000,數(shù)據(jù)庫驅(qū)動程序采用JDBC,主要開發(fā)工具為Jbuilders,Develop2000,Dream weaver等。
3.2 基于WEB的PDM技術(shù)的優(yōu)越性
1) 用戶接口友好
用Web技術(shù)開發(fā)客戶端軟件更便于用戶使用。Web化的DPM系統(tǒng)與其他系統(tǒng)相比只需最少的培訓(xùn),系統(tǒng)實(shí)施的總成本也因此而減少。簡單便宜的Web瀏覽器能讓企業(yè)中更多的人使用PDM系統(tǒng),使他們能方便地在線訪問企業(yè)龐大的信息庫。
2) 更大的適用性
隨著計(jì)算機(jī)數(shù)量的急劇增多,使用Web瀏覽器作為PDM的用戶接口能取得巨大的成本效益。此外,使用Web瀏覽器還能排除在每臺計(jì)算機(jī)上安裝和維護(hù)客戶端軟件的必要。
3) 供應(yīng)鏈的有效鏈接
Web化的PDM系統(tǒng)對供應(yīng)鏈的有效鏈接也有很大的優(yōu)越性,易于改善供應(yīng)各環(huán)節(jié)之間的協(xié)作。
4) 分散企業(yè)的有效聯(lián)合
Web化的PDM系統(tǒng)容許分散在各地的項(xiàng)目小組同時(shí)工作于同一個(gè)項(xiàng)目,每小組能夠查看由不同地區(qū)甚至不同國家的其它小組輸入的信息,這種協(xié)作使企能以最小的代價(jià)把它的專業(yè)人員聚在一起來完成項(xiàng)目,這種在世界范圍內(nèi)延展項(xiàng)目小組的能力使企業(yè)能充分利用不同地區(qū)的時(shí)差進(jìn)行24小時(shí)工作。
4 結(jié)束語
產(chǎn)品數(shù)據(jù)管理(PDM)以其強(qiáng)大的功能與易用性受到廣大企業(yè)的青睞。基于Web的PDM系統(tǒng)的體系結(jié)構(gòu)研究:首先分析了傳統(tǒng)C/S模式和PDM系統(tǒng)的一般結(jié)構(gòu),隨著Web技術(shù)的廣泛應(yīng)用,PDM系統(tǒng)的體系結(jié)構(gòu)也要發(fā)生相應(yīng)地變化以適應(yīng)企業(yè)的需求,由此產(chǎn)生的基于Web的PDM系統(tǒng),介紹了該系統(tǒng)的優(yōu)越性,并詳細(xì)分析了其結(jié)構(gòu)特點(diǎn)及實(shí)現(xiàn)的關(guān)鍵。
參考文獻(xiàn):
[1] 童秉樞,李建明.產(chǎn)品數(shù)據(jù)管理P(DM)技術(shù)[M].北京:清華大學(xué)出版社.2000:82-143.
在測井曲線的加載中,要求具有單獨(dú)的程序,并要具有菜單,每個(gè)模塊應(yīng)該能夠?qū)?yīng)一個(gè)菜單項(xiàng),并且在曲線加載的過程中,要具有取消按鈕。測井曲線的文件查詢,井號列表應(yīng)用的是樹形方式,其中一級節(jié)點(diǎn)表示的是盆地,二級節(jié)點(diǎn)表示的是一級構(gòu)造,三級節(jié)點(diǎn)表示的是二級構(gòu)造,四級節(jié)點(diǎn)表示的是井號。查詢結(jié)果要能夠以表格的形式來顯示。在測井曲線的文件下載界面中,測井曲線文件信息要能夠以表格的方式來進(jìn)行顯示,每一個(gè)記錄之前都必須要求具有復(fù)選款,并可以根據(jù)實(shí)際需求對其進(jìn)行勾選,既可以進(jìn)行單選,又可以進(jìn)行多選。測井曲線的回放,在其回放界面中,應(yīng)用TAB方式對相關(guān)窗口進(jìn)行分隔,并要求每個(gè)回放的圖像都能通過點(diǎn)擊TAB來進(jìn)行切換,在圖像上,可以通過鼠標(biāo)實(shí)現(xiàn)曲線的選取及放大、縮小。
二、系統(tǒng)特性
系統(tǒng)要能夠保證測井曲線能夠轉(zhuǎn)換成為統(tǒng)一的LAS2.0格式,并且在轉(zhuǎn)換過程中,其要能夠具有異常處理功能,對于由于缺乏關(guān)鍵信息,導(dǎo)致不能成功轉(zhuǎn)換的相關(guān)的測井曲線文件,要對其所缺乏的關(guān)鍵信息予以指出,在曲線的查詢、下載過程中,對其工作效率具有一定的要求,并要求在五秒鐘之內(nèi)將查詢結(jié)果予以返回,要求一百條測井曲線的下載時(shí)間不能超過兩分鐘,系統(tǒng)在實(shí)際運(yùn)行過程中,要能夠?qū)崿F(xiàn)LAS2.0格式文件的回放功能,在對曲線特性處理時(shí),要保證其能夠滿足測井曲線的實(shí)際展示要求。
三、DelphiVCL技術(shù)原理
Dephi是一個(gè)融合了可視化組件庫功能、集成開發(fā)環(huán)境功能、現(xiàn)代編程語言的編程軟件,其基本類庫是可視化組件庫Vi-sualComponentLibrary,其具有操作方便、可擴(kuò)展性強(qiáng)、封裝純粹的優(yōu)點(diǎn),即使是一個(gè)非常復(fù)雜的Win32API,在對其進(jìn)行VCL封裝之后,其使用起來也是比較方便的,其能夠支持類、過程及函數(shù)的嵌套,可以在一個(gè)過程中生命一個(gè)類或者是一個(gè)過程,其對于事件具有完整的支持與封裝,通過對事件對象進(jìn)行有效的聲明,能夠?qū)⑷我獾耐獠渴录唇壎ㄓ赩CL控件中,并且在Delphi的VCL中,還具有較多的偽API,其能夠?yàn)檐浖_發(fā)工作提供大力的支持。由于VCL具有非常好的可擴(kuò)展性,這會極大的方便控件編寫工作,并且可以實(shí)現(xiàn)任意ActiveX控件的導(dǎo)入導(dǎo)出,并且其具有平臺無關(guān)性,可以在其他操作系統(tǒng)中直接應(yīng)用。所有的VCL組件可以劃分為可視組件與非可視組件兩種類型,通常情況下,可視組件主要是繼承TWinControl,非可視組件主要是繼承自TComponent。
四、油田測井曲線數(shù)據(jù)管理系統(tǒng)的總體設(shè)計(jì)
系統(tǒng)的主要功能模塊表現(xiàn)為:用戶管理模塊、測井曲線展示模塊、測井曲線解析模塊、測井曲線查詢下載、測井曲線加載。系統(tǒng)工作過程中的總體流程主要表現(xiàn)為:測井曲線文件加載、測井曲線文件查詢、測井曲線文件下載、測井曲線文件回放。
五、結(jié)束語
級別:省級期刊
榮譽(yù):中國優(yōu)秀期刊遴選數(shù)據(jù)庫
級別:統(tǒng)計(jì)源期刊
榮譽(yù):中國優(yōu)秀期刊遴選數(shù)據(jù)庫
級別:省級期刊
榮譽(yù):中國期刊全文數(shù)據(jù)庫(CJFD)
級別:部級期刊
榮譽(yù):中國優(yōu)秀期刊遴選數(shù)據(jù)庫
級別:CSCD期刊
榮譽(yù):中國優(yōu)秀期刊遴選數(shù)據(jù)庫