精品人妻码一区二区三区_无码人妻久久一区二区三区免费丨_久久见久久久国产精品蜜桃_人嘼皇bestialitysex欧美

作者簡介：楊學斌，現擔任中亦安圖資深架構師。專注于IT數據中心建設23年，15年以上全球領先IT企業工作經歷，8年以上專職構架師。精于IT基礎構架設計，多次參與金融、電信、大型制造業數據中心的整體規劃設計與實施工作。

文章梗概：本文通過分析基于分布式構架的云存儲與傳統集中式存儲在外部接口與內部構架上的區別，闡述各自的優勢以及適用場景，為基礎構架設計中存儲搭建提供設計選擇依據。

關鍵詞：分布式存儲；集中式存儲； FC-SAN；IP-SAN
 

一.數據存儲評估的幾個關鍵點

 1>數據存儲方(fang)式(shi)

     無論是(shi)文件，還是(shi)數據(ju)庫里使用的(de)裸設(she)備(bei)，我(wo)們日(ri)常使用的(de)數據(ju)都是(shi)通過(guo)某種(zhong)方式存儲(chu)在磁盤里的(de)。我(wo)們最早接觸(chu)的(de)數據(ju)放在本(ben)地的(de)硬盤里，也就是(shi)以文件的(de)形式存儲(chu)。

     在外置存儲世界，常見的存儲方式有兩種。一(yi)種是(shi)數據存儲以(yi)FC（或(huo)者iSCSI）協議(yi)連(lian)接到外置的塊(kuai)存儲設備(bei)。操作系統只是(shi)將其認作普通硬盤(pan)加以(yi)管理它，并(bing)不知道這塊(kuai)硬盤(pan)是(shi)外置存儲的一(yi)塊(kuai)邏輯(ji)空間。另一種是數據存儲以NFS（或者CIFS）網絡文件訪問協議連接到外置的文件存儲設備。從操作系統訪問看，它是一個目錄，并不知道這個目錄是在遠程存儲設備上。

     還有一種我們(men)(men)常見(jian)的(de)(de)文(wen)件訪問(wen)方(fang)式，就(jiu)是(shi)文(wen)件異(yi)地服務。典型(xing)的(de)(de)是(shi)我們(men)(men)從上(shang)(shang)大學就(jiu)在用的(de)(de)FTP。但是(shi)ftp并不是(shi)NAS，我們(men)(men)處理(li)(li)ftp文(wen)件，需(xu)要先下載到(dao)本地，經過(guo)處理(li)(li)后再(zai)重(zhong)新上(shang)(shang)傳到(dao)ftp server上(shang)(shang)。而NAS的(de)(de)文(wen)件處理(li)(li)是(shi)直接可以在NAS server上(shang)(shang)完成的(de)(de)。

     隨著互聯網的(de)(de)發展，最近很多商(shang)業(ye)客戶(hu)開(kai)始使用(yong)對象存儲協議，以滿(man)足更(geng)大容(rong)量以及云(yun)應用(yong)對接(jie)的(de)(de)業(ye)務(wu)需求。本(ben)質上(shang)對象存儲的(de)(de)方式(shi)和以前的(de)(de)FTP是比較相(xiang)近的(de)(de)，但是使用(yong)的(de)(de)協議是完(wan)全不同的(de)(de)。

2>不同的數據存儲訪問需要不同的存儲性能

     在當今的企業應用(yong)(yong)中，外置塊數(shu)據(ju)訪問已(yi)經至少使用(yong)(yong)了(le)20多年了(le)。從早期的高(gao)(gao)性(xing)能OLTP數(shu)據(ju)庫到近些年的虛(xu)擬機映像和實例，是(shi)我們(men)最常用(yong)(yong)的高(gao)(gao)性(xing)能數(shu)據(ju)訪問方式。

     網絡文(wen)件訪問(wen)同樣常用。無論(lun)是搭建(jian)文(wen)件服務器，還是使(shi)用專業NAS產品，理論(lun)上(shang)都是在(zai)訪問(wen)網絡中(zhong)另一個位置的(de)(de)文(wen)件。最常見的(de)(de)就是windows的(de)(de)網上(shang)鄰居和linux的(de)(de)NFS了。

     對象存儲是最近(jin)幾年隨著客(ke)戶(hu)非結構化數據快速增長而開始廣泛使用的第三種方式。本質上和(he)我們企業以前(qian)使用的FTP區別不大(da)(da)，但是與公有云存儲的無(wu)縫對接和(he)遠(yuan)距離大(da)(da)文件(jian)訪問(wen)性(xing)能使得其快速推廣。

     無論什么樣的訪問，對于存儲的需(xu)求無非容量和性能兩個維度。容量大家(jia)都懂，性能我們通(tong)常考慮以下三個因素(su)：

IOPS：在固定的數據塊大小限定下，每秒讀寫次數

Throughput：吞吐量

Latency：每次讀寫平均需要的時間。要注意的是，我們不能只看一段時間內平均響應時間，更要看讀寫響應時間的差異以及最高讀寫響應時間。通常在傳統集中式存儲時代不被重視的指標在全SSD磁盤存儲和分布式存儲中都變得非常有意義

     針對(dui)不同存儲(chu)場景(jing)的性(xing)能需求(qiu)，我們使用了下(xia)圖(tu)總結:

由(you)上圖(tu)我(wo)們可以總(zong)結出(chu)：

●小容量高(gao)性能存儲需(xu)求(qiu)場景下FC存儲仍然(ran)是(shi)第一選(xuan)擇。

●大容量(liang)低(di)性(xing)能存(cun)儲(chu)(chu)需求場景(jing)下對象存(cun)儲(chu)(chu)有其特有的優勢。

●文(wen)件(jian)訪問是一個中(zhong)間(jian)階段(duan)，越(yue)是高頻(pin)小文(wen)件(jian)的訪問越(yue)推薦集(ji)中(zhong)式(shi)NAS，越(yue)是大(da)(da)文(wen)件(jian)低頻(pin)訪問越(yue)傾向于使用分布式(shi)NAS存(cun)儲(chu)。這里(li)有一點(dian)特別(bie)要注意(yi)的是文(wen)件(jian)備(bei)份問題(ti)(ti)，集(ji)中(zhong)式(shi)NAS可以通過NDMP協議快速(su)備(bei)份大(da)(da)量小文(wen)件(jian)。但是分布式(shi)存(cun)儲(chu)由(you)于自(zi)身構(gou)架(jia)問題(ti)(ti)，似(si)乎(hu)看不到性能相當的解決方案(an)。

     我們日常工作(zuo)可以參考上表并(bing)根據自己的需求來選擇(ze)采購使用存儲。

二、集中式存(cun)儲(chu)與分(fen)布式存(cun)儲(chu)在塊存(cun)儲(chu)環(huan)境(jing)下(xia)性能差異(yi)分(fen)析

     當前在(zai)對象存(cun)(cun)儲(chu)上(shang)(shang)使(shi)用分(fen)布式基(ji)本上(shang)(shang)已經沒有爭議(yi)。無論是開源還是商(shang)業軟(ruan)件，均已經使(shi)用分(fen)布式構(gou)架。但是在(zai)塊存(cun)(cun)儲(chu)和高端NAS上(shang)(shang)，存(cun)(cun)儲(chu)是否(fou)應(ying)該全面軟(ruan)件化，存(cun)(cun)在(zai)比(bi)較大的爭議(yi)。

     支持分(fen)布(bu)式的主要是(shi)一(yi)些云廠商。由于集中(zhong)式存(cun)儲(chu)的封閉性，很難像分(fen)布(bu)式存(cun)儲(chu)那樣可(ke)以完美(mei)的和(he)私有(you)云（超(chao)融(rong)合）配合完成工作。每(mei)個私有(you)云和(he)超(chao)融(rong)合廠家幾乎都(dou)有(you)自(zi)研技術的分(fen)布(bu)式存(cun)儲(chu)軟件(jian)，就連開源(yuan)云平臺openstack首選也(ye)是(shi)CEPH，可(ke)見(jian)趨勢(shi)之明(ming)顯。

     但(dan)是(shi)實際很(hen)多客戶(hu)卻只在外圍應(ying)用集(ji)(ji)群使(shi)用分布(bu)式存(cun)(cun)儲，而(er)在核心數據(ju)層還是(shi)集(ji)(ji)中(zhong)存(cun)(cun)儲的天下。筆者認為這種現(xian)狀是(shi)由于：

●集(ji)中式存儲可(ke)(ke)提供的(de)容量完全可(ke)(ke)以滿足行式數據(ju)庫和中小規模(mo)虛擬化集(ji)群的(de)需(xu)求。

●集中式存(cun)儲當前可(ke)以提供的高性能(neng)仍然是(shi)領先的。目(mu)前最好的分布(bu)式存(cun)儲可(ke)提供的性能(neng)都是(shi)對(dui)集群的，而對(dui)單一數據庫/虛(xu)擬(ni)機(ji)還是(shi)相對(dui)比較(jiao)有限(xian)。

     以下通過(guo)不同存儲構架的特點闡述兩種(zhong)類型存儲的差(cha)異。

   1>存儲網絡連接差(cha)異(yi)

     在20多年(nian)前，服務器訪(fang)問外部(bu)存(cun)(cun)儲(chu)通常是通過(guo)SCSI線(xian)。后來(lai)有了(le)專用(yong)(yong)(yong)的存(cun)(cun)儲(chu)網(wang)絡(luo)，服務器和存(cun)(cun)儲(chu)都(dou)是通過(guo)專用(yong)(yong)(yong)存(cun)(cun)儲(chu)網(wang)絡(luo)連接到服務器。這種模式沿用(yong)(yong)(yong)至今。

     早期我們使用(yong)的(de)專(zhuan)用(yong)的(de)FC-SAN網絡，不僅(jin)成(cheng)本高(gao)昂(ang)，而(er)且(qie)需(xu)要專(zhuan)用(yong)的(de)管理軟(ruan)件，很難融(rong)入整體運維。而(er)且(qie)SAN網絡極其關鍵，SAN網絡崩塌(ta)造成(cheng)的(de)后果必然是客戶大量生產業務停止。成(cheng)為運維管理的(de)一(yi)個老大難。

     近年(nian)來(lai)分布式云存儲(chu)考慮到易用性以(yi)及廉價(jia)，往(wang)往(wang)使用萬兆以(yi)太網作為存儲(chu)網絡(luo)來(lai)替代以(yi)前的FC-SAN網絡(luo)。

     但是，IP-SAN網絡畢竟是基于TCP/IP運行(xing)。TCP/IP網絡為(wei)了保證數據(ju)可完整的送達(da)到世界上任何一個(ge)接(jie)入點(dian)，必然在(zai)數據(ju)傳輸中增(zeng)加了大量的防錯(cuo)措施，導致數據(ju)傳輸效率下降。

     理論(lun)上(shang)FC-SAN是(shi)把存儲SCSI協議跑(pao)在光纖上(shang)，而IP-SAN則是(shi)把數據(ju)訪問通過以太網絡傳輸完(wan)成。

     具(ju)體(ti)比較可參考(kao)下表：

2>數據寫入性能差異

     集中式存儲組成分為前(qian)(qian)端和(he)后(hou)端，前(qian)(qian)端由(you)雙控(kong)制器或者多控(kong)制器組成，后(hou)端由(you)一組一組的磁盤構成。

     一個重要的(de)技術(shu)點就(jiu)(jiu)是(shi)(shi)(shi)(shi)服(fu)務(wu)器寫(xie)入(ru)存儲(chu)時，寫(xie)到前端(duan)控制器里的(de)cache就(jiu)(jiu)已經認(ren)為寫(xie)完成。準確的(de)是(shi)(shi)(shi)(shi)說寫(xie)在內存中(zhong)就(jiu)(jiu)算完成了(le)。所(suo)以集(ji)中(zhong)式存儲(chu)可(ke)以有很高的(de)寫(xie)效率。寫(xie)在內存是(shi)(shi)(shi)(shi)不是(shi)(shi)(shi)(shi)很危險？是(shi)(shi)(shi)(shi)的(de)，但是(shi)(shi)(shi)(shi)集(ji)中(zhong)式存儲(chu)使用兩個技術(shu)來(lai)保證(zheng)寫(xie)入(ru)cache的(de)不會丟失。

     為了應對控(kong)制(zhi)器(qi)(qi)失敗，通(tong)常集(ji)中式存儲至少有兩(liang)個(ge)控(kong)制(zhi)器(qi)(qi)。在我們寫(xie)入(ru)一個(ge)控(kong)制(zhi)器(qi)(qi)的(de)cache時候，控(kong)制(zhi)器(qi)(qi)會自動把(ba)數(shu)據(ju)通(tong)過(guo)高速專用總線寫(xie)入(ru)另一個(ge)控(kong)制(zhi)器(qi)(qi)。以保證(zheng)控(kong)制(zhi)器(qi)(qi)失敗切換的(de)時候數(shu)據(ju)不會丟失。

     ;集中式存儲通常會配(pei)置(zhi)電(dian)池，就(jiu)是為了在(zai)發生意(yi)外斷電(dian)的(de)時候，可以提供足夠的(de)電(dian)能，把cache中的(de)數據寫入硬(ying)盤或者某個臨時空間。

     分布(bu)式(shi)存儲由于節(jie)(jie)點(dian)之間沒有(you)高速通(tong)信(xin)通(tong)路，在數(shu)據寫(xie)入(ru)一(yi)個節(jie)(jie)點(dian)時，需(xu)要通(tong)過以(yi)太網同步寫(xie)入(ru)另(ling)一(yi)個節(jie)(jie)點(dian)，以(yi)保證數(shu)據的安全。

     分布式存儲通常(chang)使用標(biao)準的X86服(fu)務器作為硬(ying)件，通常(chang)使用SSD內(nei)置硬(ying)盤作為緩存，服(fu)務器通過(guo)以太網將數(shu)據寫(xie)入(ru)SSD硬(ying)盤即算完成寫(xie)入(ru)過(guo)程。

     以上兩種不(bu)同的(de)(de)寫入方式(shi)會導致兩種存儲在(zai)(zai)寫入延(yan)時(shi)產(chan)生十倍(bei)以上的(de)(de)差異。盡管(guan)分布式(shi)存儲也可以在(zai)(zai)某(mou)些測試(shi)環(huan)境下給出比較高的(de)(de)IOPS，但是在(zai)(zai)OLTP數(shu)據庫環(huan)境下，還是首選高效的(de)(de)集中式(shi)存儲。

三、分布式存(cun)儲構架對于(yu)性能的影響

     不(bu)同的(de)分(fen)布式存(cun)儲構架也會導(dao)致(zhi)不(bu)同的(de)性能和(he)擴展性，主要體現在元數據(ju)的(de)存(cun)儲位置。

     下面我們(men)以最常見的兩(liang)種分布(bu)式存儲舉例。

     HDFS文件系(xi)統(tong)的(de)name node和data node 是分開的(de)，通常(chang)需要先訪(fang)問(wen)name node得到(dao)數(shu)據存儲位置，再去data node讀(du)寫(xie)數(shu)據。如(ru)下圖(tu)所(suo)示(shi)：

     另(ling)一(yi)種(zhong)方式(shi)是元(yuan)數(shu)(shu)據(ju)和(he)數(shu)(shu)據(ju)物理(li)混用，這(zhe)種(zhong)結構最大(da)的(de)優勢(shi)是所(suo)需要存取的(de)數(shu)(shu)據(ju)和(he)元(yuan)數(shu)(shu)據(ju)有可能在同一(yi)臺服(fu)務(wu)器(qi)(qi)上(shang)，從而減小了數(shu)(shu)據(ju)存儲路徑。但是隨著集(ji)(ji)群(qun)數(shu)(shu)量的(de)增加，元(yuan)數(shu)(shu)據(ju)應(ying)該設(she)置幾(ji)份呢(ni)？如果(guo)包含元(yuan)數(shu)(shu)據(ju)的(de)服(fu)務(wu)器(qi)(qi)脫離(li)集(ji)(ji)群(qun)，是否需要馬(ma)上(shang)在其(qi)它節點上(shang)復制一(yi)份元(yuan)數(shu)(shu)據(ju)？每個軟件各不相同，但是原(yuan)理(li)是一(yi)樣的(de)。下面(mian)是IBM的(de)GPFS軟件讀寫過(guo)程，可做(zuo)參考。

     通過(guo)兩種方(fang)式(shi)的對比，可(ke)以看出元(yuan)數據單(dan)獨存(cun)儲(chu)通常可(ke)以提高(gao)容量(liang)，但是速(su)度更(geng)慢，更(geng)適合文件和對象(xiang)存(cun)儲(chu)。元(yuan)數據混放(fang)可(ke)以提高(gao)數據存(cun)儲(chu)速(su)度，更(geng)適合塊存(cun)儲(chu)。

四(si)、結語

     構(gou)架(jia)在(zai)FC-SAN上傳統的(de)集中(zhong)(zhong)式存(cun)儲，以高性(xing)能(neng)，高穩定性(xing)的(de)特點仍然是(shi)企業級用戶核心業務的(de)首選(xuan)。但(dan)是(shi)由(you)于其封閉(bi)的(de)技術，較高的(de)成本(ben)，擴展性(xing)差以及SAN網絡本(ben)身(shen)的(de)運維成本(ben)，更多的(de)客戶也(ye)開始在(zai)部(bu)分(fen)環境中(zhong)(zhong)使用分(fen)布式存(cun)儲取代集中(zhong)(zhong)式存(cun)儲。

     分布式存(cun)儲通常使用(yong)開源(yuan)或者商業軟件，硬件使用(yong)標(biao)準X86服務(wu)器(qi)，理論上有(you)較高的性(xing)價比，容(rong)量和性(xing)能可按需增長配置，可更好的接受云系統的管理和調度(du)。但是，除了在性(xing)能上的差(cha)距，多副本機制導致的磁盤利用(yong)率(lv)大幅下降，也是影響成本的重要因素。   

     我的(de)每(mei)篇文章結(jie)論都是(shi)一樣的(de)。世上(shang)從沒有一個(ge)完美的(de)產品(pin)(pin)，只有更(geng)加適合(he)客(ke)戶需求的(de)產品(pin)(pin)。我們理解(jie)每(mei)個(ge)產品(pin)(pin)的(de)優勢(shi)和不(bu)足，是(shi)為了更(geng)好的(de)選擇應(ying)用場(chang)景(jing)。