傳統(tǒng)的數(shù)據(jù)中心主要是依據(jù)功能進(jìn)行區(qū)域劃分，例如 WEB 、APP、DB，辦公區(qū)、業(yè)務(wù)區(qū)、內(nèi)聯(lián)區(qū)、 外聯(lián)區(qū)等等。 不同區(qū)域之間通過網(wǎng)關(guān)和安全設(shè)備互訪， 保證不同區(qū)域的可靠性、安全性。同時(shí)， 不同區(qū)域由于具有不同的功能，因此需要相互訪問數(shù)據(jù)時(shí)， 只要終端之間能夠通信即可，并不一定要求通信雙方處于同一VLAN或二層網(wǎng)絡(luò)。

傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)，STP 是二層網(wǎng)絡(luò)中非常重要的一種協(xié)議。 用戶構(gòu)建網(wǎng)絡(luò)時(shí)，為了保證可靠性，通常會采用冗余設(shè)備和冗余鏈路， 這樣就不可避免的形成環(huán)路。而二層網(wǎng)絡(luò)處于同一個(gè)廣播域下， 廣播報(bào)文在環(huán)路中會反復(fù)持續(xù)傳送， 形成廣播風(fēng)暴， 瞬間即可導(dǎo)致端口阻塞和設(shè)備癱瘓。因此，為了防止廣播風(fēng)暴，就必須防止形成環(huán)路。這樣，既要防止形成環(huán)路，又要保證可靠性， 就只能將冗余設(shè)備和冗余鏈路變成備份設(shè)備和備份鏈路。 即冗余的設(shè)備端口和鏈路在正常情況下被阻塞掉，不參與數(shù)據(jù)報(bào)文的轉(zhuǎn)發(fā)。只有當(dāng)前轉(zhuǎn)發(fā)的設(shè)備、端口、 鏈路出現(xiàn)故障，導(dǎo)致網(wǎng)絡(luò)不通的時(shí)候， 冗余的設(shè)備端口和鏈路才會被打開， 使得網(wǎng)絡(luò)能夠恢復(fù)正常。實(shí)現(xiàn)這些自動(dòng)控制功能的就是 STP(Spanning Tree Protocol ，生成樹協(xié)議 )。

由于 STP 的收斂性能等原因， 一般情況下 STP 的網(wǎng)絡(luò)規(guī)模不會超過 100臺交換機(jī)。 同時(shí)由于 STP 需要阻塞掉冗余設(shè)備和鏈路，也降低了網(wǎng)絡(luò)資源的帶寬利用率。因此在實(shí)際網(wǎng)絡(luò)規(guī)劃時(shí)，從轉(zhuǎn)發(fā)性能、利用率、可靠性等方面考慮，會盡可能控制 STP 網(wǎng)絡(luò)范圍。

大二層也是為了流通的要求

隨著數(shù)據(jù)大集中的發(fā)展和虛擬化技術(shù)的應(yīng)用， 數(shù)據(jù)中心的規(guī)模與日俱增， 不僅對二層網(wǎng)絡(luò)的區(qū)域范圍要求也越來越大，在需求和管理水平上也提出了新的挑戰(zhàn)。

數(shù)據(jù)中心區(qū)域規(guī)模和業(yè)務(wù)處理需求的增加， 對于集群處理的應(yīng)用越來越多， 集群內(nèi)的服務(wù)器需要在一個(gè)二層 VLAN下。同時(shí)，虛擬化技術(shù)的應(yīng)用，在帶來業(yè)務(wù)部署的便利性和靈活性基礎(chǔ)上， 虛擬機(jī)的遷移問題也成為必須要考慮的問題。 為了保證虛擬機(jī)承載業(yè)務(wù)的連續(xù)性，虛擬機(jī)遷移前后的 IP 地址不變，因此虛擬機(jī)的遷移范圍需要在同一個(gè)二層 VLAN 下。

反過來即，二層網(wǎng)絡(luò)規(guī)模有多大，虛擬機(jī)才能遷移有多遠(yuǎn)。

傳統(tǒng)的基于 STP 備份設(shè)備和鏈路方案已經(jīng)不能滿足數(shù)據(jù)中心規(guī)模、帶寬的需求，并且STP 協(xié)議幾秒至幾分鐘的故障收斂時(shí)間， 也不能滿足數(shù)據(jù)中心的可靠性要求。 因此， 需要能夠有新的技術(shù)， 在滿足二層網(wǎng)絡(luò)規(guī)模的同時(shí)， 也能夠充分利用冗余設(shè)備和鏈路， 提升鏈路利用率，而且數(shù)據(jù)中心的故障收斂時(shí)間能夠降低到亞秒甚至毫秒級。

大二層需要有多大

既然二層網(wǎng)絡(luò)規(guī)模需要擴(kuò)大，那么大到什么程度合適 ?這取決于應(yīng)用場景和技術(shù)選擇。

1、數(shù)據(jù)中心內(nèi)

大二層首先需要解決的是數(shù)據(jù)中心內(nèi)部的網(wǎng)絡(luò)擴(kuò)展問題，通過大規(guī)模二層網(wǎng)絡(luò)和 VLAN延伸，實(shí)現(xiàn)虛擬機(jī)在數(shù)據(jù)中心內(nèi)部的大范圍遷移。 由于數(shù)據(jù)中心內(nèi)的大二層網(wǎng)絡(luò)都要覆蓋多個(gè)接入交換機(jī)和核心交換機(jī)，主要有以下兩類技術(shù)。

虛擬交換機(jī)技術(shù)

虛擬交換機(jī)技術(shù)的出發(fā)點(diǎn)很簡單， 屬于工程派。 既然二層網(wǎng)絡(luò)的核心是環(huán)路問題， 而環(huán)路問題是隨著冗余設(shè)備和鏈路產(chǎn)生的， 那么如果將相互冗余的兩臺或多臺設(shè)備、兩條或多條鏈路合并成一臺設(shè)備和一條鏈路， 就可以回到之前的單設(shè)備、 單鏈路情況， 環(huán)路自然也就不存在了。 尤其是交換機(jī)技術(shù)的發(fā)展， 虛擬交換機(jī)從低端盒式設(shè)備到高端框式設(shè)備都已經(jīng)廣泛應(yīng)用， 具備了相當(dāng)?shù)某墒於群头�(wěn)定度。 因此， 虛擬交換機(jī)技術(shù)成為目前應(yīng)用最廣的大二層解決方案。

數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)三層分析

虛擬交換機(jī)技術(shù)的代表是H3C公司的IRF、Cisco公司的VSS，其特點(diǎn)是只需要交換機(jī)軟件升級即可支持，應(yīng)用成本低，部署簡單。目前這些技術(shù)都是各廠商獨(dú)立實(shí)現(xiàn)和完成的，只能同一廠商的相同系列產(chǎn)品之間才能實(shí)施虛擬化。 同時(shí)， 由于高端框式交換機(jī)的性能、密度越來越高， 對虛擬交換機(jī)的技術(shù)要求也越來越高， 目前框式交換機(jī)的虛擬化密度最高為 4：1.虛擬交換機(jī)的密度限制了二層網(wǎng)絡(luò)的規(guī)模大約在 1萬～ 2萬臺服務(wù)器左右。

隧道技術(shù)

隧道技術(shù)屬于技術(shù)派，出發(fā)點(diǎn)是借船出海。二層網(wǎng)絡(luò)不能有環(huán)路，冗余鏈路必須要阻塞掉，但三層網(wǎng)絡(luò)顯然不存在這個(gè)問題，而且還可以做 ECMP( 等價(jià)鏈路 )，能否借用過來呢 ?

通過在二層報(bào)文前插入額外的幀頭， 并且采用路由計(jì)算的方式控制整網(wǎng)數(shù)據(jù)的轉(zhuǎn)發(fā)， 不僅可以在冗余鏈路下防止廣播風(fēng)暴，而且可以做 ECMP.這樣可以將二層網(wǎng)絡(luò)的規(guī)模擴(kuò)展到整張網(wǎng)絡(luò)，而不會受核心交換機(jī)數(shù)量的限制。

隧道技術(shù)的代表是 TRILL 、 SPB，都是通過借用 IS-IS 路由協(xié)議的計(jì)算和轉(zhuǎn)發(fā)模式，實(shí)現(xiàn)二層網(wǎng)絡(luò)的大規(guī)模擴(kuò)展。 這些技術(shù)的特點(diǎn)是可以構(gòu)建比虛擬交換機(jī)技術(shù)更大的超大規(guī)模二層網(wǎng)絡(luò) (應(yīng)用于大規(guī)模集群計(jì)算 )，但尚未完全成熟，目前正在標(biāo)準(zhǔn)化過程中。同時(shí)傳統(tǒng)交換機(jī)不僅需要軟件升級，還需要硬件支持。

2、跨數(shù)據(jù)中心

隨著數(shù)據(jù)中心多中心的部署， 虛擬機(jī)的跨數(shù)據(jù)中心遷移、 災(zāi)備， 跨數(shù)據(jù)中心業(yè)務(wù)負(fù)載分擔(dān)等需求， 使得二層網(wǎng)絡(luò)的擴(kuò)展不僅是在數(shù)據(jù)中心的邊界為止， 還需要考慮跨越數(shù)據(jù)中心機(jī)房的區(qū)域，延伸到同城備份中心、遠(yuǎn)程災(zāi)備中心。

一般情況下， 多數(shù)據(jù)中心之間的連接是通過路由連通的， 天然是一個(gè)三層網(wǎng)絡(luò)。 而要實(shí)現(xiàn)通過三層網(wǎng)絡(luò)連接的兩個(gè)二層網(wǎng)絡(luò)互通，就必須實(shí)現(xiàn)“ L2 over L3 ”。

L2oL3 技術(shù)也有許多種， 例如傳統(tǒng)的 VPLS(MPLS L2VPN) 技術(shù)，以及新興的 Cisco OTV 、H3C EVI 技術(shù)，都是借助隧道的方式，將二層數(shù)據(jù)報(bào)文封裝在三層報(bào)文中，跨越中間的三層網(wǎng)絡(luò)，實(shí)現(xiàn)兩地二層數(shù)據(jù)的互通。這種隧道就像一個(gè)虛擬的橋，將多個(gè)數(shù)據(jù)中心的二層網(wǎng)絡(luò)貫穿在一起。

另外，也有部分虛擬化和軟件廠商提出了軟件的 L2 over L3 技術(shù)解決方案。 例如 VMware的VXLAN 、微軟的NVGRE，在虛擬化層的 vSwitch 中將二層數(shù)據(jù)封裝在 UDP 、GRE報(bào)文中，在物理網(wǎng)絡(luò)拓?fù)渖蠘?gòu)建一層虛擬化網(wǎng)絡(luò)層，從而擺脫對網(wǎng)絡(luò)設(shè)備層的二層、三層限制。

這些技術(shù)由于性能、擴(kuò)展性等問題，也沒有得到廣泛的使用。

數(shù)據(jù)中心之間的互聯(lián)方式

網(wǎng)絡(luò)三層互聯(lián)。 也稱為數(shù)據(jù)中心前端網(wǎng)絡(luò)互聯(lián)， 所謂 "前端網(wǎng)絡(luò) "是指數(shù)據(jù)中心面向企業(yè)園區(qū)網(wǎng)或企業(yè)廣域網(wǎng)的出口。不同數(shù)據(jù)中心 (主中心、災(zāi)備中心 )的前端網(wǎng)絡(luò)通過 IP 技術(shù)實(shí)現(xiàn)互聯(lián)， 園區(qū)或分支的客戶端通過前端網(wǎng)絡(luò)訪問各數(shù)據(jù)中心。 當(dāng)主數(shù)據(jù)中心發(fā)生災(zāi)難時(shí)， 前端網(wǎng)絡(luò)將實(shí)現(xiàn)快速收斂，客戶端通過訪問災(zāi)備中心以保障業(yè)務(wù)連續(xù)性 ;

網(wǎng)絡(luò)二層互聯(lián)。也稱為數(shù)據(jù)中心服務(wù)器網(wǎng)絡(luò)互聯(lián)。在不同的數(shù)據(jù)中心服務(wù)器網(wǎng)絡(luò)接入層，構(gòu)建一個(gè)跨數(shù)據(jù)中心的大二層網(wǎng)(VLAN) ，以滿足服務(wù)器集群或虛擬機(jī)動(dòng)態(tài)遷移等場景對二層網(wǎng)絡(luò)接入的需求 ;

SAN 互聯(lián)。

也稱為后端存儲網(wǎng)絡(luò)互聯(lián)。借助傳輸技術(shù) (DWDM 、 SDH 等 )實(shí)現(xiàn)主中心和災(zāi)備中心間磁盤陣列的數(shù)據(jù)復(fù)制。

數(shù)據(jù)中心二層互聯(lián)的業(yè)務(wù)需求

服務(wù)器高可用集群

服務(wù)器集群 (Cluster) ，是借助集群軟件將網(wǎng)絡(luò)上的多臺服務(wù)器關(guān)聯(lián)在一起，提供一致的服務(wù)，對外表現(xiàn)為一臺邏輯服務(wù)器。多數(shù)廠商 (HP、IBM 、微軟、 Veritas 等 )的集群軟件需要各服務(wù)器間采用二層網(wǎng)絡(luò)互聯(lián)。 將集群中的服務(wù)器部署于不同數(shù)據(jù)中心， 可實(shí)現(xiàn)跨數(shù)據(jù)中心的應(yīng)用系統(tǒng)容災(zāi)。

服務(wù)器搬遷和虛擬機(jī)動(dòng)態(tài)遷移

數(shù)據(jù)中心進(jìn)行擴(kuò)建或搬遷時(shí)，需要將物理服務(wù)器從一個(gè)數(shù)據(jù)中心遷至另一個(gè)數(shù)據(jù)中心。

在此過程中，考慮以下兩個(gè)因素，需要在數(shù)據(jù)中心間構(gòu)建二層互聯(lián)網(wǎng)絡(luò)：

當(dāng)服務(wù)器被遷至新機(jī)房， 如未構(gòu)建新老中心間的二層互聯(lián)網(wǎng)絡(luò)，則面臨重新規(guī)劃新中心服務(wù)器 IP 地址的問題，同時(shí)還需修改DNS ，或修改客戶端應(yīng)用程序配置的服務(wù)器 IP.因此，構(gòu)建跨中心的二層互聯(lián)網(wǎng)絡(luò)可保留被遷移服務(wù)器的 IP 地址，進(jìn)而簡化遷移過程 ;

在服務(wù)器搬遷期間， 經(jīng)常在給定的時(shí)間內(nèi)， 只能將服務(wù)器群的一部分服務(wù)器遷至新中心，為保證業(yè)務(wù)連續(xù)性， 需建立跨中心的服務(wù)器集群， 構(gòu)建跨越中心的二層互聯(lián)網(wǎng)絡(luò)可實(shí)現(xiàn)服務(wù)器平滑遷移。

與服務(wù)器搬遷類似的情況是 "虛擬機(jī)遷移 ".當(dāng)前，一些服務(wù)器虛擬化軟件可實(shí)現(xiàn)在兩臺虛擬化的物理服務(wù)器之間對虛擬機(jī)做動(dòng)態(tài)遷移。遷移至另一中心的虛擬機(jī)不僅保留原有 IP地址，而且還保持遷移前的運(yùn)行狀態(tài) (如 TCP 會話狀態(tài) )，所以必須將涉及虛擬機(jī)遷移的物理服務(wù)器接入同一個(gè)二層網(wǎng)絡(luò) (虛擬機(jī)在遷移前后的網(wǎng)關(guān)不變 )，這種應(yīng)用場景要求構(gòu)建跨中心的二層互聯(lián)網(wǎng)絡(luò)。

數(shù)據(jù)中心二層互聯(lián)設(shè)計(jì)要點(diǎn)

1、前提要素——現(xiàn)網(wǎng)狀態(tài)

選擇數(shù)據(jù)中心二層互聯(lián)方案的前提要素是明確用戶在多個(gè)數(shù)據(jù)中心之間具有哪些網(wǎng)絡(luò)資源。網(wǎng)絡(luò)資源的不同直接決定了用戶將采用何種組網(wǎng)方案：

運(yùn)營商、大型互聯(lián)網(wǎng)企業(yè)：裸光纖或 DWDM 傳輸資源，對應(yīng) RRPP 環(huán)網(wǎng)方案或HUB-SPOKE 方案 ;

運(yùn)營商、大企業(yè)、金融、政府機(jī)構(gòu)： MPLS 網(wǎng)絡(luò)，對應(yīng) VPLS 組網(wǎng)方案 ;

中小企業(yè)客戶： IP 網(wǎng)絡(luò)，對應(yīng) VPLSoverGRE 組網(wǎng)方案

2.核心要素——性能

時(shí)延

數(shù)據(jù)中心之間二層互聯(lián)是為了實(shí)現(xiàn)虛擬機(jī)的異地調(diào)度和集群異地應(yīng)用，為了實(shí)現(xiàn)這一點(diǎn)，必須滿足虛擬機(jī) VMotion 和集群存儲異地訪問的時(shí)延要求。第一個(gè)限制是 VMotion 同步會話距離。第二個(gè)要求是存儲網(wǎng)絡(luò)。 DC 之間的存儲必須實(shí)現(xiàn)同步訪問或是鏡像訪問。

需要注意的是，在 VPLS 或是 IP 網(wǎng)絡(luò)環(huán)境中，由于網(wǎng)絡(luò)中存在大量復(fù)雜的應(yīng)用，所以必須通過部署全網(wǎng) QoS 來保證 DCI 互聯(lián)數(shù)據(jù)流的服務(wù)質(zhì)量。流量環(huán)境越復(fù)雜，則 QoS 配置工作量越大，時(shí)延指標(biāo)越難以滿足。 VPLS 網(wǎng)絡(luò)通常應(yīng)用于企業(yè)或是行業(yè)的專用業(yè)務(wù)，流量環(huán)境相對于 IP 網(wǎng)絡(luò)較簡單，所以在部署 QoS 方面有一定優(yōu)勢。

帶寬

數(shù)據(jù)中心互聯(lián)的核心需求之一就是保證虛擬機(jī)跨 DC 的遷移。 vSphere5.0之前的版本，VMotion 對于遷移鏈路的帶寬有明確的要求 -帶寬不小于 622M;vSphere5.0 的版本， VMotion對于遷移鏈路的帶寬不小于 250M.

從帶寬資源的分配情況來看，裸光纖或DWDM 的帶寬資源最為充足，VPLS 和 IP 網(wǎng)絡(luò)的帶寬資源相對緊張，必須部署全網(wǎng)端到端的 QoS 優(yōu)先級來保證 DCI 業(yè)務(wù)流量的帶寬要求。

3、關(guān)鍵要素—— HA

數(shù)據(jù)中心二層互聯(lián)的關(guān)鍵因素就是如何提高可用性。 提高 HA 的一個(gè)最有效的方式就是設(shè)計(jì)備份鏈路、 備份節(jié)點(diǎn)。 如果結(jié)合提高互聯(lián)帶寬的需求， 則建議設(shè)計(jì)負(fù)載分擔(dān)的互聯(lián)路徑，在提高互聯(lián)帶寬的同時(shí)，也能夠保證系統(tǒng)異常時(shí)能夠?qū)崿F(xiàn)業(yè)務(wù)的快速收斂，提高 HA 指標(biāo)。

以 DWDM 網(wǎng)絡(luò)為例，建議利用 IRF 實(shí)現(xiàn) DCI 鏈路的高 HA 和鏈路負(fù)載分擔(dān)設(shè)計(jì)方案。

在裸光纖或是 DWDM 互聯(lián)組網(wǎng)方案中，DCI互聯(lián)的兩端PE設(shè)備必須支持 IRF，將PE之間的兩條 (或多條 )鏈路通過聚合(LACP) 技術(shù)形成一條邏輯鏈路，會極大的簡化 DCI 的組網(wǎng)拓?fù)�。同時(shí)，這兩條 HA 鏈路的帶寬會得到 100%的利用，達(dá)到 1： 1的負(fù)載分擔(dān)效果。

數(shù)據(jù)中心二層互聯(lián)方案設(shè)計(jì)

1、基于裸光纖或 DWDM 線路的二層互聯(lián)

裸光纖或 DWDM 二層互聯(lián)方案需要用戶在現(xiàn)網(wǎng)中擁有光纖或傳輸資源， 對用戶要求較高，但從使用的角度來看，裸光纖或 DWDM 方案的性能是最優(yōu)的。

基于裸光纖或 DWDM 線路的二層互聯(lián)方案有兩種選擇：HUB-SPOKE 方案和 RRPP環(huán)網(wǎng)方案。前者的優(yōu)點(diǎn)是基于最短路徑轉(zhuǎn)發(fā)，所以轉(zhuǎn)發(fā)效率高 ;后者的優(yōu)點(diǎn)則是環(huán)網(wǎng)天然的轉(zhuǎn)發(fā)路徑冗余設(shè)計(jì)，所以HA性能較高。

Hub-Spoke 組網(wǎng)方案

通過裸光纖或是 DWDM 將多個(gè) (例如 4個(gè) )數(shù)據(jù)中心互聯(lián)。 為了方便擴(kuò)展更多的數(shù)據(jù)中心節(jié)點(diǎn)，一個(gè)最常用的方案就是采用 HUB-SPOKE 組網(wǎng)模型，即通過一個(gè)核心節(jié)點(diǎn)與各數(shù)據(jù)中心的匯聚層互聯(lián)。在邏輯結(jié)構(gòu)上，多個(gè)中心與核心節(jié)點(diǎn)構(gòu)成了一個(gè) Hub-Spoke 的星形拓?fù)�，其中核心�?jié)點(diǎn)為 HUB ，各中心匯聚層為 Spoke.

在 Hub-Spoke 組網(wǎng)環(huán)境中，核心節(jié)點(diǎn)是最重要的，關(guān)系到全網(wǎng)是否能正常運(yùn)轉(zhuǎn)，是保證多數(shù)據(jù)中心 HA 的關(guān)鍵因素。如何提高核心節(jié)點(diǎn)的HA性能 ?一個(gè)最重要的設(shè)計(jì)理念就是在核心節(jié)點(diǎn)應(yīng)用 IRF 技術(shù)，將兩臺設(shè)備通過 IRF 技術(shù)形成一臺設(shè)備，將核心設(shè)備故障異常的收斂時(shí)間從幾十秒降低到毫秒級， 也就是說可以將系統(tǒng)的 HA 性能提高將近兩個(gè)量級。 這一點(diǎn)對于 Hub-Spoke 組網(wǎng)方案是非常重要的。