續上章《硬件開源(5)：Open Vault與重構數據中心》（點擊底部“閱讀原文”可閱讀到本節為止的全部内容）

網絡：從邊緣走向核心

Intel在至強E5-2600的參考平台中力推夾層卡（ Card）設計，特别是網卡，讓高密度的機器獲得和标準（PCIe）插卡接近的靈活性。這一思想在同樣基于至強E5-2600的OCP Intel V2.0主闆上得到了很好的體現，按照OCP Card 1.0規範設計的夾層卡，安裝位置在主闆前端（冷通道側），便于維護。

聯想天蠍2.0整機櫃服務器節點用的就是萬兆OCP夾層卡， -3 EN家族的單端口10GbE網卡，以色列原廠生産（來源：張廣彬拍攝，2015年1月）

就标準機架服務器而言，網卡采用夾層卡設計的緊迫性不高，還會提高成本，所以OEM大廠的響應不是很熱烈。支持者如戴爾等将靈活性作為主要賣點，以或Intel的網卡模塊為主，希望能推動傳統企業用戶加速向萬兆網卡升級。強調密度的OCP服務器則大量采用的萬兆夾層卡，豐富的特性如能降低傳輸延遲的RoCE（RDMA over ，以太網遠程内存直接訪問）和硬件虛拟化技術SR-IOV（ Root I/O ，單根虛拟化）則是其附加值。甚至國内OEM服務器大廠如聯想，亦在其天蠍2.0服務器節點中采用這種夾層網卡，如此“拿來主義”精神對擴大OCP的覆蓋有一定積極作用。

OCP夾層卡V2主要有三大改進：增加連接器B、擴大闆上空間、可選I/O區域（來源：OCP ）

OCP Intel V3.0主闆加入了對 OCP Card 2.0的支持。2.0版夾層卡新增了可選的第二連接器，以滿足未來高速網絡（如）的需求，外觀上看更明顯的變化是擴大了闆上空間，支持的接口模塊也從1.0的2個SFP+升至2個QSFP、4個SFP+或4個RJ45/-T的多種選擇。

符合OCP夾層卡V2規範的 （下，40GbE）與V1的前輩（上，10GbE）對比，左側是外觀上的變化，右側可以看到，由于支持Multi-Host技術，有多達4個MAC地址，可以支持最多4個獨立的主機（服務器），即以一當四（4×10GbE）（來源：張廣彬拍攝，2015年3月）

介紹到這裡有必要指出，夾層卡屬于服務器項目。OCP在網絡項目上的起步相對較晚，從2013年才開始有規範産生，2014年逐漸壯大。這個發展過程，與數據中心的建設軌迹高度重合——2013年4月宣布建設，2014年4月底第一棟建築完工，2014年11月中正式上線。

網絡項目是在2015年重點開花的領域，（硬件）、 （ONIE）、Big （）、（）及（FBOSS agent和）各顯其能（來源：第六屆OCP峰會Jay 的演講材料）

在數據中心之前，采用名為“4-post”的彙聚集群架構，優點是冗餘性和超額配置很好，拓撲結構扁平，沒有路由器互連集群。問題在于，CSW和FC需要非常大的交換機，不僅限制了供應商的選擇範圍（每端口TCO很高），專有内部構件不允許定制化、管理複雜、修複漏洞等待時間長，超額交換結構不能同時使用所有端口，端口密度限制拓撲結構的規模和帶寬……而且，集群内和集群間的流量都隻有4個交換機處理，一個交換機故障就會造成嚴重影響——損失25%的集群内流量（CSW）或集群間流量（FC）。

的“4-post”集群架構因立體來看，保護環上的4個交換機形成4個“post”而得名。多達225個服務器機櫃通過ToR交換機（RSW）連接到高密度集群交換機（CSW），RSW有多達44個10G下行鍊路和4或8個上行鍊路，4個CSW機器連接的RSW組成一個集群，RSW和CSW之間的超額配置通常為10:1；4個“”（FC）彙聚交換機互連集群，每個CSW有4個40G（10G×4）上連到每個FC，超額配置通常為4:1。一個80G保護環連接每個集群内的CSW，FC連接到160G保護環（來源：數據中心網絡架構論文）

據 World介紹，為了從根本上解決集群架構的問題，的下一代架構采用了如下的做法：

提出解耦核心與pod的設計，作為基本網元的pod（下部特寫）包含48個ToR，通過4個40G上連到4個交換機，形成一個折疊的3級Clos結構，或所謂的分支和主幹（leaf-and-spine）拓撲。每個pod隻包含48個服務器機櫃，不到原來的五分之一，規模明顯減小。按照每個ToR交換機48個10G下連計算，pod的超額配置為3:1（160G上連），也比10:1有明顯的改進（來源： World）

這顯然需要網絡硬件的大力支持。按照OCP官網上的說法，網絡項目最初的目标是開發分支（leaf，指ToR）交換機（前述“使用大量小型交換機”），然後是主幹（spine，相當于）交換機和其他硬件及軟件方案。

三層網絡的（彙聚）/（接入，如ToR）與二層網絡的Spine（主幹）/leaf（分支）存在一定的對應關系，後者更适應東西向（服務器間）流量為主的大趨勢（來源： ）

網絡設備與服務器的同源性還沒有存儲設備那麼高，以交換機與服務器的配比，密度早不是一個級别，擴充空間不是優先考慮的事情。已有的幾款OCP定制交換機在外形尺寸上很常規，标準RU、能裝在19英寸機架裡即可，電源和風扇的布置方式也很傳統，有助于被企業市場接受。目前，OCP網絡硬件追求的是類似服務器的使用體驗乃至生命周期，包括控制平面與數據平面的高度模塊化、軟件與硬件解耦合，以實現定制的靈活性（DIY），避免被供應商鎖定——那意味着喪失議價權，降低CAPEX和OPEX自然無從談起。

OCP網絡項目的階段性目标，先從傳統單體式（）交換機到軟硬件解耦，再進一步模塊化。硬件部分包括模塊化機箱、交換機模塊和“Group Hug”微服務器（來源：）

數據平面的核心是ASIC（如）或FPGA，不乏支持40GbE的方案；控制平面的CPU可以是x86（如AMD的嵌入式SoC，或Intel Atom/Xeon D-1500系列）、（如多核PPC）、MIPS（如多核MIPS）以及ARM。截至2015年2月底，OCP已經公開了6款交換機（、/ 、和Intel各1款，Alpha 有2款）的設計，其中的半數方案可以根據需要配置為ToR或彙聚（）交換機。

主幹與分支網絡的立體拓撲，高度模塊化的設計使可以在任何層面快速擴展容量：需要更多計算容量，添加服務器pod；需要更多内網絡容量，在所有平面添加主幹交換機；需要更多外連接，增加邊緣pod或擴展現有邊緣交換機的上行鍊路（來源：網絡工程師 ）

軟件與硬件解耦，ONIE是關鍵，也是OCP網絡項目早期的重點工作。ONIE即Open （開放網絡安裝環境），是一個定義用于裸金屬（bare metal）網絡交換機的開放“安裝環境”的開源項目。傳統的以太網交換機有預安裝的操作系統，拿來就用，直接管理，但會鎖定用戶；所謂的白盒（white-box）網絡交換機提供了選擇硬件的自由，但不同的CPU架構等導緻異構的管理子系統，又給上面的網絡操作系統制造了困難。

優化的數據中心網絡物理拓撲（來源：）

ONIE定義了一個開源的“安裝環境”，将boot （引導裝載程序）與現代的Linux内核及相結合，提供了一個可以安裝任何網絡操作系統的環境，有助于自動化大型數據中心的（上千台）交換機配給，讓用戶像管理Linux服務器一樣管理交換機。

交換機效果圖（來源：官網）

上述成果的直觀體現就是 （瞻博網絡）2014年12月初發布的交換機，在Alpha SNX-60x0-486F的硬件上運行前者基于Linux的Junos操作系統，預計于2015年第一季度上市。SNX-60x0-486F是Alpha 公司設計的OCP交換機，由一個（ Ⅱ）芯片提供48端口10G SFP+和6端口40G QSFP，CPU子系統為（飛思卡爾）P2020或Intel C2558，可作為ToR或彙聚交換機使用。Dell（提供如Z9500-ON數據中心核心及彙聚交換機）與 的合作也屬于類似的情況。

2014年6月公開的Wedge交換機硬件設計，1U規格，适用于标準19英寸機架，可以通過Open Rack （ORSA）安裝在Open Rack上。控制平面采用OCP微服務器（Group Hug），數據平面基于 Ⅱ 40Gb ASIC（商用芯片），雙冗餘供電單元，4個風扇（來源：）

就像上一章說過的，Scale-out（橫向擴展）不代表單點不需要Scale-up（縱向擴展），隻要掌握了主導權，不會拒絕核心交換機。2014年6月，展示了其設計的新款ToR交換機（代号Wedge），基于的硬件，有多達16個40GbE端口，支持Intel、AMD和ARM的CPU，配以基于Linux的操作系統（代号FBOSS）。

FBOSS Agent（到交換機ASIC的核心庫）、（Open ，提供的開放網絡交換機庫）、Open BMC（闆上低級系統管理）與Wedge交換機硬件的關系（來源：第六屆OCP峰會網絡項目主題演講材料）

2015年2月11日，宣布推出第一款開放硬件模塊化交換機“6-pack”，7RU的機箱，裝有8個基于Wedge的交換機和2個卡，共6層，底下還有一層供電模塊，風扇集中在機箱後面。作為數據中心（緊耦合網絡）的核心，6-pack将使可以組建更大規模的集群，而不是将集群分為多個，并因集群間的網絡鍊路而限制集群的規模。

6-pack硬件平台，交換機模塊兩兩并列放置。PSU集中于底部，總數隻有8個Wedge的四分之一；風扇模塊集中于後部，總數減少有限，還有進一步優化的空間（來源：）

Wedge已通過OCP公開設計規範，6-pack暫時還沒有。

擺在6-pack上的交換機模塊（左），去掉了PSU，寬度較Wedge（右）大為減少，所以能在同樣的寬度内并排容納2個（來源：張廣彬，拍攝于第六屆OCP峰會）

未完，待續……