前言

HPE在2015年推出NonStop X型系統，採用Intel Xeon x86-64架構處理器與InfiniBand FDR等技術，大幅提升系統處理容量及縮短延遲時間，並維持一貫的容錯特性，擁有IDC最高等級AL4的可用性。在2016年又推出NSADI (NonStop Application Direct Interface)產品支援RDMA (Remote Direct Memory Access)，讓NonStop可更快速、更有效率的與其它平台交換資料。

在2017年3月底，HPE將虛擬化技術應用在NonStop系統，推出Virtualized NonStop – vNonStop (vNS)，讓NonStop應用更廣也更有彈性；未來不一定需要大量的硬體設備才能實現不停頓的容錯系統，針對開發、測試、備援都可依需求彈性的調配環境，企業可藉由vNonStop在雲端環境執行最關鍵重要的應用系統。

圖一為HPE對vNonStop的實機展示，使用2台DL380 server建置2套vNonStop系統。



vNonStop主要特性

vNonStop主要是結合NonStop X型主機與虛擬化技術，相關特性說明如下：

• 處理器：採用Intel Xeon x86處理器(64-bit mode)。



• 作業系統：與NonStop X系列相同的L版本作業系統，自L17.02開始支援vNonStop。



• 虛擬化環境：KVM hypervisor。



• Virtual Machines (VMs)：下列NonStop元件會以VM方式運作
  
  • NonStop Virtualized CPUs (vNS CPUs)：支援初階與高階規格。
  
  
  • Virtualized NonStop System Console (vNSC)：每個系統需要1個vNSC。
  
  
  • NonStop Virtualized CLuster I/O Modules (vCLIMs)：與NonStop X NS7相同，最多支援56台vCLIMs。
  
  
  
• 容錯架構：vNonStop支援下列容錯架構
  
  • NonStop標準容錯架構(若正確規劃可擁有與NonStop i、NonStop X相同的容錯能力)。
  
  
  • 僅CPUs有容錯規劃。
  
  
  • 無容錯規劃，OpenStack在部署vNonStop資源時可不考慮容錯需求。



• IP CLIM與Open CLIM：支援VLANs、VXLANs for virtio、SR-IOV與PCI-passthrough 網路介面。



• 軟體和OpenStack：
  
  • Ubuntu 16.04, including KVM hypervisor
  
  
  • OpenStack Mitaka



• 軟體提供方式：
  
  • 系統初始建置時提供客製的SUT (QCOW2格式)。
  
  
  • vCLIM初始建置時提供QCOW2 image (後續可透過CLIM DVD更新)。
  
  
  • 提供NonStop System Console DVD Update的ISO image。
  
  
  • 提供Halted System Services (HSS)的ISO image。
  
  
  • 提供Virtualized NonStop deployment tools for OpenStack。



• 系統內部連結：40 Gbps RoCE (RDMA over Converged Ethernet)。



• Clustering：高階vNonStop系統間可直接透過RoCE連接。



• Expand：支援Expand/IP，與NonStop i、NonStop X連接透過此方式。



• Storage：支援多種storage選項，包含SAS drive、HPE StoreVirtual VSA (Virtual Storage Appliance)、storage array。



• 軟體授權：高階機種支援2、4、6 core licensing，初階機種支援1 core licensing。



• 程式版本：支援TNS (code 100)與TNS/X (code 500)程式，TNS/R、TNS/E可重新compile為code 500程式。



• Endianism：Big Endian，與其它NonStop相同。



• 系統最低需求：需要2台server可供部署vCPU VM x 2、Storage vCLIM VM x 2、IP vCLIM VM x 2、vNSC VM x 1。

vNonStop系統架構

vNonStop擴展NonStop系統產品線，為cloud-ready的產品，提供新的部署工具可讓客戶將VM部署在私有雲上，如圖二所示：



vNonStop的VM實際執行於實體主機的運作環境可參考圖3，此為2顆CPU的vNonStop系統，實體主機包含2台Linux server，每台Linux server上各安裝2顆16 core的CPU，兩台RoCE 40Gbps Ethernet Switch做容錯架構(X、Y fabric)；每個vCPU使用6個實體core、2台IP vCLIM各使用8個實體core、2台Storage vCLIM各使用2個實體core、1台vNSC使用2個實體core，連接外部Storage和Ethernet網卡。此架構滿足大部分容錯架構的需求，但仍需考量Storage volume必需要為mirrored、Primary和Mirror LUN必需要分散在不同的storage enclosure和disk drive、多組電源等項目。



一、vNonStop Networking

IP、Telco vCLIM (open CLIM)是透過OSM OpenStack plugin進行部署，後續的建置與設定使用OSM。

• IP、Telco vCLIM支援7個網路port，eth0保留給管理使用，eth1~5為user使用；每個vNonStop系統至少要有2個port供$ZTCP0、$ZTCP1使用，通常使用eth1~eth5，若eth1~eth5無空port可使用，則使用eth6。



• vCLIM支援PCI passthrough、SR-IOV、virtio，採用SR-IOV或是PCI passthrough模式，IP、vCLIM最多可設定4個實體HPE 10Gbps Ethernet網路port。



• 支援VLANs與VXLANs。



• IP、Telco vCLIM與實體CLIM支援相同的NonStop加值功能，包含udp, tcp, sctp, raw sockets, IPv4, IPv6與IPSec；partner軟體也可安裝執行於Telco vCLIM。



• vCLIM支援Expand/IP連接NonStop i與NonStop X。



• RoCE clustering支援高階vNonStop server。



• PCI passthrough、SR-IOV、virtio優缺點說明如下表：

二、vNonStop Storage

vNonStop支援的Storage包含SAS disk drive、HPE StoreVirtual Virtual Storage Appliance、Storage array等，vNonStop的Storage建置是先使用OpenStack Cinder service設定disk I/O裝置(block device)，採用virtio方式提供給Storage vCLIM使用，後續的建置和設定則使用Storage Subsystem Manager；Storage vCLIM的部署是使用OSM OpenStack plugin，並使用OSM做後續設定。Storage vCLIM支援3個virtio介面，eth0保留給硬體管理使用，eth1~eth2供ESKM (Enterprise Secure Key Manager)和iSCSI使用。圖4為採用VSA的架構圖。



vNonStop在效能與可用性上設計考量

• 硬體本身支援虛擬化技術，並提供一個簡單、穩固和可靠的Hypervisor host OS軟體，提供眾多VM間的隔離和保護能力。



• vNonStop使用Intel虛擬化技術– Intel Virtualization Technology for Directed I/O (VT-d)，包含下列功能：
  
  • DMA remapping：支援I/O裝置到VM的DMA轉址功能。
  
  
  • Interrupt remapping：支援I/O裝置到特定VM的interrupt隔離和路由功能。
  
  
  • 支援Single Root I/O Virtualization (SR-IOV)：SR-IOV是PCI (Peripheral Component Interconnect)的標準，允許PCIe的I/O裝置以多個實體與虛擬裝置呈現。


• VM效能最佳化參數設定
  
  • 針對vCPU和vCLIM綁定core、記憶體設定1GB pinned huge page、啟用hyperthread、VM所使用的core需要為同一NUMA zone。
  
  
  • 在部署vNonStop時，OSM OpenStack plugin會選擇預設的最佳效能相關參數。


• 不允許其他VM使用綁定給vCPU和vCLIM的core。



• vNonStop軟體經最佳化可降低VM exits
  
  • VM exit為VM將控制權交回給VMM (host OS)。


• Linux host OS上軟體最佳化
  
  • RHEL需要QEMU (Quick Emulator) version 2.3以上的版本以取得較佳效能。
  
  
  • QEMU package可單獨於Linux host OS上更新。
  
  
  • vNonStop使用手冊上有列出驗證過的Linux版本和重要的更新。


• RoCE的訊息傳遞延遲時間相較InfiniBand無顯著較高。



• 40 Gbps RoCE (vNonStop)和56 Gbps InfiniBand (NonStop X)的頻寬遠高於大多數應用系統需求，不太可能發生耗盡RoCE NIC頻寬的狀況，除非共用RoCE NIC的所有VM同時產生非常大量的資料流量；針對RoCE NIC使用上的限制說明如下：
  
  • 每張RoCE NIC最多支援4個vNonStop VM。
  
  
  • 其中最多只能有2個VM是vCPU。
  
  
  • 若2個vCPU VM要共用同一張RoCE NIC，這2個vCPU必需要為不同vNonStop系統。

OpenStack Service for vNonStop

vNonStop使用下列OpenStack Service部署和配置vNonStop環境：



總結

vNonStop是一個cloud-ready的解決方案，使用OpenStack service在私有雲上建置Virtualized NonStop server，有效解決傳統NonStop使用者對於維護開發測試與備援系統的負擔，也提供線上系統不同的選項，同時擁有NonStop系統容錯特性、對transaction完整的支援能力、不斷提升的效能與虛擬化雲端運算的彈性。

(作者目前服務於凌群電腦NonStop Kernel服務總處)

參考資料

1.Plum, Lars, vNonStop architecture, Connect HPE NonStop Technical Boot Camp, November 2016

2.HPE Virtualized NonStop Deployment and Configuration Guide, March 2017