作者簡歷

作者擁有22年IT服務資歷，現職凌群電腦NSK服務總處總處長，主要負責台灣證券交易所交易系統與維運系統、NonStop系統維運服務、軟體產品整合服務。專長為HPE NonStop系統、系統整合、系統網路監控管理及專案管理。

前言

本期參訪報導將說明Virtualized NonStop最新發展，包含於2017年推出的OpenStack的vNonStop、最新發表採用VMware虛擬化技術的vNonStop，以及類似一體機概念的Virtualized Converged NonStop – NS2；用戶可依據企業IT環境選擇採用OpenStack或VMware，以及具備虛擬化技術但是不需要自行建置VM環境的NS2。vNonStop具備下列與NonStop X相同的特性：

• 與NonStop X具備相同的可用性(VM環境需考量容錯配置)。



• 具備相同的core license方案。



• 使用與NonStop X相同的L版本作業系統。



• TNS程式與NonStop X使用相同的object code。



• Native程式與NonStop X使用相同的object code。



• TNS/R或是TNS/E程式需重新編譯。



• Big Endian環境。

Virtualized NonStop – OpenStack

vNonStop (OpenStack)與NonStop X的差異如下表，主要差異為專用硬體設備與VM的不同。



vNonStop(OpenStack)的VM環境可參考下圖，此為2 CPU的範例；使用2台server，每台server有2個CPU Socket，每個CPU有16 core；每個CPU上有兩個core提供Linux Kernel使用，vCPU 0與vCPU 1各使用6 core、兩台Storage vCLIM各使用2 core、兩台IP vCLIM各使用8 core、一台vNSC使用2 core，使用40Gbps支援RoCE (RDMA over Converged Ethernet)的Ethernet switch作為interconnect。



VMs (Virtual Machines)種類如下表，CPU與CLIM數量限制與NonStop X相同。



vNonStop (OpenStack)建置考量

一、為了維持可用性，建置時須注意下列事項

• Block storage volume需建置為mirror。



• Primary以及mirror LUN必須分屬於不同的實體storage enclosure或是磁碟機。



• 連接線須具備X、Y兩路。



• 須提供兩組電源。

二、NonStop使用之硬體須支援Intel® Virtualization Technology for Directed I/O(VT-d)，主要有下列功能：

• DMA remapping：針對Direct Memory Access可從I/O device到VM上，支援位址的轉換。



• Interrupt remapping：針對I/O device轉換到VM上，支援interrupt的隔離或是轉換。



• 支援Single Root I/O Virtualization(SR-IOV)：SR-IOV 是一種 PCI(peripheral component interconnect)規格，允許PCIe的I/O裝置以多個實體與虛擬裝置呈現以供VM使用。



• 設定特定參數以促使達VM可達最佳效能
  
  • 例如下列參數設定：固定cores，至少固定1 GB 的記憶體，hyperthreads (如果硬體支援的話，這部分主要套用於vCLIMs設定)，針對VM分配cores的使用時最好配置於相同的NUMA區域範圍。
  
  
  • 當在佈署vNonStop系統時，OSM OpenStack plugin為了效能考量預設會有一些參數調整。
  
  
  • 針對vNonStop CPU以及vCLIM需要獨立綁定core。


• 其他軟體優化考量
  
  • RHEL需要QEMU(Quick emulator) version 2.3或是更新版本。
    
  • QEMU為可獨立更新的套件。
    
  • vNonStop推出時會列出測試的環境版本及所需更新套件。


• Storage
  
  • vNonStop支援SAS drive、HPE StoreVirtual Virtual Storage Appliance以及storage array。
    
  • 主要透過OpenStack Cinder service配置給Storage vCLIM。
  
  
  • 在vNonStop存取設定就透過SSM(Storage Subsystem Manager)。
  
  
  • Storage vCLIM佈署一樣透過OpenStack然後透過OSM設定。
  
  
  • Storage vCLIM最多支援3個virtio network interface。
  
  
  • 每一個Storage vCLIM最多可以有25個disk。


• Network
  
  • IP vCLIM主要透過OSM OpenStack plugin做佈署，後續再透過OSM做設定。
    
  • IP vCLIM支援最多7個網卡介面，eth0保留管理用，eth1~eth5用戶可設定，如同實體CLIM配置，至少兩個vCLIM上各需保留一個port提供$ZTCP0、$ZTCP1使用。
  
  
  • vNonStop之間的clustering則透過RoCE。
  
  
  • 網卡虛擬化的選項：Virtio、PCI passthrough和SR-IOV，不過由於Virtio無法偵測link pulse所以無法自動failover，其他則如同實體IP CLIM。
  
  
  • IP and Telco vCLIM網路介面設定選項如下表：
    
    
    
    《表三》(OpenStack) vCLIM network interface configuration options

Virtualized NonStop – VMware

vNonStop (VMware)與NonStop X的差異如下表，主要差異為專用硬體設備與VM的不同。



vNonStop的VM環境可參考下圖說明，此為2 CPU的範例；使用2台server，每台server有2個CPU socket，每個CPU有16 core；vCPU 0與vCPU 1各使用6 core、兩台Storage vCLIM各使用4 core、兩台IP vCLIM各使用4 core、一台vNSC使用2 core，使用40/100Gbps支援RoCE的Ethernet switch作為interconnect。與KVM不同的地方在於VMware的配置，KVM需要設定core給host OS (Linux)使用，VMware並不需要特別設定core給host OS使用，但VMware hypervisor仍會使用約17%的實體CPU資源，規劃時需要預留實體資源。



VMs (Virtual Machines)種類請參考下表，CPU與CLIM數量限制與NonStop X相同。



vNonStop (VMware)建置考量

一、VM在vSphere的設定注意事項

• 每個vCPU在VM環境中需要設定latency sensitive設為high、保留CPU clock cycle等，使用特定的實體core。



• VM都需設定使用專用的實體memory，不可與其他VM共用。



• 考量容錯特性，同一個NonStop node相同的VM種類(vCPU、vCLIM)不能放在同一compute node (同一實體server)中。



• 不支援VM migration，但是可將單一vNonStop VM停止後，將其搬到其他地方，且此時因vNonStop系統為容錯架構，所以仍可正常運作。

二、Compute node (實體server)規格需求

• Intel x86-64 processor
  
  • Hyperthread support。
  
  
  • Virtualization Technology (VT-x、VT-D) support。
  
  
  • 驗證過Intel Xeon Processor E5 family與Scalable Processor family。
  
  
• Rackmount Server
  
  • Minimum 5 PCIe I/O slot
  
  
  • 驗證過HPE DL380 Gen9/Gen10 server
  
  
• Processor cores使用需求
  
  • vNonStop的core指的是physical core，不是使用hyperthread後的logical core。
  
  
  • vCPU的core license支援1、2、4、6 cores。
  
  
  • Storage vCLIM：4 or 8 cores。
  
  
  • IP/Telco vCLIM：4 or 8 cores。
  
  
  • vNSC：2 cores。
  
  
  • 需要保留VMware hypervisor本身所需的cores。
  
  
• Memory使用需求
  
  • vCPU：32GB to 64GB for 1c configuration (Entry class)；64GB to 192GB for 2c/4c/6c configuration。
  
  
  • Storage vCLIM：4GB。
  
  
  • IP/Telco vCLIM：16GB。
  
  
  • vNSC：8GB。
  
  
  • 需要保留VM本身所需的memory。


• 10Gbps Network Adapter需求規格
  
  • vNSX IP vCLIM支援下列virtual networking interface：VMXNET3、PCI passthrough、SR-IOV。
  
  
  • Intel 82599 NIC：測試過HPE 560SFP+。
  
  
  • QLogic 57810S NIC：測試過HPE 530T。
  
  
• Storage Adapter需求規格
  
  • 支援VMware的paravirtual driver interface。
    
  • Minimum 10Gb for FCoE Adapter。
    
  • SAN架構，支援Fiber Channel與iSCSI。
  
  
• System interconnect IO Card需求規格
  
  • 40Gb Ethernet、2 QSFP+ ports
    
  • RoCE v2 and OFED driver support (version 4.16.10.3, configured max_vfs = 4)
    
  • Mellanox ConnectX-4 VPI (HPE 840QSFP28 2P)
    
    • Firmware version 12.20.1030
      
    • SR-IOV enable

三、System interconnect Network switch需求規格

• Minimum：40Gb Ethernet、QSFP+ ports
  
  
• VLAN support
  
  
• Flow Control Support：IEEE 802.3x Pause frame
  
  
• Data Center Bridging (DCB) protocol support：IEEE 802.1Qbb Priority Flow Control
  
  
• 測試過HPE FlexFabric 5930 and 5940 switch series
  
  
• 需兩台switch作容錯架構

四、IP and Telco vCLIM網路介面設定選項如下表：


Virtualized Converged NonStop – NS2

除了Converged和Virtualized NonStop的選擇外，HPE結合兩種系統的優點，發表Virtualized Converged NonStop – NS2，類似一體機的概念；享有虛擬化的優點，但卻不需要面對複雜的VM環境設定。



Virtualized Converged NonStop – NS2在NonStop產品中的定位如上圖所示，讓NonStop產品線更齊全、更完整的，與其他NonStop系統相較，有下列特性：

• 容易建置
  
  
• 出廠時已設定好系統configuration
  
  • 目前支援2 CPU和4 CPU，Core licensing支援1/2 cores方案
    
  • Memory固定為64GB
    
  • 2 CPU系統支援12對mirrored volume、10GbE x 8
    
  • 4 CPU系統支援24對mirrored volume、10GbE x 16


• NonStop系列中佔用最少空間(footprint)的機種
  
  
• 省去複雜的雲端建置(虛擬化)工作
  
  
• NS2適用於下列應用
  
  • 適合遠端、分散式應用系統、分公司
    
  • 企業國際化發展可直接在當地佈署系統並立即使用
    
  • Edge processing
    
  • Linux的替代方案
    
  • 開發測試系統
    
  • 各種新的應用


• 虛擬化技術使用Debian Linux host OS (CLIM相同)
  
  
  
  《表七》Comparison of NonStop Entry-class

表七為各Entry-class機種的比較，NS3、NS2和vNonStop均使用相同作業系統版本。NS2作業系統與軟體相容性說明如下：

• 採用L版本作業系統，應用程式100%相容
  
  • 由應用系統角度來看是相同的環境
    
  • 程式不需要重新compile
    
  • 應用系統和使用的相關軟體產品不需改變
    
  • 100% binary compatible


• 系統可用性與其他NonStop系統相同
  
  
• OSM可以同時管理logical和HW設備
  
  
• 具備相同的IP CLIM和Telco CLIM功能
  
  
• 相同的開發工具和開發環境

表八提供用戶如何選擇系統的評估依據，NS2使用最少機櫃空間(footprint)，且因為有類似一體機的概念，安裝建置最為單純；相對地，因為使用最少硬體設備建置系統，彈性、擴充性和fault zone較不理想(單一硬體設備故障影響範圍較大)，但仍維持原有的可用性。

結論

HPE自家的IT核心系統採用vNonStop與SQL/MX資料庫協助其進行轉型，vNonStop仍保持NonStop的容錯、線性擴充能、安全、online維護、軟體整合性等優勢，可融入客戶既有IT環境，有效降低客戶IT架構的複雜度、提高客戶IT維運效率，提供更有彈性的資源應用，提升IT競爭優勢。

參考資料

1.Marcelo De Azevedo, "Virtualized NonStop (vNonStop) Architectural Overview", 2018 NonStop TBC
2.Marcelo De Azevedo, "Virtualized NonStop (vNonStop) Manageability, Care and Feeding", 2018 NonStop TBC
3.Joel Sigman, "Configuring hardware for Virtualized NonStop (vNonStop)", 2018 NonStop TBC
4.L18.02 Release Version Update Compendium, March 2018
5.L18.08 Release Version Update Compendium, September 2018