作者簡歷

作者擁有8年IT服務資歷，現職凌群電腦，主要負責台灣證券交易所交易系統與維運系統、NonStop系統維護服務、軟體產品整合服務。專長為HPE NonStop系統、系統整合、系統網路監控管理及專案管理。

前言

此篇報導將針對vNonStop 2.0 VMware版本虛擬化技術進行相關環境建置與設定說明。共分為三個章節：環境需求、BIOS設定、OFED驅動程式安裝。

環境需求

依據下列元件的版本確認是否達到基礎環境佈建的要求：

• NonStop Guardian OS L18.02或以上。



• VMware vSphere Hypervisor (ESXi) 6.5或以上：
  
  • ESXi為VMware客製化的一套作業系統，安裝於實體機上，並提供虛擬機的建置、部屬、運作…等功能。
  
  
• VMware vCenter Server 6.5或以上(提供兩種選擇)：
  
  • vCenter提供單一操作介面管理多台ESXi實體機與虛擬機，並監控整個虛擬化的環境。提供兩種版本選擇：vCenter Server Appliance (vCSA版本)與Windows Workstation版本。
  
  
• VMware vRealize Orchestrator Appliance 7.3或以上：
  
  • vRealize Orchestrator簡稱vRO，提供部屬vNonStop虛擬機環境所要用的建置流程，稱為workflow，並以JSON(JavaScript Object Notation)作為建置時的設定格式。


• NonStop System Console Installer DVD image (Update 30 或以上)：
  
  • 提供vNonStop console所需的OSM工具。


• 申請Virtualized NonStop相關檔案(見圖一)。




《圖一》Virtualized NonStop相關檔案



• 注意事項-：
  
  • Vmware 環境可支援的網卡Failover模式如下表一：
  
  
  
  
  《表一》可支援的網卡Failover模式
  
  
  
  • OFED Driver版本對照表如下表二：
    
    
    
    《表二》OFED Driver版本對照表

實體機BIOS設定

底下將圖示說明，在安裝ESXi作業系統之前，先進行BIOS的設定，以符合vNonStop運行的需求。(範例為HPE DL380 Server)

• 虛擬化相關設定(Virtualization Options)
  
  
  《圖二》



• 處理器相關設定(Processor Options)
  
  
  《圖三》



• 效能相關設定(Performance Options、Power Management Options)
  
  
  《圖四》




《圖五》



• 進階電源設定(Advanced Power Options)
  
  
  《圖六》

OFED驅動程式安裝

vNonStop與NonStop相同，需要一個內部的X、Y連線環境用來串聯各個硬體元件之間的溝通(vNonStop則為虛擬機間的溝通)。vNonStop使用Mellanox ConnectX-4的網卡，透過網卡SR-IOV虛擬化功能，提供vNonStop各個虛擬機的X、Y介面使用。

底下將說明在ESXi作業系統中，如何安裝Mellanox OFED驅動程式，並啟用SR-IOV功能。

一、安裝OFED driver，請依下列步驟執行

• 請至下列網址下載正確的驅動程式版本： https://www.vmware.com/resources/compatibility/detail.php?deviceCategory=io&productid=40445



• 指令：esxcli software vib install -d 安裝包的絕對路徑位置.zip



• 輸出：
  
  
  《圖七》



• 若有舊版存在，則安裝過程中會自動移除舊版。

二、確認Mellanox Software Tools (MST) version(4.7.0.42 or greater)

• 請至下列網址下載正確的程式版本：http://www.mellanox.com/page/management_tools



• 指令：esxcli software vib install -v 安裝包的絕對路徑位置.vib



• 若有舊版存在，則安裝過程中會自動移除舊版。

三、確認Mellanox Firmware Tools (MFT) version(4.7.0.42 or greater)

• - 請至下列網址下載正確的程式版本：http://www.mellanox.com/page/management_tools



• 指令：esxcli software vib install -v 安裝包的絕對路徑位置.vib



• 若有舊版存在，則安裝過程中會自動移除舊版。

四、確認上述三項OFED Driver、Software tool、Firmware tool皆安裝完成後。進行重開機。

五、確認OFED driver version

• 指令：esxcli software vib list | grep nmlx5-core



• 輸出：
  
  
  《圖八》



• 指令：esxcli software vib list | grep mft



• 輸出：
  
  
  《圖九》



• 指令：esxcli software vib list | grep mst



• 輸出：
  
  
  《圖十》

六、進行SR-IOV設定

• 切換路徑，指令：cd /opt/mellanox/bin



• 確認是否可正常讀取網卡裝置，指令：./mst status



• 啟用SRIOV，指令：./mlxconfig -d ConnectX-4網卡名稱 set NUM_VF_MSIX=30 LINK_TYPE_P1=ETH LINK_TYPE_P2=ETH SRIOV_EN=True NUM_OF_VFS=5



• 檢查參數是否設定正常，指令：./mlxconfig -d ConnectX-4網卡名稱 q
  
  
  《圖十一》



• 進行重開機。

七、進行ConnectX-4 網卡設定

• 指令：esxcli system module parameters set -m nmlx5_core -p max_vfs=4,4



• 檢查參數是否設定正常，指令：esxcli system module parameters list -m nmlx5_core



• 進行重開機。

八、檢查SR-IOV Virtual Functions設定是否完成

• 指令：lspci –d | grep –i Mellanox
  
  
  《圖十二》

參考資料

1.HPE Virtualized NonStop Deloyment and Configuration Guide.pdf
2.VMware Pre-Deployment Hardware Setup.pdf
3.https://www.vmware.com/support/pubs/
4.http://www.mellanox.com/