Skip Navigation Links首頁 > 產品與服務 > 技術分享

技術分享

HP IP CLIM問題處理技術分享

作者/黃俊源
前言
由於TCP/IP處理網路傳輸,需要占用大量processor資源,為了減輕processor負荷,HP Integrity NonStop BladeSystem提供CIP子系統,提供TCP offload engine的機制,藉此減輕processor的loading。因此在CIP子系統的使用下,相關TCP/IP的控制及處理從原有processor下移至IP CLIM,因此針對後續的問題處理與分析,亦將需分成兩部分作分析處理。

IP CLIM packet tracing

CLIM trace主要分為兩段,一個是針對TCP/IP做trace,一個是針對NSK CIP子系統各元件做trace,下列將依序針對這兩部分做說明:

一、TCP/IP trace:透過啟動CLIM上面的tcpdump工具針對TCP/IP網路傳輸部分作trace,詳細說明如下:

1.啟動方式:
(1)於TACL底下透過CLIMCMD啟動tcpdump,執行範例如下:
CLIMCMD c1002581 tcpdump host 16.58.11.18 -i eth5 -w /home/trace –v –s 0

(2)透過ssh連上CLIM後,啟動tcpdump,執行範例如下:
ssh –S $zssp0 root@192.231.36.54
cd /home
tcpdump host 16.58.11.18 -i eth5 -w /home/trace -v

(3)tcpdump使用參數說明:
host:指定要記錄的source或是destination對應的IP。
  • -i eth5:指定要記錄的interface,如果指定"-i any"表示針對所有的interface作記錄。

  • -w /home/trace:指定trace檔案存放位置。

  • -s 0:指定trace所記錄最大的packet size,如果設定為0,表示依據實際packet size做紀錄。

  • -v:指定輸出詳細的資訊。

另外也可以指定
  • src port n:設定只有透過此port作SENDS才作紀錄。

  • dst port n:設定只有透過此port作RECVD 才作紀錄。 (也可如同時作設定,如 "src port n and dst port n")。

  • tcp port n:設定記錄所有資料使用到對應的port部分。


2.執行範例:

(1)查看特定介面上的網路問題
climcmd clim_name tcpdump -i eth4 -w /home/debuginfo/trace4 -v

(2)查看routing問題,針對每個interface作tcpdump
climcmd clim_name tcpdump -i eth1 -w /home/debuginfo/trace1 -v climcmd clim_name tcpdump -i eth2 -w /home/debuginfo/trace2 -v climcmd clim_name tcpdump -i eth3 -w /home/debuginfo/trace3 -v climcmd clim_name tcpdump -i eth4 -w /home/debuginfo/trace4 –v

(3)查看應用系統針對遠端某個主機IP的行為
climcmd clim_name tcpdump host 10.1.1.10 -i any -w /home/debuginfo/traceall –v

(4)如果user data有被截斷,可以設定使用較大的buffer
climcmd clim_name tcpdump -i eth4 -w /home/debuginfo/trace4 –v –s 65535

3.停止tcpdump方式:原則上上述指令執行時會導致terminal等候tcpdump執行完畢,故可break連線,透過climcmd查看,之後可以透過kill ”pid”方式停止。
climcmd clim_name ps或是
climcmd clim_name ps|grep tcpdump

4.檔案下載方式:
(1)clsftp clim_name

(2)sftp –S $ssh_process –h root@clim_ip_address

(3)sftp相關指令說明
  • lcd:切換local path

  • cd:切換clim上的path

  • binary:設定binary方式傳送

  • get:download檔案

  • put:upload檔案

  • rm:刪除檔案

  • help:操作指令說明


5.其他:
當診斷NonStop server與CLIM之間的問題,如果要對應end-user data level,可以在PROVIDER trace中找到對應,在ptrace設定HEX ON並且選擇CIPLIB_TRC_DATA_IN以便過濾保留incoming frames,選擇CIPLIB_TRC_DATA_OUT以便過濾保留outgoing frames。

二、NSK CIP子系統各元件做trace:

1.CLIM:紀錄特定CPU針對指定的CLIM所作的CIP Library動作,每個CLIM在一個CPU上不能啟動超過一個的trace。
執行範例:
TRACE CLIM $ZZCIP.N100252,TO $DATA2.CLIM.CLIMC0,CPU 0,RECSIZE 4050,SELECT ALL
TRACE CLIM $ZZCIP.N100252,TO $DATA2.CLIM.CLIMC1,CPU 1,RECSIZE 4050,SELECT ALL
TRACE CLIM $ZZCIP.N100252,TO $DATA2.CLIM.CLIMC2,CPU 2,RECSIZE 4050,SELECT ALL
TRACE CLIM $ZZCIP.N100252,TO $DATA2.CLIM.CLIMC3,CPU 3,RECSIZE 4050,SELECT ALL

2.MON:紀錄monitor動作,包含CIPMON events、CIPMON internal messages、CIPMON internal memory resource mgmt、CIPMON messages、CIPMON internal queue operations、CIPSREQ operations、CIPMON state machines operations、CIPMON timer activities等。
執行範例:
TRACE MON $ZZCIP.ZCM00,TO $DATA2.CLIM.MON0,RECSIZE 4050,SELECT ALL
TRACE MON $ZZCIP.ZCM01,TO $DATA2.CLIM.MON0,RECSIZE 4050,SELECT ALL
TRACE MON $ZZCIP.ZCM02,TO $DATA2.CLIM.MON0,RECSIZE 4050,SELECT ALL
TRACE MON $ZZCIP.ZCM03,TO $DATA2.CLIM.MON0,RECSIZE 4050,SELECT ALL

3.PROVIDER:紀錄特定CPU針對指定的PROVIDER所作的CIP Library動作,包含Provider events、Provider input requests、Provider output requests、Provider logic events、Provider incoming data以及Provider outgoing data。
執行範例:
TRACE PROVIDER $ZZCIP.ZTC02,TO $DATA2.CLIM.PROV0,CPU 0,RECSIZE 4050,SELECT ALL
TRACE PROVIDER $ZZCIP.ZTC02,TO $DATA2.CLIM.PROV1,CPU 1,RECSIZE 4050,SELECT ALL
TRACE PROVIDER $ZZCIP.ZTC02,TO $DATA2.CLIM.PROV2,CPU 2,RECSIZE 4050,SELECT ALL
TRACE PROVIDER $ZZCIP.ZTC02,TO $DATA2.CLIM.PROV3,CPU 3,RECSIZE 4050,SELECT ALL

4.process:針對CIPSAM或是CIPMAN trace動作;包含management動作、QIO memory、SPI requests、CLIM hardware access、CONFIG等。
執行範例:
TRACE PROCESS $ZZCIP,RECSIZE 2048,TO $DATA2.CLIM.CIP,SELECT ALL
TRACE PROCESS $ZTC02,RECSIZE 4050,TO $DATA2.CLIM.PROC,SELECT ALL

IP CLIM trouble shooting

除了packet tracing以外,針對IP CLIM仍有多項統計數據提供問題判斷及分析,這裡一樣依照NSK上所提供之統計數據及CLIM上所提供之數據做說明。

一、NSK主機上所提供之統計值:

1.STATS CLIM:主要提供NonStop主機與CLIM之間CLIM software通訊狀況,至於如果需要取得TCP/IP protocol需透過CLIMCMD netstat查看。分為三個部分,陸續為CLIMMON、CLIMAGT、CIPSSRVx。說明如下:
(1)CLIMMON:主要啟動及監看CLIM上其他CIP子系統元件。詳細各統計欄位說明如下。
  • Event Log Entries:顯示因為CLIMMON所產生的syslog entry次數。

  • Restart:CLIMMON重新啟動CLIMAGT以及CIPSSRVx的次數。如果有任一個有顯示錯誤狀況,就會重新啟動。

  • CLIMAGR Failures:顯示CLIMAGT發生錯誤的次數。

  • CIPSSRV0 Failures:顯示CIPSSRV process發生錯誤的次數。


(2)CLIMAGT:主要統計從NonStop主機所產生的management request。
  • Event Log Entries:因為CLIMAGT所產生的syslog entry次數。

  • Buffer denials:顯示NonStop主機在與CLIM溝通時,無法取得buffer的次數,當有碰到此問題時通常表示memory overflow。

  • IT-API errors:透過low-level ServerNet communication handler所碰到的error次數。

  • Last IT-API error code:顯示上次碰到IT-API error時所記錄的status code。

  • Linux errors:CLIM端的CIP所回應的error次數。

  • Last Linux errno:顯示上次碰到的CLIM software error所記錄的errno值。

  • Current bfr bytes in use:顯示目前用於與NonStop主機溝通時所使用的memory大小,單位為bytes。

  • High bfr bytes in use:顯示曾經最大用於與NonStop主機溝通時所使用的memory大小,單位為bytes。

  • Total msgs sent:顯示目前有多少訊息傳送給NonStop CPU。

  • Total msgs received:顯示最高有多少訊息傳送給NonStop CPU。

  • Current connected Cpus:顯示目前有多少CPU連上此CLIM。

  • High connected Cpus:顯示最高有多少CPU連上此CLIM。

  • Queued Commands:顯示有多少筆SCF指令被候置上在等候處理。

  • Failed Commands:顯示多少筆SCF指令無法完成。


(3)CIPSSRV0:CIPSSRV process主要用於紀錄處理application socket request的統計。
  • Event Log Entries因為CIPSSRV所產生的syslog entry次數。
  • Buffer denials:顯示NonStop主機在與CLIM溝通時,無法取得buffer的次數,當有碰到此問題時通常表示memory overflow。
  • IT-API errors:透過low-level ServerNet communication handler所碰到的error次數。

  • Last IT-API error code:顯示上次碰到IT-API error時所記錄的status code。

  • Linux errors:CLIM端的CIP所回應的error次數

  • Last Linux errno:顯示上次碰到的CLIM software error所記錄的errno值。

  • Current bfr bytes in use:顯示目前用於與NonStop主機溝通時所使用的memory大小,單位為bytes。

  • High bfr bytes in use:顯示曾經最大用於與NonStop主機溝通時所使用的memory大小,單位為bytes。

  • Total msgs sent:顯示目前有多少訊息傳送給NonStop CPU。

  • Total msgs received:顯示最高有多少訊息傳送給NonStop CPU。

  • Total bytes sent:送給所有NonStop CPU的 data bytes。

  • Total bytes received:從所有NonStop CPU所接收的data bytes。

  • Current connected Cpus:顯示目前有多少CPU連上此CLIM。

  • High connected Cpus:顯示最高有多少CPU連上此CLIM。

  • Deferred Sends:顯示有碰過多少次send request無法立即執行。

  • Failed Commands:顯示多少次socket request無法完成。

  • Current TCP Listen Sockets:顯示目前有多少TCP被開啟等候新的連線。

  • High TCP Listen Sockets:顯示最高同時間有多少個TCP被開啟等候新的連線。

  • Current UDP Sockets:顯示目前開啟多少個UDP socket。

  • High UDP Sockets:顯示最多開啟多少個UDP socket。

  • Current TCP Connections:顯示目前TCP連線數。

  • High TCP Connections:顯示最高TCP連線數。


2. STATS MON:主要顯示CIPMON的統計資訊。
(1)SOCKET:
  • Total Recv Socket Reqs:所有CLIM所接收的socket request。

  • Total Recv Errors:所有接收的socket request並且回應error的次數。

  • Total Send Socket Reqs:透過所有CLIM傳送的socket request次數。

  • Total Send Errors:所有傳送的socket request碰到error的次數。

  • Data Bytes Sent:傳送給CLIM所有的data bytes總數。

  • Data Bytes Received:從CLIM接收的所有data bytes總數。

  • Total Connections Out:透過CLIM要求要做連線的次數。

  • Total Connections In:從CLIM接收到要連線的次數。

  • Current TCP Listen Sockets:目前已經open socket等候接收connection request的listen socket數量。

  • High TCP Listen Sockets:最高曾經open socket等候接收connection request的listen socket數量。

  • Current UDP Sockets:目前已經open socket等候接收UDP的listen socket數量。

  • High UDP Sockets:最高曾經open socket等候接收UDP的listen socket數量。

  • Current TCP Connections:目前TCP建立連線數。

  • High TCP Connections:最高TCP曾經建立連線數。


(2)SOCKET SEND SIZE HISTOGRAM:顯示透過所有CLIM傳送request的長度統計。
  • Size x-xxx:表示send bytes長度落在x至xxx bytes的次數。

  • Size 32769 and larger:表示send bytes長度大於32769 bytes。


(3)MON STATS
  • Total Messages Sent:顯示傳送至CLIM的message次數。

  • Total Messages Received:顯示從CLIM接收的message次數。

  • Current Connected CLIMs:顯示目前有連上多少台CLIM數量。

  • High Connected CLIMs顯示最高連上多少台CLIM數量。

  • Total Rejected Connections:顯示多少次企圖連上CLIM可是被拒絕。

  • Deferred Sends:顯示多少次send request無法立即執行。


3.LISTOPENS PROVIDER $ZZCIP.ZTC02,D
(1)Opener:顯示哪個process來open這個socket,如果沒有process name,則僅顯示node name。
(2)Ppid:顯示primary process的PID。
(3)Bpid:顯示backup process的PID。如果沒有backup process將顯示0,0。
(4)Plfn:顯示primray process針對這個socket的file number。
(5)Blfn:顯示backup process針對這個socket的file number。
(6)Proto:顯示socket所使用的協定。
(7)State:目前socket狀態。
(8)SendQ:表示socket在send queue裡面擺放的資料有多少個bytes。
(9)RecvQ:表示socket在receive queue裡面擺放的資料有多少個bytes。
(10)Provider:表示ap使用哪個provider來open這個socket。
(11)CLIM:表示哪個CLIM使用這個socket。(*mult*)
(12)CLIM-FD:表示在這CLIM上socket所對應的CLIM software file descriptor。
(13)Lport:socket所使用的local port number。
(14)Laddr:socket所使用的local address。
(15)FPort:socket所使用的remote port number。
(16)Faddr:socket所對應的remote IP address。

二、CLIM上所提供之統計值:

CLIM上所記錄的統計值,主要可透過netstat指令做查詢,這裡主要列出netstat –a以及netstat –s。
1.netstat -a(如同以往SCF;STATUS PROCESS $ZTC0)可察看個別socket session狀態:
(1)Active Internet connections各欄位說明:
  • Proto:socket使用協定。

  • Recv-Q:socket目前receive的queue值,單位為bytes,表示user program尚未取走的資料。

  • Send-Q:socket目前send的queue值,單位為bytes,表示user program要送出的資料可是remote host尚未作acknowledged。

  • Local Address:本地的address。

  • Foreign Address:遠端的address。

  • State:socket目前狀態。可能有下列狀態:

  • ESTABLISHED:socket連線已經建立。

  • SYN-SENT:socket試圖建立連線,送出SYN封包。

  • SYN-RECV:socket connection初始狀態,接收到SYN封包。

  • FIN-WAIT1:socket正在做close動作,正處於4 way的第一階段shuting down動作。

  • FIN-WAIT2:socket正在做close動作,正處於4 way的第二階段等候遠端執行shuting down動作。

  • TIME-WAIT:socket正等候作close,等候遠端shutdown retransmission。

  • CLOSED:socket已經close。

  • CLOSE_WAIT:遠端已經shut down,等候socket去close。

  • LAST_ACK:遠端已經完成shut down,而且socket已經close,等候acknowledgement。

  • LISTEN:socket等候接收connect request。

  • CLOSING:兩端的socket都已經執行shut down,可是仍有資料尚未送出。

  • UNKNOW:socket狀態處於未知情況。
    ‧DGRAM(SOCK_DGRAM):socket用於datagram (connectionless) mode。UDP模式。
    ‧STREAM(SOCK_STREAM):socket用於stream (connection) mode。TCP模式。
    ‧RAW(SOCK_RAW):socket用於raw socket。
    ‧RDM(SOCK_RDM):socket用於data link層,不保證packet順序,this one serves reliably-delivered message。
    ‧SEQPACKET(SOCK_SEQPACKET):屬於sequential packet socket。
    ‧PACKET(SOCK_PACKET):RAW interface access socket。
    ‧UNKNOW:未知。

  • State:主要有幾種狀態,詳如下說明。
    ‧STENING:socket 處於等候接聽連線需求狀態。
    ‧UNCONNECTED:socket尚未與另外一端連線。
    ‧CONNECTING:socket正在建立連線。
    ‧CONNECTED:socket已經建立連線。
    ‧DISCONNECTING:socket正在作斷線處理。
    ‧UNKNOWN:未知狀態,正常此狀態不會發生。
  • I-NODE:pathname所對應的inode(檔案對應的inode指標,以便指示存放實體位置)。

  • Path:使用此socket對應的process的pathname。

2.netstat –s(如同以往SCF;STATS PROCESS $ZTC0)查看整體網路統計數據。
其中有socket buffer overflow或是RcvbufErrors等統計數據,可藉此判斷是否buffer太小不足以應付瞬間的傳送流量,或是傳送速度遠超過接收速度,導致即使放大buffer size仍不足以應付接收的流量。而導致packet data loss的問題。

三、範例推演:
當透過Informatica所提供測試multicast網路狀況之工具(mtools中的msend發送與mdump接收)測試AIX與NSK(透過IP CLIM)之間的multicast傳輸流量。其中當持續傳送40MB的資料情況下,即可發現CLIM上的UDP RcvbufErrors持續增加,造成接收端的data loss。

結論

為了減少主機系統上使用之資源,HP NonStop提供IP CLIM之架構,不過由於TCP/IP處理等控制下移至IP CLIM,因此針對網路傳輸上的問題追蹤及分析,將較為繁複。

延續以往針對TCP/IP處理,仍可先從NonStop系統面,檢查系統資源使用狀況,從各系統資源檢查工具可以得知,目前系統CPU使用狀況,以研判系統處理部分是否有所延遲。之後可檢查網路傳輸統計值,從網路傳輸統計值可以得知,傳輸時,是否於Send與Recv Queue有所累加,如果持續累加,需考慮AP處理行為是否有所block,或是運作上有所delay;傳輸時,相關統計值是否有socket buffer overflow或是RcvbufErrors等統計數據持續累加,如果持續累加,需注意是否buffer太小不足以應付瞬間的傳送流量,或是傳送速度遠超過接收速度,導致即使放大buffer size仍不足以應付接收的流量。如有需要亦可啟動NonStop與CLIM上的packet tracing以做細部分析。

參考資料
HP NonStop Cluster I/O Protocols (CIP) Configuration and Management Manual

 

回上一頁