略過巡覽連結首頁 > 產品與服務 > 技術分享

技術分享

友善列印友善列印

HP IP CLIM問題處理技術分享

作者/黃俊源
前言
由於TCP/IP處理網路傳輸，需要占用大量processor資源，為了減輕processor負荷，HP Integrity NonStop BladeSystem提供CIP子系統，提供TCP offload engine的機制，藉此減輕processor的loading。因此在CIP子系統的使用下，相關TCP/IP的控制及處理從原有processor下移至IP CLIM，因此針對後續的問題處理與分析，亦將需分成兩部分作分析處理。

IP CLIM packet tracing

CLIM trace主要分為兩段，一個是針對TCP/IP做trace，一個是針對NSK CIP子系統各元件做trace，下列將依序針對這兩部分做說明：

一、TCP/IP trace：透過啟動CLIM上面的tcpdump工具針對TCP/IP網路傳輸部分作trace，詳細說明如下：

1.啟動方式：
(1)於TACL底下透過CLIMCMD啟動tcpdump，執行範例如下：
CLIMCMD c1002581 tcpdump host 16.58.11.18 -i eth5 -w /home/trace –v –s 0

(2)透過ssh連上CLIM後，啟動tcpdump，執行範例如下：
ssh –S $zssp0 root@192.231.36.54
cd /home
tcpdump host 16.58.11.18 -i eth5 -w /home/trace -v

(3)tcpdump使用參數說明：
host：指定要記錄的source或是destination對應的IP。
  • -i eth5：指定要記錄的interface，如果指定"-i any"表示針對所有的interface作記錄。

  • -w /home/trace：指定trace檔案存放位置。

  • -s 0：指定trace所記錄最大的packet size，如果設定為0，表示依據實際packet size做紀錄。

  • -v：指定輸出詳細的資訊。

另外也可以指定
  • src port n：設定只有透過此port作SENDS才作紀錄。

  • dst port n：設定只有透過此port作RECVD 才作紀錄。 (也可如同時作設定，如 "src port n and dst port n")。

  • tcp port n：設定記錄所有資料使用到對應的port部分。


2.執行範例：

(1)查看特定介面上的網路問題
climcmd clim_name tcpdump -i eth4 -w /home/debuginfo/trace4 -v

(2)查看routing問題，針對每個interface作tcpdump
climcmd clim_name tcpdump -i eth1 -w /home/debuginfo/trace1 -v climcmd clim_name tcpdump -i eth2 -w /home/debuginfo/trace2 -v climcmd clim_name tcpdump -i eth3 -w /home/debuginfo/trace3 -v climcmd clim_name tcpdump -i eth4 -w /home/debuginfo/trace4 –v

(3)查看應用系統針對遠端某個主機IP的行為
climcmd clim_name tcpdump host 10.1.1.10 -i any -w /home/debuginfo/traceall –v

(4)如果user data有被截斷，可以設定使用較大的buffer
climcmd clim_name tcpdump -i eth4 -w /home/debuginfo/trace4 –v –s 65535

3.停止tcpdump方式：原則上上述指令執行時會導致terminal等候tcpdump執行完畢，故可break連線，透過climcmd查看，之後可以透過kill ”pid”方式停止。
climcmd clim_name ps或是
climcmd clim_name ps|grep tcpdump

4.檔案下載方式：
(1)clsftp clim_name

(2)sftp –S $ssh_process –h root@clim_ip_address

(3)sftp相關指令說明
  • lcd：切換local path

  • cd：切換clim上的path

  • binary：設定binary方式傳送

  • get：download檔案

  • put：upload檔案

  • rm：刪除檔案

  • help：操作指令說明


5.其他：
當診斷NonStop server與CLIM之間的問題，如果要對應end-user data level，可以在PROVIDER trace中找到對應，在ptrace設定HEX ON並且選擇CIPLIB_TRC_DATA_IN以便過濾保留incoming frames，選擇CIPLIB_TRC_DATA_OUT以便過濾保留outgoing frames。

二、NSK CIP子系統各元件做trace:

1.CLIM：紀錄特定CPU針對指定的CLIM所作的CIP Library動作，每個CLIM在一個CPU上不能啟動超過一個的trace。
執行範例：
TRACE CLIM $ZZCIP.N100252,TO $DATA2.CLIM.CLIMC0,CPU 0,RECSIZE 4050,SELECT ALL
TRACE CLIM $ZZCIP.N100252,TO $DATA2.CLIM.CLIMC1,CPU 1,RECSIZE 4050,SELECT ALL
TRACE CLIM $ZZCIP.N100252,TO $DATA2.CLIM.CLIMC2,CPU 2,RECSIZE 4050,SELECT ALL
TRACE CLIM $ZZCIP.N100252,TO $DATA2.CLIM.CLIMC3,CPU 3,RECSIZE 4050,SELECT ALL

2.MON：紀錄monitor動作，包含CIPMON events、CIPMON internal messages、CIPMON internal memory resource mgmt、CIPMON messages、CIPMON internal queue operations、CIPSREQ operations、CIPMON state machines operations、CIPMON timer activities等。
執行範例：
TRACE MON $ZZCIP.ZCM00,TO $DATA2.CLIM.MON0,RECSIZE 4050,SELECT ALL
TRACE MON $ZZCIP.ZCM01,TO $DATA2.CLIM.MON0,RECSIZE 4050,SELECT ALL
TRACE MON $ZZCIP.ZCM02,TO $DATA2.CLIM.MON0,RECSIZE 4050,SELECT ALL
TRACE MON $ZZCIP.ZCM03,TO $DATA2.CLIM.MON0,RECSIZE 4050,SELECT ALL

3.PROVIDER：紀錄特定CPU針對指定的PROVIDER所作的CIP Library動作，包含Provider events、Provider input requests、Provider output requests、Provider logic events、Provider incoming data以及Provider outgoing data。
執行範例：
TRACE PROVIDER $ZZCIP.ZTC02,TO $DATA2.CLIM.PROV0,CPU 0,RECSIZE 4050,SELECT ALL
TRACE PROVIDER $ZZCIP.ZTC02,TO $DATA2.CLIM.PROV1,CPU 1,RECSIZE 4050,SELECT ALL
TRACE PROVIDER $ZZCIP.ZTC02,TO $DATA2.CLIM.PROV2,CPU 2,RECSIZE 4050,SELECT ALL
TRACE PROVIDER $ZZCIP.ZTC02,TO $DATA2.CLIM.PROV3,CPU 3,RECSIZE 4050,SELECT ALL

4.process：針對CIPSAM或是CIPMAN trace動作；包含management動作、QIO memory、SPI requests、CLIM hardware access、CONFIG等。
執行範例：
TRACE PROCESS $ZZCIP,RECSIZE 2048,TO $DATA2.CLIM.CIP,SELECT ALL
TRACE PROCESS $ZTC02,RECSIZE 4050,TO $DATA2.CLIM.PROC,SELECT ALL

IP CLIM trouble shooting

除了packet tracing以外，針對IP CLIM仍有多項統計數據提供問題判斷及分析，這裡一樣依照NSK上所提供之統計數據及CLIM上所提供之數據做說明。

一、NSK主機上所提供之統計值：

1.STATS CLIM：主要提供NonStop主機與CLIM之間CLIM software通訊狀況，至於如果需要取得TCP/IP protocol需透過CLIMCMD netstat查看。分為三個部分，陸續為CLIMMON、CLIMAGT、CIPSSRVx。說明如下：
(1)CLIMMON：主要啟動及監看CLIM上其他CIP子系統元件。詳細各統計欄位說明如下。
  • Event Log Entries：顯示因為CLIMMON所產生的syslog entry次數。

  • Restart：CLIMMON重新啟動CLIMAGT以及CIPSSRVx的次數。如果有任一個有顯示錯誤狀況，就會重新啟動。

  • CLIMAGR Failures：顯示CLIMAGT發生錯誤的次數。

  • CIPSSRV0 Failures：顯示CIPSSRV process發生錯誤的次數。


(2)CLIMAGT：主要統計從NonStop主機所產生的management request。
  • Event Log Entries：因為CLIMAGT所產生的syslog entry次數。

  • Buffer denials：顯示NonStop主機在與CLIM溝通時，無法取得buffer的次數，當有碰到此問題時通常表示memory overflow。

  • IT-API errors：透過low-level ServerNet communication handler所碰到的error次數。

  • Last IT-API error code：顯示上次碰到IT-API error時所記錄的status code。

  • Linux errors：CLIM端的CIP所回應的error次數。

  • Last Linux errno：顯示上次碰到的CLIM software error所記錄的errno值。

  • Current bfr bytes in use：顯示目前用於與NonStop主機溝通時所使用的memory大小，單位為bytes。

  • High bfr bytes in use：顯示曾經最大用於與NonStop主機溝通時所使用的memory大小，單位為bytes。

  • Total msgs sent：顯示目前有多少訊息傳送給NonStop CPU。

  • Total msgs received：顯示最高有多少訊息傳送給NonStop CPU。

  • Current connected Cpus：顯示目前有多少CPU連上此CLIM。

  • High connected Cpus：顯示最高有多少CPU連上此CLIM。

  • Queued Commands：顯示有多少筆SCF指令被候置上在等候處理。

  • Failed Commands：顯示多少筆SCF指令無法完成。


(3)CIPSSRV0：CIPSSRV process主要用於紀錄處理application socket request的統計。
  • Event Log Entries因為CIPSSRV所產生的syslog entry次數。
  • Buffer denials：顯示NonStop主機在與CLIM溝通時，無法取得buffer的次數，當有碰到此問題時通常表示memory overflow。
  • IT-API errors：透過low-level ServerNet communication handler所碰到的error次數。

  • Last IT-API error code：顯示上次碰到IT-API error時所記錄的status code。

  • Linux errors：CLIM端的CIP所回應的error次數

  • Last Linux errno：顯示上次碰到的CLIM software error所記錄的errno值。

  • Current bfr bytes in use：顯示目前用於與NonStop主機溝通時所使用的memory大小，單位為bytes。

  • High bfr bytes in use：顯示曾經最大用於與NonStop主機溝通時所使用的memory大小，單位為bytes。

  • Total msgs sent：顯示目前有多少訊息傳送給NonStop CPU。

  • Total msgs received：顯示最高有多少訊息傳送給NonStop CPU。

  • Total bytes sent：送給所有NonStop CPU的 data bytes。

  • Total bytes received：從所有NonStop CPU所接收的data bytes。

  • Current connected Cpus：顯示目前有多少CPU連上此CLIM。

  • High connected Cpus：顯示最高有多少CPU連上此CLIM。

  • Deferred Sends：顯示有碰過多少次send request無法立即執行。

  • Failed Commands：顯示多少次socket request無法完成。

  • Current TCP Listen Sockets：顯示目前有多少TCP被開啟等候新的連線。

  • High TCP Listen Sockets：顯示最高同時間有多少個TCP被開啟等候新的連線。

  • Current UDP Sockets：顯示目前開啟多少個UDP socket。

  • High UDP Sockets：顯示最多開啟多少個UDP socket。

  • Current TCP Connections：顯示目前TCP連線數。

  • High TCP Connections：顯示最高TCP連線數。


2. STATS MON：主要顯示CIPMON的統計資訊。
(1)SOCKET：
  • Total Recv Socket Reqs：所有CLIM所接收的socket request。

  • Total Recv Errors：所有接收的socket request並且回應error的次數。

  • Total Send Socket Reqs：透過所有CLIM傳送的socket request次數。

  • Total Send Errors：所有傳送的socket request碰到error的次數。

  • Data Bytes Sent：傳送給CLIM所有的data bytes總數。

  • Data Bytes Received：從CLIM接收的所有data bytes總數。

  • Total Connections Out：透過CLIM要求要做連線的次數。

  • Total Connections In：從CLIM接收到要連線的次數。

  • Current TCP Listen Sockets：目前已經open socket等候接收connection request的listen socket數量。

  • High TCP Listen Sockets：最高曾經open socket等候接收connection request的listen socket數量。

  • Current UDP Sockets：目前已經open socket等候接收UDP的listen socket數量。

  • High UDP Sockets：最高曾經open socket等候接收UDP的listen socket數量。

  • Current TCP Connections：目前TCP建立連線數。

  • High TCP Connections：最高TCP曾經建立連線數。


(2)SOCKET SEND SIZE HISTOGRAM：顯示透過所有CLIM傳送request的長度統計。
  • Size x-xxx：表示send bytes長度落在x至xxx bytes的次數。

  • Size 32769 and larger：表示send bytes長度大於32769 bytes。


(3)MON STATS
  • Total Messages Sent：顯示傳送至CLIM的message次數。

  • Total Messages Received：顯示從CLIM接收的message次數。

  • Current Connected CLIMs：顯示目前有連上多少台CLIM數量。

  • High Connected CLIMs顯示最高連上多少台CLIM數量。

  • Total Rejected Connections：顯示多少次企圖連上CLIM可是被拒絕。

  • Deferred Sends：顯示多少次send request無法立即執行。


3.LISTOPENS PROVIDER $ZZCIP.ZTC02,D
(1)Opener：顯示哪個process來open這個socket，如果沒有process name，則僅顯示node name。
(2)Ppid：顯示primary process的PID。
(3)Bpid：顯示backup process的PID。如果沒有backup process將顯示0,0。
(4)Plfn：顯示primray process針對這個socket的file number。
(5)Blfn：顯示backup process針對這個socket的file number。
(6)Proto：顯示socket所使用的協定。
(7)State：目前socket狀態。
(8)SendQ：表示socket在send queue裡面擺放的資料有多少個bytes。
(9)RecvQ：表示socket在receive queue裡面擺放的資料有多少個bytes。
(10)Provider：表示ap使用哪個provider來open這個socket。
(11)CLIM：表示哪個CLIM使用這個socket。(*mult*)
(12)CLIM-FD：表示在這CLIM上socket所對應的CLIM software file descriptor。
(13)Lport：socket所使用的local port number。
(14)Laddr：socket所使用的local address。
(15)FPort：socket所使用的remote port number。
(16)Faddr：socket所對應的remote IP address。

二、CLIM上所提供之統計值：

CLIM上所記錄的統計值，主要可透過netstat指令做查詢，這裡主要列出netstat –a以及netstat –s。
1.netstat -a(如同以往SCF;STATUS PROCESS $ZTC0)可察看個別socket session狀態：
(1)Active Internet connections各欄位說明：
  • Proto：socket使用協定。

  • Recv-Q：socket目前receive的queue值，單位為bytes，表示user program尚未取走的資料。

  • Send-Q：socket目前send的queue值，單位為bytes，表示user program要送出的資料可是remote host尚未作acknowledged。

  • Local Address：本地的address。

  • Foreign Address：遠端的address。

  • State：socket目前狀態。可能有下列狀態：

  • ESTABLISHED：socket連線已經建立。

  • SYN-SENT：socket試圖建立連線，送出SYN封包。

  • SYN-RECV：socket connection初始狀態，接收到SYN封包。

  • FIN-WAIT1：socket正在做close動作，正處於4 way的第一階段shuting down動作。

  • FIN-WAIT2：socket正在做close動作，正處於4 way的第二階段等候遠端執行shuting down動作。

  • TIME-WAIT：socket正等候作close，等候遠端shutdown retransmission。

  • CLOSED：socket已經close。

  • CLOSE_WAIT：遠端已經shut down，等候socket去close。

  • LAST_ACK：遠端已經完成shut down，而且socket已經close，等候acknowledgement。

  • LISTEN：socket等候接收connect request。

  • CLOSING：兩端的socket都已經執行shut down，可是仍有資料尚未送出。

  • UNKNOW：socket狀態處於未知情況。
    ‧DGRAM(SOCK_DGRAM)：socket用於datagram (connectionless) mode。UDP模式。
    ‧STREAM(SOCK_STREAM)：socket用於stream (connection) mode。TCP模式。
    ‧RAW(SOCK_RAW)：socket用於raw socket。
    ‧RDM(SOCK_RDM)：socket用於data link層，不保證packet順序，this one serves reliably-delivered message。
    ‧SEQPACKET(SOCK_SEQPACKET)：屬於sequential packet socket。
    ‧PACKET(SOCK_PACKET)：RAW interface access socket。
    ‧UNKNOW：未知。

  • State：主要有幾種狀態，詳如下說明。
    ‧STENING：socket 處於等候接聽連線需求狀態。
    ‧UNCONNECTED：socket尚未與另外一端連線。
    ‧CONNECTING：socket正在建立連線。
    ‧CONNECTED：socket已經建立連線。
    ‧DISCONNECTING：socket正在作斷線處理。
    ‧UNKNOWN：未知狀態，正常此狀態不會發生。
  • I-NODE：pathname所對應的inode(檔案對應的inode指標，以便指示存放實體位置)。

  • Path：使用此socket對應的process的pathname。

2.netstat –s(如同以往SCF;STATS PROCESS $ZTC0)查看整體網路統計數據。
其中有socket buffer overflow或是RcvbufErrors等統計數據，可藉此判斷是否buffer太小不足以應付瞬間的傳送流量，或是傳送速度遠超過接收速度，導致即使放大buffer size仍不足以應付接收的流量。而導致packet data loss的問題。

三、範例推演：
當透過Informatica所提供測試multicast網路狀況之工具(mtools中的msend發送與mdump接收)測試AIX與NSK(透過IP CLIM)之間的multicast傳輸流量。其中當持續傳送40MB的資料情況下，即可發現CLIM上的UDP RcvbufErrors持續增加，造成接收端的data loss。

結論

為了減少主機系統上使用之資源，HP NonStop提供IP CLIM之架構，不過由於TCP/IP處理等控制下移至IP CLIM，因此針對網路傳輸上的問題追蹤及分析，將較為繁複。

延續以往針對TCP/IP處理，仍可先從NonStop系統面，檢查系統資源使用狀況，從各系統資源檢查工具可以得知，目前系統CPU使用狀況，以研判系統處理部分是否有所延遲。之後可檢查網路傳輸統計值，從網路傳輸統計值可以得知，傳輸時，是否於Send與Recv Queue有所累加，如果持續累加，需考慮AP處理行為是否有所block，或是運作上有所delay；傳輸時，相關統計值是否有socket buffer overflow或是RcvbufErrors等統計數據持續累加，如果持續累加，需注意是否buffer太小不足以應付瞬間的傳送流量，或是傳送速度遠超過接收速度，導致即使放大buffer size仍不足以應付接收的流量。如有需要亦可啟動NonStop與CLIM上的packet tracing以做細部分析。

參考資料
HP NonStop Cluster I/O Protocols (CIP) Configuration and Management Manual

 

回上一頁