技術分享

[產品介紹] HPE Shadowbase Compare檔案與資料庫比對產品

作者簡歷

作者擁有22年IT服務資歷，現職凌群電腦系統工程處處長，主要負責台灣證券交易所交易系統與維運系統、NonStop系統維運服務、軟體產品整合服務。專長為HPE NonStop系統、系統整合、系統網路監控管理及專案管理。

前言

建置成功的企業持續營運計畫，其中一個重要環節是必須要確保主系統與備援系統資料的一致性，除了在初始建置階段要確認兩端資料一致性，後續維運也需要定期的檢查兩端資料是否一致，以確保資料複製正確性滿足法令和稽核的需求。

但如何比對主系統與備援系統兩端資料一致性，是一個大難題；兩端檔案數量可能有數十萬個、檔案可能24小時持續在異動、可能沒有足夠的時間進行檔案比對、比對作業可能影響系統資源、檔案比對週期，以及要用甚麼工具進行比對?

NonStop比對工具

NonStop提供SWID工具(SoftWare Identification Utility)可針對NonStop structured、unstructured與queue file進行checksum計算，若兩個檔案計算結果fingerprints相同，表示這兩個檔案內容完全一致；如下圖所示，TDATA1、TDATA1X雖然檔名和最後異動時間不同，但內容完全一致。



當檔案在持續異動時，可能會因為時間差造成檔案比對結果不一致，且無法判斷不一致的點，並不是一個完善的工具。有鑑於此，HPE推出Shadowbase Compare產品，幫助客戶確認兩邊資料的一致性。

Shadowbase Compare

資料同步產品可正確的同步主系統檔案到備援系統，在正常情況下不會發生檔案不一致的狀況，但是可能會因為重大災難造成檔案或資料毀損，或不正確的設定應用程式環境和同步軟體導致不一致的狀況發生。

Shadowbase Compare產品可滿足客戶比對主系統和備援系統檔案的需求，當有資料不一致時，報表會標註哪一筆record不同，以及有差異的欄位資訊，後續可再針對該筆record進行檢查，確認是否真的不一致或是時間差的問題。Shadowbase Compare支援下列NonStop檔案/資料庫：

• NonStop Enscribe (key sequenced、entry sequenced、relative files)


• NonStop SQL/MX


• NonStop SQL/MP

Shadowbase Compare運作原理如下圖所示，在source和target端分別執行Shadowbase Compare程式一次比對一個檔案，但可啟動多組Shadowbase Compare程式平行處理比對工作，source端會將比對資料傳送給target端，target端再依據兩邊比對資料產生報表，若有差異會在報表標註兩端的差異。



Shadowbase Compare主要特性說明如下：

• 檢查NonStop系統source和target端檔案一致性，提供檔案一致性的證明給稽核人員和業務相關人員。



• 採用Read-only access，不會異動source和target的檔案。



• 比對過程檔案可持續被應用程式open和update，不影響應用程式執行。



• 支援NonStop系統同質性檔案(Enscribe to Enscribe、SQL to SQL)比對。



• 不受限使用何種同步軟體產品。



• 滿足稽核需求：資料同步與Shadowbase Compare各自獨立，無交互搭配使用關係。



• 有效率的比對source和target端檔案和資料庫。



• 可自行控制主要比對工作在source或target node執行。



• 提供多種設定參數，可調整產出報表的內容，滿足不同的稽核需求。



• 支援Expand和TCP/IP的主系統和備援系統連線方式



• Enscribe檔案比對目前僅支援Expand連線，後續將支援TCP/IP；凌群已測試過TCP/IP功能，後續HPE會將此功能納入正式產品內。

Shadowbase Repair

Shadowbase Repair是Shadowbase Compare產品的另一功能，可針對比對有差異的資料進行修復，保持source和target的一致性；目前此功能僅支援SQL table的修復，尚不支援Enscribe檔案修復。運作原理如下圖所示，依據Shadowbase Compare比對的差異結果進行修復，由人為介入處理，判斷是否要修復所發現的不一致狀況。



參考資料

1.Rick Stather, "DON’T PROCRASTINATE, VALIDATE!", 2019 NonStop TBC
2.Paul J. Holenstein, "HPE Shadowbase Use Case Solutions", 2019 NonStop TBC
3.https://www.shadowbasesoftware.com/solutions/compare/

附註：Shadowbase產品是由HPE的partner Gravic公司所開發的產品