略過巡覽連結首頁 > 產品與服務 > 技術分享

技術分享

[產品介紹]資料同步軟體介紹

作者/侯志忠
作者簡歷

作者現職凌群電腦NSK服務總處維護工程師,主要負責HPE Nonstop 證券、期貨、銀行客戶交易系統維運服務、軟體產品整合服務,專長為HPE NonStop系統整合。

前言

你可否經常發現有人在尖叫系統資料不見了!!! 我的系統硬碟壞掉了!!! 我的客戶資料啊~~呢? 沒錯,電子產品明明就比較容易損毀,但人們卻不習慣備份,總是等到一切都已經太遲了的時候,才後悔…

近年資訊通訊科技發達,大多數人普遍使用電腦從事工作或休閒娛樂。但當發生硬碟故障、感染病毒甚至天災等情況時,就可能造成資料遺失與救不回的憾事。因此,檔案的備份及保護,對於倚賴電腦處理日常事務的我們來說,是個不可不關注的焦點。


《圖一》


產品特性

當災難或天災發生時,如何確保企業能運行不墜更形重要,此時系統備援資料同步的重要性在這裡就顯示出來了。系統備援資料同步並須具備以下特點:

一、資料傳輸一致性
  
在來源資料庫與目的資料庫上面交易的順序相同並且按照相同的事務環境提交,確保在目標系統上資料的完整性和一致性。

二、資料傳輸可靠性

傳遞和交付資料的同時保持交易完整性;如果發生中斷和停機,就利用中斷點檢查機制,從中斷的地方開始繼續傳遞資料。這些功能將資料遺失風險降至最低,而遺失資料的情形極可能會嚴重影響業務運行。

產品介紹

資料同步產品是百家爭鳴、各出奇招,各有各的特色。用戶們要使用哪一種工具,並沒有一定的答案,全看該產品的特色是否能真正契合用戶的需求。本文僅根據台灣NonStop 系統客戶最多採用資料同步解決方案的資料同步軟體 : Oracle GoldenGate & HPE Shadowbase 進行一般的比較與說明。

資料同步軟體OGG 早期為 GoldenGate 公司產品。原來是一個獨立公司,成立於1995年,專注於資料複製領域的專業公司,2009年Oracle公司收購了GoldenGate公司,變成了現在的Oracle GoldenGate(OGG)。

Oracle GoldenGate 即時、監看DatabaseTransaction的異動,將異動紀錄儲存,並即時把異動資料傳遞給Target Database 。OGG提供了讓整體商業效益提高並且對整體資料庫系統效能,幾乎不影響的即時資料整合解決方案。


《圖二》


GoldenGate 最大的產品優勢在與支援平臺和資料庫非常廣泛,舉凡大家熟悉的 Windows Sever、IBM、HPE NonStop、Linux、Solaris等作業平台都能夠支援。

資料庫部分Oracle SQL Database、MySQL、DB2、SQL/MX、Micro SQL Server、Enscribe 等資料庫,皆能使用Oracle GoldenGate 產品來達到資料同步的目的。


《圖三》


Oracle GoldenGate基於資料庫交易的完整性和營運成本的考量。產品可支援不同的拓撲架構,例如一對多、多對多、多層式及雙向等。它可被廣泛應用於許多案例,包括即時商業智慧、將已不是主要運作的機器作為查詢的系統、不用停機(zero downtime)的系統升級/移轉、災難回復、和active-active模式下的資料庫運作。

GoldenGate能夠支持多種拓撲結構,包括一對一,一對多,多對一,層疊和雙向資料同步等等。

一、單向資料同步:適用系統業務資料數據備份與查詢。

二、雙向資料同步:適用雙系統業務資料數據中心。

三、多點資料同步:適用多點系統業務資料數據中心。


《圖四》


四、廣播式資料同步:適用系統業務資料數據分發。

五、集中式資料同步:適用系統業務資料數據中心。

六、多級式資料同步:適用層次化系統業務資料數據中心。


《圖五》


Oracle GoldenGate(OGG) 主要元件組成:

一、Extract:資料提取功能從TMF AuditTrail 檔案中,擷取資料異動變化數據,並將其數據依據其定義寫入一個或多個多個不同路徑trails 檔案。

二、Replicate:讀取trail檔案內資料異動變化數據,並將其資料異動變化寫入其平台的Target數據庫。

三、Collector:處理Remote Extract的要求,並且掃描可用的port提供給manager來指派給remote Extract process使用。接收Remote Extract所萃取出的資料異動並將之寫入trail file。

四、Trails:資料異動變化數據檔案。

五、GGSCI:系統進入OGG 產品的管理介面。

六、MGR:Manager主要是管理與監控OGG 所有的進程與資源訊息。

Oracle GoldenGate(OGG) 在HPE NonStop 系統運用上,因為資料特性又分為TMF 檔案與Non-TMF 檔案:

一、TMF 檔案:OGG 利用NonStop 系統TMF 功能,藉著讀取 TMF AuditTrail 檔案,擷取資料異動變化,再將資料異動數據傳送到GoldenGate Trail。


《圖六》


二、Non-TMF 檔案:針對Non-TMF 檔案OGG 要擷取資料異動變化,必須將GGSLIB綁定在客戶應用程式上。當客戶應用程式啟動時,GGSLIB會擷取資料異動變化再透過 OGG Logger 功能將資料異動數據傳送到GoldenGate Trail。


《圖七》


HPE Shadowbase產品為Gravic公司所推出,它支持各種企業業務連續性體系結構(主動/被動到主動/主動),從而避免計劃內和計劃外的停機時間,並提供完全異構的數據和應用程序之間的集成各種數據庫平台和應用程序環境。

HPE Shadowbase是可擴展的數據複製引擎,可改變全球的大型數據系統。其中針對HPE Shadowbase 產品主要應用於同質性或異質性平台間資料同步工作,且支援不同平台間的資料同步的工作,因此除了可以建置成NonStop與NonStop之備援關係外,亦可以將其他平台資料複製到NonStop平台作為備援系統,或是將NonStop資料複製到其他平台資料庫環境。針對資料複製,Shadowbase data replication提供一對一、一對多、多對多的架構,亦支援數種資料庫之間的資料同步。


《圖八》


在資料同步來源端HPE Shadowbase 在支援軟體部分:

一、NonStop Enscribe, SQL/MP, and SQL/MX

二、Oracle, SQL Server, and Sybase when running on Linux, Unix, or Windows environments

在資料同步來源端HPE Shadowbase 在支援軟體部分:

一、NonStop Enscribe, SQL/MP, and SQL/MX

二、Oracle, SQL Server, Sybase, Db2, and MySQL when running on Linux, Unix, or Windows environments

三、AS/400 and OpenVMS target environments 

四、任何 ODBC-compliant target database。


《圖九》


HPE Shadowbase能夠支持多種拓撲結構,包括一對一,一對多,多對一,層疊和雙向資料同步等等。

HPE Shadowbase 主要元件組成:

一、Collector:資料收集器從TMF AuditTrail 檔案中,擷取資料異動變數據,並將其數據依據其定義寫入trails 檔案。

二、Consumer:發送的有關對來源資料庫所做的更改的消息,並將這些更改應用於目標資料庫。

三、Database Of Change(DOC): Shadowbase 儲存資料異動變化數據檔案。

四、AUDCOM:進入Shadowbase 產品的管理介面。

五、AUDMON:Shadowbase Monitoring Process主要是監控與收集Shadowbase 所有的進程與資源訊息。

HPE Shadowbase在HPE NonStop 系統運用上,因為資料特性又分為TMF 檔案與Non-TMF 檔案:

一、TMF 檔案:Shadowbase利用NonStop 系統TMF 功能,藉著讀取TMF AuditTrail 檔案,擷取資料異動變化,再將資料異動數據傳送到 Shadowbase DOC(Database Of Change)。

二、Non-TMF 檔案:針對Non-TMF 檔案可以採用HPE AutoTMF產品,將Non-TMF 檔案轉換成TMF Audited 的應用程式。

結語

隨著科技日新月異的進步,系統的功能及效能是愈來愈強悍了。但即使如此,無論是 Oracle、DB2、Sybase 還是 MSSQL,若要它們在處理日常OLTP 交易之外,還要額外增加異地的資料同步與資料備份等工作,系統效能與資源負擔不輕,因此選擇一個適合自己系統環境的資料同步的軟體產品是有其必要的。

參考資料

1.HPE NonStop Shadowbase Install and Planing manual
2.HPE NonStop Shadowbase Command Refrence Manual
3.Oracle GoldenGate Oracle setup guide
4.Using Oracle GoldenGate for Oracle Database
5.Installing and Configuring Oracle GoldenGate for Oracle Database
6.Installing and Configuring Oracle GoldenGate for Oracle Database
7.https://www.oracle.com/technetwork/cn/community/developer-day/3-goldengate-289794-zhs.pdf

 

回上一頁