基于GOLDENGATE构建在线报表系统–模式2

0
By   2016-09-04  
基于goldengate构建在线报表系统时，通过在源端节点添加datadump进程组，可以将网络功能、数据过滤和转换功能从extract进程组剥离出来，提高了各进程组的工作效率，在发生网络故障时，extract进程可以继续从数据库抓取数据。其拓扑结构如下：
  

在这种架构下，extract进程组首先将数据写入到本地exttrail文件，随后本地exttrail文件由datapump进程，通过网络投递到源端进行数据复制操作。

      

搭建环境如下：

      源端数据库：mysql

      目标端数据库：mysql

      goldengate软件版本：12c

配置过程如下：

      1、在源端节点上，使用ADD EXTRACT命令创建EXTRACT进程组，命令如下：

  1. ADD EXTRACT ext, TRANLOG, BEGIN NOW
      2、在源端使用如下命令添加exttrail文件：
  1. ADD EXTTRAIL /u01/mysqlogg/dirdat/lr, EXTRACT ext
        3、在源端节点上，使用edit param命令创建extract进程组的参数文件，添加参数内容如下
  1. EDIT PARAMS EXT
  1. -- Identify the Extract group:
  2. EXTRACT ext
  3. tranlogoptions altlogdest '/var/lib/mysql/binlog/bin.index'
  4. -- Specify database login information as needed for the database:
  5. SOURCEDB db1@192.168.18.11:3306, USERID ogg, PASSWORD ogg
  6. -- Specify the remote trail and encryption algorithm on the target system:
  7. EXTTRAIL /u01/mysqlogg/dirdat/lr
  8. -- Specify tables  to be captured:
  9. TABLE db1.t*;
        4、在源端节点，使用如下命令创建datapump进程组
  1. ADD EXTRACT pump, EXTTRAILSOURCE /u01/mysqlogg/dirdat/lr, BEGIN NOW
        5、在源端使用如下命令添加rmttrail文件：
  1. ADD RMTTRAIL /u01/mysqlogg/dirdat/rr, EXTRACT pump
       6、在源端节点上，使用edit param命令创建pump进程组的参数文件，添加参数内容如下
  1. EDIT PARAMS pump
  1. -- Identify the data pump group:
  2. EXTRACT pump

  4. RMTHOST 192.168.18.12, MGRPORT 7809
  5. -- Specify the remote trail and encryption algorithm on the target system:

  7. RMTTRAIL /u01/mysqlogg/dirdat/rr
  8. -- Allow mapping, filtering, conversion or pass data through as-is:
  9. TABLE db1.t*;
        7、在目标节点，创建检查表，用于存放复制进程组的检查点信息
  1. dblogin sourcedb ogg@192.168.18.12:3306 userid ogg password ogg
  2. add checkpointtable ogg.ggs_checkpoint
        8、在目标节点，创建replicat进程组，命令如下
  1. ADD REPLICAT rep, EXTTRAIL /u01/mysqlogg/dirdat/rr, BEGIN now
        6、在目标节点，使用edit param命令编辑replicat进程组参数如下
  1. EDIT PARAM rep
  1. -- Identify the Replicat group:
  2. REPLICAT rep
  3. -- State whether or not source and target definitions are identical:
  4. ASSUMETARGETDEFS
  5. -- Specify database login information as needed for the database:
  7. TARGETDB db1@192.168.18.12:3306, USERID ogg, PASSWORD ogg
  8. -- Specify tables for delivery and threads if using coordinated Replicat:
  9. MAP db1.t*, TARGET db1.*;

   优点：

        1、配置简单

        2、可以抵御网络故障，当网络发生故障时，extract进程组继续抽取数据，dump进程阻塞报错。

 网络恢复后，一切恢复正常

 
建议：
    在生产环境中，建议使用该种架构。
        
 

发表评论

邮箱地址不会被公开。