mgr

mgr

关注
发信
关注(28)粉丝(399)

OGG For Oracle To PostgreSQL

　　本文档描述OGG（Oracle goldengate）为Oracle同步到PostgreSQL数据库配置。在目前去“IOE”潮流。PostgreSQL确实是Oracle最好的替代品之一。

实验环境如下：

OGG For Oracle To PostgreSQL-LMLPHP

一、软件下载

下载OGG软件地址

OGG For Oracle To PostgreSQL-LMLPHP

二、数据库配置

2.1、源端（Oracle）

2.1.1、创建 GoldenGate 操作系统用户

专门用ogg用户来维护操作GoldenGate。

useradd ogg

passwd ogg

2.1.2、创建 GoldenGate 安装目录

mkdir -p /data/ogg

chown -R ogg:ogg /data/ogg

2.1.3、安装 GoldenGate

unzip fbo_ggs_Linux_x64_ora11g_64bit.tar.zip

tar -xvf fbo_ggs_Linux_x64_ora11g_64bit.tar -C /data/ogg

2.1.4、配置 GoldenGate环境变量

export GGATE=/data/ogg

export ORACLE_BASE=/u01/app

export ORACLE_HOME=$ORACLE_BASE/oracle

export PATH=$PATH:$GGATE:$ORACLE_HOME/bin

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$GGATE:$LD_LIBRARY_PATH

alias sqlplus='rlwrap sqlplus'

alias ggsci='rlwrap ggsci'

2.1.5、配置Oracle数据库

　　由于 GoldenGate 的原理是根据 Oracle 的日志进行抽取复制。为了保证日志的完整性；需要打开 Oracle 数据库归档；

SQL> alter system set log_archive_dest_1 = 'LOCATION=/data/arch' scope = spfile;

SQL> shutdown immediate;

SQL> startup mount

SQL> alter database archivelog;

SQL> alter database open;

# 查看归档模式

SQL> archive log list

# 还需要开启 force log 和 supplemental log

SQL> alter database force logging;

SQL> alter database add SUPPLEMENTAL log data;

# 查询结果

SQL> select NAME,OPEN_MODE,FORCE_LOGGING,SUPPLEMENTAL_LOG_DATA_MIN from v$database;

NAME   OPEN_MODE        FOR SUPPLEME

--------- -------------------- --- --------

ORA235   READ WRITE        YES YES

2.1.6、oracle创建复制用户ogg

# 建议使用单独的表空间存放 GoldenGate 数据

create tablespace tsp_ogg datafile '/data/oracle/data/ogg01.dbf' size 512M autoextend on;

# 创建 GoldenGate 用户并赋权

create user ogg identified by ogg default tablespace tsp_ogg;

grant dba to ogg;

# 严谨一些；这样赋权

grant connect, resource TO ogg;

grant select any dictionary, select any table TO ogg;

grant flashback any table TO ogg;

grant execute on dbms_flashback TO ogg;

2.2、目标端（PostgreSQL）

2.2.1、创建 GoldenGate 操作系统用户

　　专门用ogg用户来维护操作GoldenGate。

useradd ogg

passwd ogg

2.2.2、创建 GoldenGate 安装目录

mkdir -p /data/ogg

chown -R ogg:ogg /data/ogg

2.2.3、安装 GoldenGate

unzip 122022_ggs_Linux_x64_PostgreSQL_64bit.zip

tar -xvf ggs_Linux_x64_PostgreSQL_64bit.tar -C /data/ogg

2.2.4、配置 GoldenGate环境变量

export GGATE=/data/ogg

export PGHOME=/opt/pgsql10

export PGDATA=/data/postgres/data1

export PATH=$PGHOME/bin:$HOME/bin:$GGATE:$PATH

export LD_LIBRARY_PATH=$PGHOME/lib:$GGATE/lib:$LD_LIBRARY_PATH

export ODBCINI=$GGATE/odbc.ini

alias ggsci='rlwrap ggsci'

2.2.5、创建复制用户ogg

create user ogg superuser identified by ogg;

\c lottu ogg

create schema ogg;

2.2.6、创建DSN

　　生成odbc.ini文件

[ODBC Data Sources]

GG_Postgres=DataDirect  PostgreSQL Wire Protocol

[ODBC]

IANAAppCodePage=

InstallDir=/data/ogg

[GG_Postgres]

Driver=/data/ogg/lib/GGpsql25.so

Description=DataDirect  PostgreSQL Wire Protocol

Database=lottu

HostName=localhost

PortNumber=

LogonID=ogg

Password=ogg

三、GoldenGate进程配置

3.1、源端（Oracle）

3.1.1、创建 GoldenGate 的工作目录

执行ggsci，登录GoldenGate，只需要执行create subdirs命令就可以了。

GGSCI (oracle221) > create subdirs

Creating subdirectories under current directory /data/ogg

Parameter files                /data/ogg/dirprm: already exists

Report files                   /data/ogg/dirrpt: created

Checkpoint files               /data/ogg/dirchk: created

Process status files           /data/ogg/dirpcs: created

SQL script files               /data/ogg/dirsql: created

Database definitions files     /data/ogg/dirdef: created

Extract data files             /data/ogg/dirdat: created

Temporary files                /data/ogg/dirtmp: created

Stdout files                   /data/ogg/dirout: created

3.1.2、配置 MGR 进程组

　　负责启动GoldenGate进程，以及启动动态进程，管理trail文件，错误信息。运行ggsci程序；输入 “EDIT PARAMS MGR” 编辑参数文件：

GGSCI (oracle221) > edit params mgr

PORT

DYNAMICPORTLIST -

AUTOSTART ER *

AUTORESTART EXTRACT *,WAITMINUTES , RESETMINUTES

PURGEOLDEXTRACTS /data/ogg/dirdat/*,USECHECKPOINTS,MINKEEPDAYS 3

LAGREPORTHOURS 1

LAGINFOMINUTES 30

LAGCRITICALMINUTES 45

SYSLOG ERROR,WARN

GGSCI (oracle221) 3> start mgr

Manager started.

GGSCI (oracle221) 4> info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING
  • PORT：指定服务监听端口；默认端口为7809
  • DYNAMICPORTLIST：动态端口：可以制定最大256个可用端口的动态列表，当指定的端口不可用时，管理进程将会从列表中选择一个可用的端口，源端和目标段的Collector、Replicat、GGSCI进程通信也会使用这些端口
  • AUTORESTART：自动重启参数设置：本处设置表示每2分钟尝试重新启动所有EXTRACT进程；以后5分钟清零。
  • PURGEOLDEXTRACTS：定期清理trail文件设置：本处设置表示对于超过3天的trail文件进行删除

3.1.3、配置 Extract 进程

　　负责抓取需要传输数据；下面在源端配置抽取进程。

GGSCI (oracle221) > edit params EORA_1

EXTRACT EORA_1

SETENV (NLS_LANG=AMERICAN_AMERICA.UTF8)

SETENV (ORACLE_HOME="/u01/app/oracle")

SETENV (ORACLE_SID="ora221")

USERID ogg, PASSWORD ogg

DISCARDFILE /data/ogg/dirrpt/EORA_1.dsc,APPEND,MEGABYTES

EXTTRAIL /data/ogg/dirdat/aa

TABLE lottu.*;

# 在源端用 add extract 命令创建 extract 组；

GGSCI (oracle221) > ADD EXTRACT EORA_1, TRANLOG, BEGIN NOW

EXTRACT added.

# 用add exttrail 命令创建本地 trail 文件

GGSCI (oracle221) > ADD EXTTRAIL /data/ogg/dirdat/aa, EXTRACT EORA_1, MEGABYTES

EXTTRAIL added.

# 启动extract进程

GGSCI (oracle221) > start extract eora_1

Sending START request to MANAGER ...

EXTRACT EORA_1 starting

GGSCI (oracle221) > info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING

EXTRACT     RUNNING     EORA_1      ::      ::

3.1.4、配置 Pump 进程

　　extract进程负责将抓取的数据写入本地trail文件；而需要Pump进程把trail文件传输到目标端。使用 EDIT PARAMS PORA_1 添加配置文件

GGSCI (oracle221) > EDIT PARAMS PORA_1

EXTRACT PORA_1

SETENV (NLS_LANG=AMERICAN_AMERICA.UTF8)

PASSTHRU

RMTHOST 192.168.1.235, MGRPORT

RMTTRAIL /data/ogg/dirdat/pa

TABLE lottu.*;

# 用 add extract 指定本地 trail 文件

ADD EXTRACT PORA_1, EXTTRAILSOURCE /data/ogg/dirdat/aa

# 用 add rmttrail 指定远程 trail 文件

ADD RMTTRAIL /data/ogg/dirdat/pa, EXTRACT PORA_1, MEGABYTES

# 启动Pump 进程

START EXTRACT PORA

3.1.5、生成define文件

　　在异构的同步复制；需要生成define文件。用于数据兼容不同数据库。

# . 进入ggsci命令行

GGSCI (oracle221) > edit params defgen

defsfile ./dirdef/defgen.def

userid ogg, password ogg

TABLE lottu.*;

GGSCI (oracle221) > exit

# 退出ggsci命令；生成文件

defgen paramfile ./dirprm/defgen.prm

# 并传送到目标端

scp /data/ogg/dirdef/defgen_postgres.prm  [email protected]:/data/ogg/dirdef

3.2、目标端（PostgreSQL）

3.2.1、创建GoldenGate的工作目录

create subdirs

3.2.2、配置MGR进程组

# 编辑mgr

edit param mgr

PORT 7809

# 启动mgr

start mgr

3.2.3、添加checkpiont表

为了保证源和目标端在传数据的时候不会重复或者少传，在目标端添加checkpoin表

dblogin sourcedb GG_Postgres userid ogg

add checkpointtable ogg.checkpointtab

3.2.4、配置Replicat 进程

# 配置rora_1进程

GGSCI (lottu02) > EDIT PARAMS RORA_1

REPLICAT RORA_1

SOURCEDEFS /data/ogg/dirdef/defgen.def

SETENV(PGCLIENTENCODING = "UTF8" )

SETENV(ODBCINI="/data/ogg/odbc.ini" )

SETENV(NLS_LANG="AMERICAN_AMERICA.AL32UTF8")

TARGETDB GG_Postgres,userid ogg,password ogg

DISCARDFILE /data/ogg/dirrpt/RORA_aa.rpt, append

MAP lottu.*, TARGET lottu.*;

# 在目标端使用 add replicat 添加 Replicat 进程

add replicat RORA_1,exttrail /data/ogg/dirdat/pa,begin now,checkpointtable ogg.checkpointtab

# 使用 start replicat 启动 Replicat 进程

start REPLICAT ROR

四、验证同步

4.1、查看GoldenGate进程状态

# 源端

GGSCI (oracle221) > info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING

EXTRACT     RUNNING     EORA_1      ::      ::

EXTRACT     RUNNING     PORA_1      ::      ::

# 目标端

GGSCI (lottu02) > info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING

REPLICAT    RUNNING     RORA_1      ::      ::

4.2、测试同步

# oracle

insert into tbl_lottu values (,'lottu');

# PostgreSQL

lottu=> select * from tbl_lottu;

  id  | name

------+-------

  | lottu

五、FAQ

在目标端启动mgr进程；出现启动失败；日志如下

-- ::  INFO    OGG-  Oracle GoldenGate Command Interpreter:  GGSCI command (postgres): start mgr.

-- ::  ERROR   OGG-  Oracle GoldenGate Manager, mgr.prm:  Could not translate host name lottu02 into an Internet address.

-- ::  ERROR   OGG-  Oracle GoldenGate Manager, mgr.prm:  PROCESS ABENDING.

解决方案：配置/etc/hosts

05-11 22:06
Powered by LMLPHP ©2024 mgr 0.063164