本文是oracle support对11gr2 rman备份过程中的问题总结
11gr2 中的常见 rman 问题
11gr2 中少数几个结构更改对 rman 设置产生了广泛的影响
1. snapshot/backup（快照/备份）控制文件位置必须位于 rac 环境中的共享位置。
在 11gr2 及更高版本中，控制文件的备份在执行时不会持有 cf enqueue。对于非 rac 数据库，这不会造成任何影响。但是，对于 rac数据库，由于在 11gr2 中控制文件备份机制发生了更改，集群中的任何实例都可以写入到 snapshot/backup（快照/备份）控制文件。因此，snapshot（快照）控制文件需要对所有实例都可见。从 sql*plus 直接创建控制文件的备份时也存在这种情况。集群中的任何实例都可以写入到备份控制文件。控制文件备份，即使使用 sql“alter database backup controlfile...”，也必须在共享设备上创建备份。
snapshot（快照）控制文件必须可由 rac 数据库的所有节点访问；如果 snapshot（快照）控制文件不在共享设备上，则在 rman备份获取控制文件的 snapshot（快照）时会引发错误。这适用于使用 sql*plus 备份控制文件和在非共享位置配置了控制文件自动备份的情况。
rman-00571: ========================================================
rman-00569: ============ error message stack follows =============
rman-00571: =========================================================
rman-03009: failure of resync command on default channel at 03/13/2012 10:19:41
ora-00245: control file backup operation failed
解决方案是将 snapshot/backup（快照/备份）控制文件位置更改到共享设备上，否则将会失败，并出现 ora-245: control file backup operation failed。
提醒：note 1472171.1 in rac environment from 11.2 onwards backup or snapshot controlfile needs to be in shared location 是针对此问题而发布的。
2. mmon 进程在结构发生变化之后自动进行控制文件备份
在 11gr2 之前的发行版中，更改数据库结构的每个 ddl 命令都会创建一个控制文件自动备份。在 alert.log 中可以看到，执行每个 ddl 命令之后都会有一条关于控制文件自动备份创建的消息。在同时进行多个结构更改时，这可能会导致严重的性能问题。
从 oracle database 11g 发行版 2 开始实施了 controlfile autobackup deferral 功能。在应用的脚本中包含多个结构更改时（例如，添加表空间、变更表空间或数据文件的状态、添加新的联机重做日志、重命名文件等），rman 只进行一次控制文件自动备份。在 11gr2 中，控制文件自动备份由 mmon 从属进程在结构更改后的几分钟时间内创建，这可以提升性能。因此，在对数据库的结构更改数分钟之后获取控制文件自动备份是正常行为，同时在 alert.log 中不显示有关控制文件自动备份创建的消息也是正常的。
负责备份控制文件的 mmon 从属进程会产生包含了创建控制文件所需信息的跟踪文件并命名为：_m000_.trc
3. 可以在磁盘上执行恢复区备份
在 11gr2 之前，只能在磁带上执行 flash recovery area（快速恢复区，简称 fra）的备份。从 11gr2 开始，可以在磁盘上执行 fra备份。backup 命令中添加了“to destination”子句。这个添加的选项可指定特定目录位置，以便备份到磁盘，该选项主要用于 backup recovery area 命令。如果启用了 backup optimization，则 rman 仅跳过已存在于“to destination”子句所指定目录位置中相同文件的备份。
rman> backup recovery area to destination ‘+data’;
11gr2 中影响 rman 稳定性的常见 bug。
1. bug 9877980: sr11.2.0.2cshar_force - trc - kkslmarkliteralbinds
症状：
数据库版本：11.2.0.2，cursor_sharing 为 force 或 similar
rman 备份失败，出现 ora-01008，或者显示各种错误
dbgsql: target> select count(*) into :dbstate from v$parameter where lower(name) = '_dummy_instance' and upper(value) = 'true'
dbgsql: sqlcode = 1008
rman-00571: =========================================================
rman-00569: ============ error message stack follows ==============
rman-00571: =========================================================
ora-01008: not all variables bound
或者
rman-00571: =====================================================
rman-00569: =========== error message stack follows ============
rman-00571: =====================================================
rman-03002: failure of allocate command at 12/07/2011 00:38:14
ora-03114: not connected to oracle
并且 alert.log 中显示
ora-07445: exception encountered: core dump [kkslmarkliteralbinds()+240] [sigbus] [addr:0x18222d0202020d29] [pc:0x1049e96d0] [invalid address alignment] []
或者
ora-07445: exception encountered: core dump [kkslpli()+212] [sigsegv] [addr:0xffffffff7a973288] [pc:0x1049fee14] [invalid permissions for mapped object] []
根本原因是 bug 9877980。此 bug 的修复包括在 11.2.0.3 中。此 bug 有one-off patch可用。
workaround: 清空共享池
ref:
bug 9877980 - ora-7445[kkslmarkliteralbinds] / assorted errors on 11.2.0.2 if cursor sharing is enabled note 9877980.8
alert: note 1472116.1 rman backup fails with assorted errors on 11.2.0.2 if cursor sharing is enabled
2. bug 8482162: snapshot controlfile still need noac on nfs mount point
如果控制文件自动备份目标文件系统为 nfs，则要求使用“noac”选项装载该文件系统；否则将报错 ora-27054
症状：
如果 snapshot（快照）控制文件定位到 nfs 文件系统并且不是使用选项“noac”装载的，则 rman 备份将失败，并出现 ora-27054 错误。根据 bug 5064356 的修复，如果运行的是 10.2.0.4.0 或更高版本，则不再需要 nfs 装载点的 noac 选项。但是，此修复似乎仅适用于特定文件类型，也就是：联机重做日志、归档重做日志、备份片（例如：rman）和跟踪文件。
starting control file and spfile autobackup at 07-apr-12
rman-571: ===========================================================
rman-569: =============== error message stack follows ===============
rman-571: ===========================================================
rman-3009: failure of control file and spfile autobackup command on
ora_disk_1 channel at 04/07/2012 10:29:17
ora-1580: error creating control backup file
/oracle/product/10.2.0/db_1/dbs/snapcf_copa1.f
ora-27054: nfs file system where the file is created or resides is not
mounted with correct options
additional information: 3
在 alert.log 文件中
starting control autobackup
warning:nfs file system /oracle/product mounted with incorrect options
warning:expected nfs mount options:
rsize>=32768,wsize>=32768,hard, actimeo=0
autobackup failed with following error
ora-1580: error creating control backup file
/oracle/product/10.2.0/db_1/dbs/snapcf_copa1.f
ora-27054: nfs file system where the file is created or resides is not mounted with correct options
additional information: 3
出现此问题是因为 bug 8482162: snapshot controlfile still need noac on nfs mount point. 此 bug 已在 11.2.0.2 中修复
workaround:
1) 对于保存snapshot（快照）控制文件的 nfs 文件系统，使用 noac 选项装载。
或者
2) 将 snapshot（快照）控制文件的位置更改到非 nfs。
ref: bug 8482162 snapshot controlfile still needs noac on nfs mount points (ora-27054) note 8482162.8
3. bug 9577583: false ora-942 or other errors with multiple schemas having identical objects
当 rman 目录数据库（catalog）保存了多个 rman 目录 schema（方案）时，目录数据库上将提醒出现错误 ora-00942。
症状：
用户发现多个 ora-942 错误
任何在多个 schema（方案）下有同名对象的数据库都可能会遇到此问题。
这是间歇性问题，无法重现，但会多次出现。
这是通用的 bug，主要影响 rman 目录备份。影响 11.2.0.1，在 11.2.0.2 中已提供了修复。
rman-00571: ===========================================================
rman-00569: =============== error message stack follows ===============
rman-00571: ===========================================================
rman-03015: error occurred in stored script incremental_level0
rman-03002: failure of backup command at 06/25/2010 13:21:22
rman-06004: oracle error from recovery catalog database: ora-00942: table or view does not exist
rman-06031: could not translate database keyword
debug跟踪信息显示
dbgsql: exec sql at rcvcat begin dbms_rcvman . translatedatabase ; end ; [13:21:22.794]
dbgsql: sqlcode=-942 [13:21:22.795]
dbgmisc: krmksqlerror called from file krmk.c, line 12649 [13:21:22.796]
dbgrcvman: entering translatedatabase
dbgrcvman: entering validatestate
dbgrcvman: exiting validatestate validatestate
dbgrcvman: opening cursor translatedatabase_c in translatedatabase
dbgmisc: krmicomp: error 6004 signalled during compilation [13:21:22.797]
dbgmisc: entered krmkmrsr [13:21:22.797]
rman-06004: oracle error from recovery catalog database: ora-00942: table or view does not exist
ora-06512: at calypp.dbms_rcvman, line 4590
ora-06512: at calypp.dbms_rcvman, line 16168
ora-06512: at line 1
rman-06097: text of failing sql statement: begin dbms_rcvman . translatedatabase ; end ;
rman-06099: error occurred in source file: krmk.pc, line: 7618
rman-06031: could not translate database keyword
解决方案：
应用针对 bug 9577583 的 patch 9577583
ref: note 9577583.8 false ora-942 or other errors when multiple schemas have identical object names.
4. bug 10635701 - backup of fra consumes 15gb of pga and fail with ora-4030
rman 在备份大量文件时，会由于消耗过多内存而失败，并出现 ora-4030。错误出现在heap（堆）ksfq，其中包含带有注释“ksfq buffers”的块。影响 11.2.0.1 和 11.2.0.2，已在 11.2.0.3 中修复
症状：
rman 跟踪信息显示以下 function（函数）中出错。
dbms_backup_restore.validationvalidate，带有类似下文的跟踪行：
krmxrpc - channel t1 kpurpc2 err=4030 db=target proc=sys.dbms_backup_restore.validationvalidate
失败进程的调用堆栈：
kghalf
分配的内存为 ksfq的 heap（堆），其中 ksfq heap（堆）包含带有注释“ksfq buffers”的块。该信息会被转储到错误 ora-4030 生成的跟踪文件中
以下文件中的错误： /cihcissdb028/dump01/oracle/dxls/udump/diag/rdbms/dxls/dxls/incident/incdir_68404/dxls_ora_27140_i68404.trc:
ora-04030: out of process memory when trying to allocate 824492 bytes (pga heap,kco buffer)
ora-04030: out of process memory when trying to allocate 1052684 bytes (ksfq heap,ksfq buffers)
解决方案：
应用 patch 10635701， 这个问题没有办法绕过。影响 11.2.0.1 和 11.2.0.2，已在 11.2.0.3 中包括修复。
ref: note 10635701.8 rman backup many files consumes lots of pga / fails with ora-4030
5. bug 12370722 - catupgrd.sql hangs with arch error ora-600 [krr_highest_scn_tim_8]
升级到 11.2.0.2 之后，归档进程持续引发 ora_0600 [krr_highest_scn_tim_8]。升级之后在 11.2.0.2 中报错；影响升级，导致停机，解决方法是清除联机重做日志。此问题已在 11.2.0.3 中修复。
以下列出的 bug，其症状类似于父 bug 12370722
bug 11872889: ora-600: internal error code, arguments: [krr_highest_scn_tim_8]
bug 12534566: database open failed ora-00600 [krr_highest_scn_tim_8]
bug 11062394: ora-600 [krr_highest_scn_tim_8] reported by an archiver process
所有这些 bug 均已关闭，与以下 bug 重复：
bug 12370722: catupgrd.sql hangs with arch error ora-600 [krr_highest_scn_tim_8]
症状：
查找错误：
?运行 oracle 版本 11.2.0.2
?数据库近期从 10.2（或 10.1）升级到 11.2.0.2，为确认这一点，11.2.0.2 alert log 应显示“alter database open migrate”。
归档进程定期（例如每分钟）报错 ora-00600:[krr_highest_scn_tim_8]，然后终止，调用堆栈如下：
-> ksbrdp -> krsv_abs -> ksbabs -> kcrrwk -> kcrrwkx -> krse_arc_driver -> krse_arc_driver_cor -> krse_arc_spool -> krr_highest_scn_tim -> ora600:[krr_highest_scn_tim_8]
或者
尝试打开数据库的进程报错 ora-00600:[krr_highest_scn_tim_8]，调用堆栈如下：
-> adbdrv -> kcfopd -> kcttsc -> krsq_arch_to_force_ -> krse_arc_driver -> krse_arc_driver_cor -> krse_arc_spool -> krr_highest_scn_tim -> ora600:[krr_highest_scn_tim_8]
或者
执行 alter system archive log all; 的进程报错 ora-00600:[krr_highest_scn_tim_8]，调用堆栈如下：
-> kkyasy - krsq_arch_one_log -> krse_arc_driver->krse_arc_driver_core -> krse_arc_spool -> krr_highest_scn_tim -> ora600:[krr_highest_scn_tim_8]
一个特定联机重做日志未归档，以下查询会显示未归档的日志序列号：
sql> select sequence# from v$log where archived='no' and status = 'current';
错误：
rman-00571: =======================================================
rman-00569: =========== error message stack follows ===========
rman-00571: =======================================================
rman-03009: failure of sql command on default channel at 05/20/2011 01:26:24
rman-11003: failure during parse/execution of sql statement: alter system archive log current
ora-00600: internal error code, arguments: [krr_highest_scn_tim_8], [], [], [], [], [], [], [], [], [], []
workaround:
为防止出现 ora-00600:[krr_highest_scn_tim_8]，请在开始升级到 11.2.0.2 之后，不要返回并使用 oracle 版本 10 打开数据库。
如果数据库由于无法切换到下一个（未归档的）联机重做日志而挂起，或者由于前台进程尝试归档联机重做日志并出现 ora-00600:[krr_highest_scn_tim_8] 错误而终止，导致无法打开数据库，则尝试添加另一个重做日志组
sql> startup mount
alter database add logfile group ('') size m;
如果已经报错 ora-00600:[krr_highest_scn_tim_8]，并且定期持续报错，则可以通过以下方法之一来解决：
- 安装补丁程序，
- 或者通过以下方法清除联机重做日志：
sql> select group# from v$log
where archived='no' and status = 'current';
alter database clear logfile group ;
注：清除联机重做日志表示该序列号的日志中的重做无法用于恢复，因此应该在清除日志之后尽可能早地执行完整备份。
6. bug 10170431 - ctwr consuming lots of cpu cycles
如果启用了 block change tracking（块更改跟踪，简称 bct），则 ctwr进程会消耗 cpu，而数据库整体性能将会受到严重影响。这种现象会在 11.2.0.2 中发生，解决方法是禁用块更改跟踪或应用one-off补丁程序。该问题已在 11.2.0.3 中修复
症状：
在最低负载的情况下，ctwr 后台进程消耗 90% 到 100% 的 cpu。
alter system checkpoint 会显著降低 ctwr cpu 负载，稍后将返回到 90% 到 100% cpu 负载（ctwr处理块更改之后），这种现象很有可能也是这个问题。
ctwr 的调用堆栈很可能显示在以下函数中不断循环（spinning）：
kcmgtsf ()
krcptmo ()
ksbabs ()
krcpabs ()
ksbrdp ()
workaround: 禁用 block change tracking (bct) 或者应用针对 bug 10170431 的 patch 10170431。
7. bug 13000553 - rman backup fails with rman-20999 error at standby database
rman备份或者重新同步rman目录（resync catalog）命令失败，出现错误rman-20052: invalid datafile create scn
将数据文件添加到transportable表空间，然后恢复目录出现问题。
由于插入(plug in) scn 为零，导致在尝试使用恢复目录时出现问题。
解决方法是应用 patch 13000553.
bug 13877582 - rman some datafiles at standby site appear with null name
发现与以下 bug 重复：
bug 13000553 - rman backup fails with rman-20999 error at standby database
症状：
目标数据库是 dataguard（物理备用）环境
表空间已插入(plug in)了主数据库。
插入(plug in)表空间之后，一些数据文件被添加到其中。
恢复目录为 11.2.0.3
已在以下版本中修复：12.1
解决方案
在恢复目录数据库中应用 patch 13000553，并在主站点与备用站点之间重新同步目录。如果在应用补丁之后，文件名仍显示为空白，则重新创建恢复目录，在新目录中注册主站点，然后将备用站点与新目录重新同步。
ref:
note 1446934.1 some datafiles at standby site appear with null name in rman
note 1411883.1 rman-20052: invalid datafile create scn during resync or backup using recovery catalog 11.2.0.3
8. bug 12312133 - rman incremental backup with block change tracking may cause standby db crash
如果在备用数据库上启用了 bct 并且 rman 执行增量备份，则 ctwr 会使备用数据库出现 ora-0600[krcccb_busy]，并崩溃。此问题影响 11.2.0.2、11.2.0.3，绕过问题的方法是禁用块更改跟踪。
症状：
在备用数据库上启用了 bct
rman 执行增量备份。
ctwr会出现 ora-0600[krcccb_busy]，使备用数据库崩溃。
errors in file /u01/app/oracle/diag/rdbms/mbcdwps/mbcdwps1/trace/mbcdwps1_ctwr_499736.trc:
ora-00600: internal error code, arguments: [krcccb_busy], [], [], [], [], [], [], [], [], [], [], []
ctwr (ospid: 499736): terminating the instance due to error 487
system state dump requested by (instance=1, osid=499736 (ctwr)), summary=[abnormal instance termination].
system state dumped to trace file /u01/app/oracle/diag/rdbms/mbcdwps/mbcdwps1/trace/mbcdwps1_diag_1884206.trc
workaround: 解决方法：禁用块更改跟踪。应用 patch 12312133
ref: note 12312133.8 standby db crashes with ora-600 [krcccb_busy] /ora-00600 [krccckp_scn] with block change tracking
9. bug 10318078 - rman coredumps on exit : backup (to tape) completes succesfully
在 11.2 中，rman 到磁带的备份成功完成并退出 rman 时生成 core dump。
症状：
backup（备份）成功完成, rman 退出时，生成core dump（转储）。
core stack（堆栈）显示：/oracle/movt/11g/app/product/release/lib/libskgxp11.so
workaround: 将 oracle 可执行文件与 media manager api 库的静态版本链接，而不是动态链接库
关闭所有使用此 oracle_home 的实例
% cd $oracle_home/rdbms/lib
% make -f ins_rdbms.mk ioracle llibmm=/usr/lib/libnwora.a
% ln -s /usr/lib/libnwora.so libobk.so
使用静态链接的库“libnwora.a”而不是动态库“libnwora.so”
ref: note 1296704.1 rman coredumps on exit : backup (to tape) completes succesfully.
解决方案：
应用针对 bug:10318078 的修复
patch 11774404: tracking bug for 10318078 for aix11.2- 212 - ibm aix on power systems (64-bit)
patch 11774413: tracking bug for 10318078 for solaris sparc64
10. bug 13602883 - block change tracking not used for incremental backups
症状：
如果在数据库（cluster_database=true）运行期间意外禁用了增量备份的块更改跟踪 (bct)、rman 会话或实例在上一次备份期间终止，并且 rdbms 发行版早于 11.2.0.4，则可能命中这个 bug。
该 bug 影响 11.2.0.2/3（也可能影响更早的版本），任意平台都可能发生。但是，它只影响 rac，即数据库设置了参数 cluster_database=true。
该 bug 已在 11.2.0.4 及更高版本中修复。
11. mml 不兼容问题：使用 oracle 11.2 执行 rman备份或恢复到磁带的操作期间出现 ora-07445 [strcpy()+48]
不兼容的 mml 软件在使用 rman备份数据库时将导致 core dump。alert.log 中报告 core dump 错误 ora-07445 [strcpy()]，并且备份通道意外终止。
症状：
errors in file /apps/oh/admin/ppmp/bdump/diag/rdbms/ppmp/ppmp/trace/ppmp_ora_32421.trc (incident=29135):
ora-07445: exception encountered: core dump [strcpy()+16] [sigsegv] [addr:0x9] [pc:0x3e2b170d00] [address not mapped to object] []
rman-00571: =======================================================
rman-00569: =========== error message stack follows ===========
rman-00571: =======================================================
rman-03009: failure of backup command on t1 channel at 11/18/2011 23:13:19
rman-10038: database session for channel t1 terminated unexpectedly
call stack（调用堆栈）：
__restore_rt strcpy put_string send_bprdreq bprd_get_features bsa_checkfeatureidvxbsavalidatefeatureid xbsa_validatefeatureid int_startjob sbtbackup skgfqcre ksfq_cre ksfqfcrx krbbopenoutput krbbpc krbibpc
ref: note 959015.1 ora-07445 [strcpy()+48] during rman backup or restore to tape using oracle 11.2
解决方案：
检查 mml 软件与 11.2 的兼容性。 如需帮助，请联系供应商技术支持
例如：在以下网址可以找到与 veritas netbackup 相关的详细信息
http://www.symantec.com/business/support/index?page=content&id=tech77071
12. bug 11694127 - rman duplicate not honoring time portion of date for until time [id 11694127.8]
症状：
duplicate 期间，当 nls_date_format 不包含 time 规范时，
until time 将被截断。因此，构建的duplicate数据库可能会处于错误的时间点
例如：
假设 rman 复制使用命令： set until time to_date('jan 27 2011 17:05:00','mon dd yyyy hh24:mi:ss');
alert.log 文件将显示： start until time 'jan 27 2011 00:00:00' using backup controlfile
rediscovery notes:
恢复期间 duplicate 失败，原因是 nls_date_format 不包含 time 部分，导致 until time 被截断。
workaround
将 nls_date_format 设置为具有时间精度的格式，然后
使用 until time 执行 rman 复制命令。
示例：
setenv nls_date_format 'dd-mon-yyyy hh24:mi:ss'
setenv nls_lang 'american_america.utf8'
使用 rman 连接到目标和 auxiliary(辅助)实例
执行带有 until time 的 rman 复制命令
有关受影响/修复的版本，请参阅： note 11694127.8