OceanBase源码解读:物化视图手动刷新执行器 ObMViewRefreshExecutor

在 OceanBase 4.3 中,物化视图的手动刷新通过 DBMS_MVIEW.REFRESH('mv1', 'F') 触发。命令从 SQL 层进来后落到 ObMViewRefreshExecutor(src/storage/mview/cmd/ob_mview_refresh_executor.cpp,818 行)。它是物化视图子系统的“命令层”:解析参数、编排流程、控制事务、采集统计,真正算差量写数据的活交给 ObMViewRefresher。本文拆解它的结构与四条执行路径。

一、架构位置:命令层与计算层的分工

一次手动刷新的调用链是这样的:

SQL 解析器(ob_mview_refresh_resolver)
  → ObMViewRefreshArg        // 参数结构,承载 18 个 Oracle 兼容选项
  → ObMViewRefreshExecutor   // 本文主角,命令编排层
  → ObMViewRefresher::refresh// storage/mview/ob_mview_refresh.cpp,真正的计算层
  → ObMViewTransaction       // 刷新专用的内部事务

分层的好处很直接:DBMS_MVIEW.REFRESH 有十几个 Oracle 兼容参数,它们的处理逻辑和“怎么算差量”毫无关系。执行器只做翻译和编排,计算层专心处理数据。

一个容易误解的点:命令允许传 'mv1,mv2,mv3',但 4.3 不支持一次刷多张,do_refresh() 里直接判 OB_NOT_SUPPORTED,所以 mview_ids_ 长度恒为 1。唯一例外是 nested_ 模式沿依赖图展开成一串视图,但那靠执行器递归调用自己完成。

二、参数结构:18 个字段里大半是兼容位

ObMViewRefreshArg 有个手写的赋值运算符,逐个字段拷贝。之所以不用默认拷贝,是因为结构体里有 ObString(浅拷贝语义,只指向调用方内存),手写能明确表达“只拷引用不拷内容”。字段的真实用途分三类:

struct ObMViewRefreshArg {
  ObString list_;                   // 'db.mv1,db.mv2' 待刷新列表
  ObString method_;                 // 'C'/'F'/'?'/'P' 刷新方法,可多个如 'CF'
  bool     nested_;                 // 是否递归刷新依赖链
  bool     nested_consistent_refresh_; // 嵌套刷新是否要求整链同一 SCN
  int64_t  refresh_parallel_;       // 刷新并行度,也复用给 mlog purge
  // 另有 atomic_refresh / purge_option / rollback_seg / heap_size /
  // out_of_place 等 9 个字段,基本是"接受但无实际效果"的 Oracle 兼容占位
};

真正影响行为的只有 list_、method_、nested_、nested_consistent_refresh_、refresh_parallel_ 五个,其余都有默认值。

三、参数解析:字符串到内部结构的翻译

execute() 入口先校验:会话与 schema_guard 非空、参数合法、数据版本不低于 4.3.0.0(门禁失败给出可读错误,而不是后续崩在空指针上)。接着 resolve_arg() 做三件事:

第一,取会话的名字大小写模式与 collation。Oracle 模式下表名大小写敏感规则由会话决定,不取这两个值,在大小写敏感的库里 refresh mv1 可能解析到错误的表。

第二,解析表名。按逗号切分后逐个解析为 db.table,没带库名就补会话当前库,没选库直接 OB_ERR_NO_DB_SELECTED。取 schema 时走 get_table_schema_with_synonym,所以同义词也认。最后强制校验 is_materialized_view(),不是物化视图就报 OB_ERR_MVIEW_NOT_EXIST——注意这里刻意没用 OB_TABLE_NOT_EXIST,因为“表存在但不是 MV”和“表不存在”对用户来说应该是同一个提示。

第三,解析刷新方法。method 按字符逐个转枚举:C=全量重算、F=增量、?=FORCE(能增量就增量,不行退全量)、P=按分区。允许组合,'CF' 表示先试 FAST 失败再退 COMPLETE。

四、普通刷新:三段式主流程

do_refresh() 是全文件最核心的函数,结构是清晰的“准备 / 刷新 / 收尾”三段:

1. generate_refresh_id + stats_collector.init
   一次命令一个 refresh_id,同批 MV 共享,便于事后归组

2. 刷新(循环内)
   while (check_status()) {          // 同时是 Ctrl-C 中断检查点
     trans.start(session, proxy, db_id, db_name, solidified_session_var)
     refresher.init(ctx, refresh_ctx, param, stats_collection)
     refresher.refresh()
     trans.end(OB_SUCC(ret))         // 把外层错误码传进去决定 commit/rollback
   }

3. 清 MLog(按基表的 purge 模式分派)
4. 回填统计 → stats_collector.commit()

几个细节值得单独说。

事务收尾的三段式写法,在 OceanBase 代码里到处都能看到:先判 is_started()(start 失败时不能 end),再 end(OB_SUCC(ret)) 把外层错误码传进去让事务自己决定提交还是回滚,最后用 COVER_SUCC(tmp_ret) 覆盖错误码——这个宏的语义是“只有外层本来成功时才覆盖”,从而保证报出来的是根因而不是收尾时的次生错误。

每轮重试都重建事务和 refresher:失败后内部事务必须整体重开,复用旧事务会带脏状态。每轮重新取 mv_solidified_session_var(建 MV 时固化的会话变量),保证刷新期语义与建表时一致。

if (OB_FAIL(ret)) {
  // 1) 失败的尝试也写进统计表,让 DBA 看得到失败次数与耗时
  stat.set_result(ret);
  ObMViewRefreshStats::insert_refresh_stats(stat);
  // 2) 白名单判定是否属于临时性错误
  if (is_mview_refresh_retry_ret_code(ret)) {
    ret = OB_SUCCESS;
    refresh_ctx.reuse();                    // 清掉上一轮 mlog/dep 信息
    refresh_stats_collection->clear_for_retry();
    ob_usleep(1LL * 1000 * 1000);           // 退避 1s,防瞬时空转
  }
}

重试判定的白名单机制很关键:只有 schema 变更、切主、锁超时这类临时错误才值得重试,逻辑错误(比如 SQL 语法错)重试一万次也一样失败。reuse() 和 clear_for_retry() 也不能省——不清理的话第三段的 purge 会重复处理上一轮残留的日志条目。

五、清日志的三种模式

增量刷新依赖基表上的物化视图日志(MLog),刷新成功后该清掉,但“什么时候清”有三种策略:

if (!mlog_info.is_valid())                          // 基表没建日志,跳过
else if (DEFERRED == purge_mode)                    // 交给后台定时任务统一清
else if (IMMEDIATE_ASYNC == purge_mode)             // 4.3 未实现,报不支持
else if (IMMEDIATE_SYNC == purge_mode) {            // 刷新完立即同步清
  purger.init(ctx, purge_param);
  purger.purge();
}

这里用 OB_TMP_FAIL 而不是 OB_FAIL,意图明确:清日志失败不该让一次已经成功的刷新变成“刷新失败”,mlog 也可能在并发 DROP 中已经消失。log_purge_time 单独计时写进统计表。

六、嵌套刷新:一致性的代价

物化视图可以建在别的物化视图之上。刷 MV2 时如果 MV1 还是旧数据,结果必然错。嵌套刷新就是把依赖链上的 MV 全部按拓扑序刷一遍。这里有两种模式,差别在一致性强度:

非一致模式(默认):逐个独立刷新,各自取自己时刻的快照,性能好但不保证整链同一时间点。代码在 scheduler_nested_mviews_refresh_(),按拓扑序循环,每次构造 nested_=false 的子命令递归调用自己。

一致模式:先算出一个全局的 target_data_sync_scn,所有 MV 都必须刷到这个 SCN。代价是可能反复重试,换来的是整链强一致。这条路径分了四步:

step1 get_target_nested_mview_deps + gen_target_nested_mview_topo_order
      从依赖图摘出相关子图并按拓扑排序(被依赖的在前)
step2 register_nested_mview_mds_and_check(SCN 还没定)
      先登记"MDS 上我要刷这些 MV",并同步确认落盘
step3 get_current_scn 取一致点 → 再登记一次并复查
step4 scheduler_nested_mviews_sync_refresh_ 按序刷新 + 位点校验

为什么登记两次?第一次还没有 SCN,作用只是“占位 + 让 RS 感知这次嵌套刷新在进行中”;拿到 SCN 后必须再登记一次带上它,否则 RS 不知道这批 MV 该收敛到哪个位点。选 MDS 而非另写元信息,是因为 MDS 随事务提交/回滚自动重放或清理,天然和“嵌套刷新是个事务”对齐。记录落在 SYS_LS leader 上,所以要发 RPC 确认可见:

do {
  sync_post_nested_mview_rpc(arg, res);
  ret = res.ret_;                     // 传输成功 != 业务成功
  if (OB_NOT_MASTER == ret || OB_EAGAIN == ret) {
    if (cur_ts - start_ts > 30s) { ret = OB_TIMEOUT; break; }
    ob_usleep(200 * 1000);            // 200ms 退避
  }
} while (OB_NOT_MASTER == ret || OB_EAGAIN == ret);

OB_NOT_MASTER 表示 leader 正在切换,OB_EAGAIN 表示写入还没可见,两者都退避重试,总超时 30 秒。这段的重试条件写得很细——只重试这两个码,其他错误立即返回。

七、位点校验与名单收缩

一致模式最核心的循环在 scheduler_nested_mviews_sync_refresh_()。每处理一张 MV,先取这批 MV 的“共同位点下限”:

sync_get_min_target_data_sync_scn(tenant_id, mview_id, min_target_data_sync_scn);
if (min_target_data_sync_scn > target_data_sync_scn) {
  ret = OB_ERR_UNEXPECTED;      // 进度比目标还超前,状态机错乱,直接报错
} else if (min_target_data_sync_scn != target_data_sync_scn) {
  need_retry = true;            // 还没到位,1s 后重试
}

取 min 是木桶原理:进度最慢的那张决定当前能保证的位点。“超前”判 OB_ERR_UNEXPECTED 而非静默修正,因为水位异常必须暴露。

刷新后还要复核真实位点(check_satisfy_target_data_sync_scn),不能只信本地以为成功。达标后调用 check_register_new_mview_list_ 把已完成的从 MDS 名单摘掉,让等待中的兄弟 MV 解除阻塞:

// 遍历本 MV 的依赖 → 对仍在 mv_sets 里的依赖,
// 检查它的"反向依赖"(依赖它的那些 MV)是否都已满足 target SCN
// → 都满足了才从集合移除 → 集合有变化就重新登记 MDS
if (OB_HASH_EXIST == mv_sets.exist_refactored(mview_id)) {
  mview_reverse_deps.get_refactored(mview_id, reverse_dep_mview_ids);
  check_dep_mviews_satisfy_target_scn(..., reverse_dep_mview_ids, trans, satisfy);
  if (satisfy) { mv_sets.erase_refactored(mview_id); need_register_new_list = true; }
}

为什么不按“自己被刷新”判定退出?因为一个 MV 可能被多个上层引用,只要还有人没到位,它就不能退出名单。

八、小结

读完这个执行器,物化视图手动刷新的命令层轮廓就清楚了:

分层清晰。执行器只管参数翻译、流程编排、事务边界、统计采集,算差量写数据交给 ObMViewRefresher;18 个兼容参数里真正生效的只有 5 个。

错误处理有节奏。根因优先(COVER_SUCC)、失败也记统计、临时错误白名单重试、清日志失败不毁刷新结果(OB_TMP_FAIL)。

一致性是可选的代价。非一致模式刷一遍就完事;一致模式要在 MDS 上登记两次、跨机握手、按木桶原理反复重试、动态收缩名单。

把本文和前几篇串起来看,物化视图的时间线已经打通:建表时登记元信息与调度作业 → 到点由调度器触发 → 刷新走本文的执行器 → 刷新事务封装在 ObMViewTransaction → ObMViewRefreshHelper 提供取 SCN / 锁 MV / 查依赖等原子能力 → 元信息同步通过 MDS 通道 → 刷新统计由采集器和清理器维护。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注