物化视图的刷新不是一次简单的 INSERT ... SELECT。以增量刷新为例,它要先在某个一致性快照上算出基表的变更集、再把这批变更以幂等方式写进物化视图表、顺便把已经消费掉的物化视图日志(MLog)清掉,过程中还不能被同租户里另一个并发的刷新任务插一脚。这些动作分散在刷新主流程的各个角落,实现上被抽成了一组静态函数,集中在 src/storage/mview/ob_mview_refresh_helper.cpp 里,也就是本文要拆的 ObMViewRefreshHelper。
打开头文件会发现这个类很反常:没有构造函数、没有任何成员变量,全部 10 个接口都是 static。这其实是一个刻意的选择——它不持有任何状态,所有上下文(事务对象、schema guard、schema 版本)都由调用方以入参形式传进来。好处是没有生命周期问题、不需要考虑线程安全,任意一层代码都能直接调用;代价是参数列表偏长。在 OceanBase 里这类”纯静态工具箱”很常见,本质是把一组内聚的操作命名空间化。
一、四个能力域
按文件里的排列顺序,这组工具可以分成四块:
| 能力域 | 函数 | 解决的问题 |
|---|---|---|
| 事务与锁 | lock_mview |
给物化视图对象加事务级排他锁,防并发刷新 |
| SQL 生成与行数统计 | generate_purge_mlog_sql / get_table_row_num / get_mlog_dml_row_num |
拼 MLog 清理语句、数基表行数、按 DML 类型拆 MLog 变更行数 |
| 嵌套 MV 协同 | sync_post_nested_mview_rpc / sync_get_min_target_data_sync_scn |
向 RootService 问”下游嵌套 MV 最少需要同步到哪个位点” |
| 依赖一致性校验 | get_dep_mviews_from_dep_info / check_dep_mviews_satisfy_target_scn / collect_deps_and_check_satisfy |
确认它依赖的那些 MV 已经把数据推到目标位点 |
第四块是理解整个文件的关键。物化视图可以嵌套:MV_A 基于 MV_B 定义。当 MV_A 要按位点 target_data_sync_scn 刷新时,MV_B 的数据必须先同步到这个位点,否则 MV_A 会读到 MV_B 的”半新半旧”状态,嵌套刷新的可串行化就被打破了。为了不读脏数据,OceanBase 采取的策略是宁可重试也不放行:collect_deps_and_check_satisfy 校验不通过时直接返回 OB_ERR_UNEXPECTED,由上层下一轮再试。
二、取快照点与加锁
刷新的第一步是确定”读哪个版本”。注意这里不能用本地时钟,也不能用 ObTimeUtility::current_time(),而要走事务服务拿 GTS 的读快照版本:
int ObMViewRefreshHelper::get_current_scn(SCN ¤t_scn)
{
int ret = OB_SUCCESS;
const int64_t DEFAULT_TIMEOUT = GCONF.internal_sql_execute_timeout;
ObTransService *txs = MTL(transaction::ObTransService *);
if (OB_ISNULL(txs)) {
ret = OB_ERR_SYS;
} else {
ObTimeoutCtx timeout_ctx;
if (OB_FAIL(ObShareUtil::set_default_timeout_ctx(timeout_ctx, DEFAULT_TIMEOUT))) {
} else if (OB_FAIL(
txs->get_read_snapshot_version(timeout_ctx.get_abs_timeout(), current_scn))) {
}
}
return ret;
}
拿到快照之后立刻加锁,顺序不能反。锁对象不是数据表,而是物化视图这个逻辑对象:
ObLockObjRequest lock_arg;
lock_arg.obj_type_ = ObLockOBJType::OBJ_TYPE_MATERIALIZED_VIEW;
lock_arg.obj_id_ = mview_id;
lock_arg.owner_id_ = owner_id; // 由本线程 tid 转换而来
lock_arg.lock_mode_ = EXCLUSIVE;
lock_arg.op_type_ = ObTableLockOpType::IN_TRANS_COMMON_LOCK;
...
if (try_lock) {
lock_arg.timeout_us_ = 0; // 拿不到立即返回,不阻塞
}
ObInnerConnectionLockUtil::lock_obj(tenant_id, lock_arg, conn);
两个细节值得留意。IN_TRANS_COMMON_LOCK 表示这是事务级锁——它挂在内部事务 ObMViewTransaction 上,事务提交或回滚时自动释放,调用方不用写 unlock,也不会因为异常路径泄漏锁。try_lock 分支把超时置 0,语义是”抢不到就走人”:定时刷新任务遇到别的会话正在刷,应该跳过本轮而不是干等,避免后台线程被长时间占住。
三、MLog 清理语句与行数统计
增量刷新消费完 MLog 之后要清理,清理语句是拼出来的(不能预编译,因为库表名和并行度都是运行期确定的):
// 并行清理:DML_PARALLEL 与 PARALLEL 同时给,DYNAMIC_SAMPLING(0) 关掉动态采样
"DELETE /*+ NO_REWRITE DYNAMIC_SAMPLING(0) ENABLE_PARALLEL_DML
DML_PARALLEL(%d) PARALLEL(%d) */"
// 清理边界用行提交版本号,而不是时间列
" FROM `%.*s`.`%.*s` WHERE ora_rowscn <= %lu;"
ora_rowscn 是行级的提交版本号,和 purge_scn 处在同一个坐标系里,比较起来没有时钟漂移问题;如果换成时间列,就得处理时区、夏令时、以及”同一个 SCN 对应多个时间戳”这类麻烦。DYNAMIC_SAMPLING(0) 是为了不让优化器为了一个 DELETE 去跑统计采样——清理语句的目标确定,采样纯属浪费。
统计侧有两个函数,服务于刷新统计(知道”这次刷了多少行变更”)。get_table_row_num 数基表行数,关键是把 count(*) 钉在指定快照上:
if (is_oracle_mode) {
sql.append_fmt("count(*) as COUNT from "%.*s"."%.*s"", ...);
if (scn.is_valid()) {
sql.append_fmt(" as of scn %ld", scn.get_val_for_sql()); // Oracle 语法
}
} else {
sql.append_fmt("count(*) as COUNT from `%.*s`.`%.*s`", ...);
if (scn.is_valid()) {
sql.append_fmt(" as of snapshot %ld", scn.get_val_for_sql()); // MySQL 语法
}
}
两套语法、一个语义。get_mlog_dml_row_num 更进一步,按 MLog 的 DMLTYPE$$ 列分组统计,得到插入、更新、删除各多少行。这里藏着一个容易被忽略的换算:
switch (dml_type.ptr()[0]) {
case 'I': case 'i': num_rows_ins = count; break;
case 'U': case 'u': num_rows_upd = (count / 2); break; // 一次 UPDATE 记两行
case 'D': case 'd': num_rows_del = count; break;
default: ret = OB_ERR_UNEXPECTED; break;
}
MLog 记录的是”行的旧像与新像”,一次 UPDATE 会落两行,所以更新计数要除以 2 才等于用户视角的更新行数。这种”物理记录与逻辑语义差一个倍数”的换算,在写统计报表时如果忘了,数字会整整大一倍。
四、向 RootService 问最小同步位点
嵌套 MV 的元信息(哪个下游需要同步到哪个位点)只由 RootService 维护,所以本地要发 RPC 去问。发送前必须先定位 SYS_LS 的 leader:
abs_timeout_ts = ObTimeUtility::current_time() + GCONF.location_cache_refresh_sql_timeout;
location_service->get_leader_with_retry_until_timeout(
GCONF.cluster_id, tenant_id, share::SYS_LS, leader, abs_timeout_ts);
rpc_proxy->to(leader).by(tenant_id).timeout(ObRpcProxy::MAX_RPC_TIMEOUT)
.check_nested_mview_mds(arg, res);
外层 sync_get_min_target_data_sync_scn 把重试封装好了,只针对 OB_NOT_MASTER 和 OB_EAGAIN 两种错误循环重试,间隔 200ms、总预算 30s:
arg.refresh_id_ = OB_INVALID_ID; // 纯查询模式:不写 MDS,只问位点
do {
sync_post_nested_mview_rpc(arg, res);
if (OB_NOT_MASTER == ret || OB_EAGAIN == ret) {
if (ObTimeUtility::fast_current_time() - start_ts > 30s) { ret = OB_TIMEOUT; break; }
ob_usleep(200 * 1000);
}
} while (OB_NOT_MASTER == ret || OB_EAGAIN == ret);
为什么刷新请求里要带 refresh_id?因为同一个 RPC 接口有两种用法:带有效 refresh_id 是”登记/推进 MDS”,传 OB_INVALID_ID 就退化成纯查询。这种”用一个无效 ID 表示只读模式”的复用方式在内部 RPC 里很常见,省掉一对冗余接口。
五、依赖校验:三件套串成一条链
最后一块是依赖校验,三个函数严格串行:收集依赖 → 过滤出 MV → 校验位点。
int ObMViewRefreshHelper::collect_deps_and_check_satisfy(...)
{
ObArray<ObDependencyInfo> dep_infos;
ObSEArray<uint64_t, 2> dep_mview_ids;
SCN target_data_sync_scn, read_snapshot;
target_data_sync_scn.convert_for_sql(target_data_sync_ts);
read_snapshot.convert_for_sql(snapshot_version);
ObDependencyInfo::collect_ref_infos(tenant_id, mview_id, sql_proxy, dep_infos);
get_dep_mviews_from_dep_info(tenant_id, dep_infos, schema_guard, dep_mview_ids);
check_dep_mviews_satisfy_target_scn(tenant_id, target_data_sync_scn, read_snapshot,
dep_mview_ids, sql_proxy, satisfy, oracle_mode);
if (!satisfy) {
ret = OB_ERR_UNEXPECTED; // 位点不够 → 报错触发重试,绝不放行
}
return ret;
}
三个环节各有各的边界处理。get_dep_mviews_from_dep_info 遍历依赖信息时,遇到 schema 为空只打 LOG_INFO 不报错——因为依赖容器表可能刚被别的会话删掉,此时依赖信息是陈旧快照,不算异常;顺手用 is_materialized_view() 把普通表过滤掉,只留 MV。check_dep_mviews_satisfy_target_scn 用 bacth_fetch_mview_infos 批量拉取(函数名里那个拼写错误是源码原样),避免 N 次单表查询。
还有一个小工具 replace_all_snapshot_zero,负责把模板 SQL 里写死的 as of scn 0 / as of snapshot 0 替换成真实版本号。它用 std::string 而不是 ObString,因为要原地 replace;判断条件写得挺克制——只有 0 后面紧跟非数字字符时才替换,否则 10、100 这类值会被误伤:
std::string search = oracle_mode ? "as of scn " : "as of snapshot ";
while ((pos = output.find(search, pos)) != std::string::npos) {
int64_t value_pos = pos + search.size();
if (output[value_pos] == '0' &&
(value_pos + 1 == output.size() || !isdigit(output[value_pos + 1]))) {
// 只有恰好是 0 才替换
output.replace(pos + search.size(), value_end - value_pos, new_value_str);
} else { ++pos; }
}
小结
这 600 多行代码读下来,最值得带走的是三点工程判断。
第一,工具类不该有状态。ObMViewRefreshHelper 全静态、零成员,代价是参数列表长,收益是没有生命周期、没有并发问题、任何一层都能调。对”一组内聚但无状态的操作”来说,这笔交易划算。
第二,锁挂事务,不挂代码路径。IN_TRANS_COMMON_LOCK 让锁的释放交给事务回滚语义,而不是让每个调用方记得在每条错误分支上 unlock。这类”用框架语义替代人工纪律”的做法,比任何代码规范都可靠。
第三,一致性问题上优先重试,不要降级。依赖 MV 位点不够时返回 OB_ERR_UNEXPECTED 而不是”先刷了再说”,嵌套刷新的正确性由此守住。代价是一轮刷新可能白跑,但如果放行,得到的是错数据——在物化视图这种”预计算换性能”的场景里,错数据比慢更糟糕。