OceanBase源码解读:物化视图日志清理执行器 ObMViewPurgeLogExecutor

物化视图的快速刷新依赖物化视图日志(MLOG)——它记录基表的增量变更,刷新完成后旧日志就要清掉。除了后台定时清理,OceanBase 还允许用户通过 PURGE_LOG 命令手动控制清理水位。本文解读这条命令在存储层的执行器 ObMViewPurgeLogExecutor,位于 storage/mview/cmd/ 目录,全文只有 121 行,是 cmd 命令层中最小的一个,却完整展示了这一族 Executor 的标准结构:前置检查、名字解析、版本门禁、参数组装、转发给真正干活的底层模块。清理动作本身由 storage/mview/ob_mlog_purge.cpp 的 ObMLogPurger 完成,执行器只做”薄适配”。

一、命令参数包:ObMViewPurgeLogArg

用户执行 PURGE_LOG(master, num, flag, parallel) 时,SQL 层把四个参数打包成 ObMViewPurgeLogArg 传下来:

struct ObMViewPurgeLogArg
{
  ObMViewPurgeLogArg() : num_(-1), purge_log_parallel_(0) {}
  bool is_valid() const { return !master_.empty(); }

  ObString master_;             // 基表名或 MV 名
  int64_t num_;                 // 日志条数水位
  ObString flag_;               // 清理策略标记
  int64_t purge_log_parallel_;  // 清理并行度
};

合法性只强校验 master_ 非空:其余参数都有默认语义(num 为 -1 表示未指定,并行度 0 表示单线程)。num_ 和 flag_ 在执行器里不会被消费——它们控制的水位语义由底层 ObMLogPurger 根据 flag 决定策略,cmd 层只负责透传。这是命令层设计的一致性原则:参数包整体下传,执行器只挑自己需要的字段。

二、execute():三段式前置检查

执行入口把工作切成三段,前置检查段全部使用 OceanBase 常见的 CK/OV/OZ 宏——断言失败直接带错误码返回,不进入后续逻辑:

int ObMViewPurgeLogExecutor::execute(ObExecContext &ctx,
                                     const ObMViewPurgeLogArg &arg)
{
  int ret = OB_SUCCESS;
  ctx_ = &ctx;
  CK(OB_NOT_NULL(session_info_ = ctx.get_my_session()));
  CK(OB_NOT_NULL(ctx.get_sql_ctx()->schema_guard_));
  OV(OB_LIKELY(arg.is_valid()), OB_INVALID_ARGUMENT, arg);
  OZ(schema_checker_.init(*ctx.get_sql_ctx()->schema_guard_,
      session_info_->get_server_sid()));
  OX(tenant_id_ = session_info_->get_effective_tenant_id());
  OZ(ObMViewExecutorUtil::check_min_data_version(
      tenant_id_, DATA_VERSION_4_3_0_0, ...));
  OZ(resolve_arg(arg));

  if (OB_SUCC(ret)) {
    ObMLogPurgeParam purge_param;
    ObMLogPurger purger;
    purge_param.tenant_id_ = tenant_id_;
    purge_param.master_table_id_ = master_table_id_;
    purge_param.purge_log_parallel_ = arg.purge_log_parallel_;
    if (OB_FAIL(purger.init(ctx, purge_param))) {
      ...
    } else if (OB_FAIL(purger.purge())) {
      ...
    }
  }
  return ret;
}

前置检查依次确认:session 可用、schema_guard 存在(后续查表 schema 全靠它)、参数合法、schema_checker 初始化完成,然后取出租户 id。接着是一道关键闸门——check_min_data_version 要求租户数据版本不低于 4.3.0.0。这是 MLOG 与 PURGE_LOG 特性引入的版本,低版本集群直接拒绝执行,避免升级混部期间调用不存在的系统表结构。

三、resolve_arg():从表名到表 ID

第二段是名字解析。用户传的是 “db.table” 字符串,最终需要换成 master_table_id_。这个过程要处理四个细节:

ObNameCaseMode case_mode = OB_NAME_CASE_INVALID;
ObCollationType cs_type = CS_TYPE_INVALID;
if (OB_FAIL(session_info_->get_name_case_mode(case_mode))) {
  ...
} else if (OB_FAIL(session_info_->get_collation_connection(cs_type))) {
  ...
}
if (OB_SUCC(ret)) {
  ObString database_name, table_name;
  bool has_synonym = false;
  ...
  if (OB_FAIL(ObMViewExecutorUtil::resolve_table_name(
      cs_type, case_mode, lib::is_oracle_mode(),
      arg.master_, database_name, table_name))) {
    LOG_USER_ERROR(OB_WRONG_TABLE_NAME, ...);
  } else if (database_name.empty() &&
             FALSE_IT(database_name = session_info_->get_database_name())) {
  } else if (OB_UNLIKELY(database_name.empty())) {
    ret = OB_ERR_NO_DB_SELECTED;
  } else if (OB_FAIL(schema_checker_.get_table_schema_with_synonym(
               tenant_id_, database_name, table_name, false,
               has_synonym, new_db_name, new_tbl_name, table_schema))) {
    ...
  }
  ...
}

第一,名字是否区分大小写由 session 的 case_mode 与连接级校对规则(collation)决定,必须与建表时一致,所以解析前先取这两个 session 属性。第二,拆出的库名为空时回退到当前连接 use 的默认库;仍为空则报”未选择数据库”。第三,resolve_table_name 失败时除了 WARN 日志,还会用 LOG_USER_ERROR 给客户端回一条可读的表名错误——面向用户的错误必须走 USER_ERROR 通道,这是 cmd 层的惯例。第四,get_table_schema_with_synonym 支持同义词穿透:传入的名字可能是个同义词,解析后拿到真实表名与表 schema。

顺带一提代码里的 FALSE_IT 技巧:它把一个”带副作用的赋值”塞进 else-if 链,赋值永远返回 false 让链条继续往下走,避免了额外的嵌套块,是 OceanBase 源码里高频出现的惯用法。

四、MV 到容器表的换算

解析出的表 schema 如果是物化视图本身,需要先换算成它的容器表——因为 MLOG 实际挂在容器表上,MV 只是逻辑视图:

} else if (table_schema->is_materialized_view()) {
  // when need to purge a materialized view,
  // we need to purge its container table
  const share::schema::ObTableSchema *container_table_schema = nullptr;
  if (OB_FAIL(schema_checker_.get_table_schema(
      tenant_id_, table_schema->get_data_table_id(),
      container_table_schema))) {
    ...
  } else {
    table_schema = container_table_schema;
  }
}
if (OB_FAIL(ret)) {
} else if (OB_UNLIKELY(OB_INVALID_ID == table_schema->get_mlog_tid())) {
  ret = OB_ERR_TABLE_NO_MLOG;
  ...
} else {
  master_table_id_ = table_schema->get_table_id();
}

换算依据是 MV schema 的 data_table_id 字段。最后一道闸门检查 get_mlog_tid():如果容器表上从未建立过 MLOG(mlog_tid 为 INVALID_ID),报 OB_ERR_TABLE_NO_MLOG——没有日志可清,命令自然拒绝。全部通过后,容器表 id 记入 master_table_id_,解析完成。

五、执行链与设计动机

整个执行链可以概括为:PURGE_LOG SQL → ObMViewPurgeLogArg → execute()(版本门禁)→ resolve_arg()(名字→ID,MV→容器表)→ ObMLogPurgeParam → ObMLogPurger::purge()。执行器成员分成两组:执行上下文组(ctx、session、schema_checker)在 execute 时注入,服务于名字解析;解析结果组(tenant_id、master_table_id)是 resolve_arg 的产出,最终填入 PurgeParam。所有成员构造时显式初始化为无效值,调用方即使漏走前置检查,后续用这些 id 也会立刻报错,而不是带着垃圾值误删数据。

为什么 MLOG 需要手动清理?自动清理(定时任务)通常按保守策略执行,避免删掉尚未被某些 MV 消费的日志;而 PURGE_LOG 把决定权交给用户——配合 flag 参数,用户可以指定更激进的水位。执行器的”薄”也是有意为之:所有 cmd 层 Executor 共享同一套前置检查模式(session/schema_guard/版本门禁),把校验逻辑沉淀在 ObMViewExecutorUtil 等工具类中,单个执行器只需关注自己的名字解析与参数转发。这一族执行器还包括手动刷新执行器、统计清理执行器等,结构完全同构,读懂本篇即可举一反三。

小结

ObMViewPurgeLogExecutor 用 121 行代码演示了 OceanBase 命令层的最小完整形态:参数包透传、session 级名字解析(大小写/校对规则/同义词/默认库)、MV 与容器表的语义换算、数据版本门禁,最后把干净的参数交给底层 Purger。真正有意思的不是清理本身,而是这条薄适配链上的防御性细节——每一步都可能失败,每一步都有对应的用户可读错误。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注