OceanBase源码解读:物化视图刷新统计清理执行器 ObMViewStatsPurgeRefreshStatsExecutor

物化视图每次刷新都会在内部统计表 __all_mview_refresh_stats 里记一条记录:刷新耗时、扫描行数、增量行数等。日子久了这张表越长越大,所以 OceanBase 4.3 提供手动清理命令 PURGE MATERIALIZED VIEW REFRESH STATS,按保留时长批量删掉历史统计。本文解读的 ob_mview_stats_purge_refresh_stats_executor.cpp(191 行)就是这条命令的执行器入口,位于 storage/mview/cmd 命令执行层目录,向上对接 SQL 执行计划,向下调用清理工具类 ObMViewRefreshStatsPurgeUtil。整个文件的核心是三件事:解析参数、决定清理范围、分批事务删除。

一、类结构与两档清理模式

执行器类的成员很少,但有一个精巧的哨兵值设计:

class ObMViewStatsPurgeRefreshStatsExecutor
{
private:
  static const int64_t PURGE_BATCH_COUNT = 1000;
  enum class OpType
  {
    PURGE_ALL_REFRESH_STATS = 0,
    PURGE_SPECIFY_REFRESH_STATS = 1,
    MAX
  };
private:
  sql::ObExecContext *ctx_;
  sql::ObSQLSessionInfo *session_info_;
  sql::ObSchemaChecker schema_checker_;
  uint64_t tenant_id_;
  OpType op_type_;
  ObArray<uint64_t> mview_ids_;
  int64_t retention_period_;
};

retention_period_ 初始为 INT64_MAX,这是「用户没传保留时长」的哨兵。构造函数把成员显式置空/置 MAX,避免残留脏数据。OpType 枚举定义了两档清理模式:mv_list 为空走 PURGE_ALL(清全租户),非空走 PURGE_SPECIFY(逐个指定 MV 清理)。PURGE_BATCH_COUNT = 1000 则是后面分批删除的批次大小。

二、execute:总入口的三步走

execute 是物理算子调用的入口,先做环境校验:

int ObMViewStatsPurgeRefreshStatsExecutor::execute(ObExecContext &ctx,
                                                   const ObMViewStatsPurgeRefreshStatsArg &arg)
{
  int ret = OB_SUCCESS;
  ctx_ = &ctx;
  CK(OB_NOT_NULL(session_info_ = ctx.get_my_session()));
  CK(OB_NOT_NULL(ctx.get_sql_proxy()));
  CK(OB_NOT_NULL(ctx.get_sql_ctx()->schema_guard_));
  OV(OB_LIKELY(arg.is_valid()), OB_INVALID_ARGUMENT, arg);
  OZ(schema_checker_.init(*ctx.get_sql_ctx()->schema_guard_, session_info_->get_server_sid()));
  OX(tenant_id_ = session_info_->get_effective_tenant_id());
  OZ(ObMViewExecutorUtil::check_min_data_version(
    tenant_id_, DATA_VERSION_4_3_0_0,
    "tenant's data version is below 4.3.0.0, purge refreh stats is"));
  OZ(resolve_arg(arg));
  ...
}

CK/OV/OZ/OX 是 OceanBase 断言宏家族,失败即带错误码返回,把七八层 if-else 拍平成一行一个。这里依次校验 session、SQL 代理、schema guard 三件套就位,初始化 schema_checker,取有效租户 ID,然后做一道关键闸门:check_min_data_version 要求租户数据版本不低于 4.3.0.0——MV 刷新统计是 4.3 新特性,老版本租户直接报错,避免对不认识的表结构动手。环境就绪后进入 resolve_arg 解析参数,再按 op_type 分支执行。

三、PURGE_ALL:没指定 MV 时的全租户清理

全量清理分支的关键是保留时长从哪来:

if (OpType::PURGE_ALL_REFRESH_STATS == op_type_) {
  ObMViewRefreshStats::FilterParam filter_param;
  if (INT64_MAX == retention_period_) {
    ObMViewRefreshStatsParams stats_params;
    if (OB_FAIL(ObMViewRefreshStatsParams::fetch_sys_defaults(*ctx.get_sql_proxy(), tenant_id_,
                                                              stats_params))) {
      LOG_WARN("fail to fetch sys defaults", KR(ret), K(tenant_id_));
    } else {
      filter_param.set_retention_period(stats_params.get_retention_period());
    }
  } else if (retention_period_ > 0) {
    filter_param.set_retention_period(retention_period_);
  }
  if (OB_SUCC(ret)) {
    if (OB_FAIL(purge_refresh_stats(filter_param))) {
      LOG_WARN("fail to purge refresh stats", KR(ret), K(filter_param));
    }
  }
}

优先级很清晰:用户显式传了正数就用用户的;没传(哨兵 INT64_MAX)就 fetch_sys_defaults 从系统变量取默认保留时长。retention_period_ 小于等于 0 时 filter_param 不设 retention,按清理工具类语义「不按时间过滤」。FilterParam 是清理条件结构,携带 mview_id 与 retention_period 两个维度。

四、PURGE_SPECIFY:指定 MV 时的一次一个限制

指定 MV 的分支有两个值得注意的细节:

} else if (OpType::PURGE_SPECIFY_REFRESH_STATS == op_type_) {
  if (mview_ids_.count() > 1) {
    ret = OB_NOT_SUPPORTED;
    LOG_WARN("not supported purge multiple mviews refresh stats", KR(ret), K(arg));
    LOG_USER_ERROR(OB_NOT_SUPPORTED, "purge multiple mviews refresh stats is");
  }
  for (int64_t i = 0; OB_SUCC(ret) && i < mview_ids_.count(); ++i) {
    const uint64_t mview_id = mview_ids_.at(i);
    ObMViewRefreshStats::FilterParam filter_param;
    filter_param.set_mview_id(mview_id);
    if (INT64_MAX == retention_period_) {
      ObMViewRefreshStatsParams stats_params;
      if (OB_FAIL(ObMViewRefreshStatsParams::fetch_mview_refresh_stats_params(
            *ctx.get_sql_proxy(), tenant_id_, mview_id, stats_params, true))) {
        if (OB_UNLIKELY(OB_ENTRY_NOT_EXIST != ret)) {
          LOG_WARN("fail to fetch mview refresh stats params", KR(ret), K_(tenant_id), K(mview_id));
        } else {
          ret = OB_ERR_MVIEW_NOT_EXIST;
          LOG_WARN("mview not exist", KR(ret), K_(tenant_id), K(mview_id));
        }
      } else {
        filter_param.set_retention_period(stats_params.get_retention_period());
      }
    }
    ...
  }
}

第一,当前版本限制一次只能指定一个 MV,传多个直接返回 OB_NOT_SUPPORTED,并用 LOG_USER_ERROR 把错误码翻译成用户可读提示——这是 OceanBase 错误处理两层惯例:LOG_WARN 给运维看细节,LOG_USER_ERROR 给客户端看结果。第二,指定 MV 时保留时长优先取该 MV 自己的参数(fetch_mview_refresh_stats_params);查不到参数记录(OB_ENTRY_NOT_EXIST)说明 MV 可能已被删除,错误码被转换成更贴切的 OB_ERR_MVIEW_NOT_EXIST 报给用户,而不是让内部查询错误穿透出去。

五、resolve_arg:把名字变成 table_id

resolve_arg 负责 SQL 文本到内部 ID 的转换:

op_type_ =
  arg.mv_list_.empty() ? OpType::PURGE_ALL_REFRESH_STATS : OpType::PURGE_SPECIFY_REFRESH_STATS;
if (OB_FAIL(ObMViewExecutorUtil::split_table_list(arg.mv_list_, mview_names))) {
  LOG_WARN("fail to split table list", KR(ret), K(arg.mv_list_));
}
for (int64_t i = 0; OB_SUCC(ret) && i < mview_names.count(); ++i) {
  ...
  if (OB_FAIL(ObMViewExecutorUtil::resolve_table_name(cs_type, case_mode, lib::is_oracle_mode(),
                                                      mview_name, database_name, table_name))) {
    ...
  } else if (database_name.empty() &&
             FALSE_IT(database_name = session_info_->get_database_name())) {
  } else if (OB_FAIL(schema_checker_.get_table_schema_with_synonym(
               tenant_id_, database_name, table_name, false /*is_index_table*/, has_synonym,
               new_db_name, new_tbl_name, table_schema))) {
    ...
  } else if (OB_ISNULL(table_schema) || OB_UNLIKELY(!table_schema->is_materialized_view())) {
    ret = OB_ERR_MVIEW_NOT_EXIST;
    ...
  } else if (OB_FAIL(mview_ids_.push_back(table_schema->get_table_id()))) {
    ...
  }
}

处理链路是典型的名字解析五连:split_table_list 按逗号切分 → resolve_table_name 处理 db.table 前缀与大小写模式 → 库名缺省回落到当前会话库(FALSE_IT 宏在条件里顺手赋值)→ get_table_schema_with_synonym 支持同义词展开 → 校验表类型确实是物化视图。任何一步发现名字存在但不是 MV 都统一报 OB_ERR_MVIEW_NOT_EXIST,最终拿到 mview_ids_ 数组——内部统一的 table_id。

六、purge_refresh_stats:分批事务的大删除模式

最后一层是把删除做安全的循环:

int ObMViewStatsPurgeRefreshStatsExecutor::purge_refresh_stats(
  const ObMViewRefreshStats::FilterParam &filter_param)
{
  int ret = OB_SUCCESS;
  int64_t affected_rows = 0;
  do {
    ObMySQLTransaction trans;
    if (OB_FAIL(trans.start(ctx_->get_sql_proxy(), tenant_id_))) {
      LOG_WARN("fail to start trans", KR(ret));
    } else if (OB_FAIL(ObMViewRefreshStatsPurgeUtil::purge_refresh_stats(
                 trans, tenant_id_, filter_param, affected_rows, PURGE_BATCH_COUNT))) {
      LOG_WARN("fail to purge refresh stats", KR(ret), K(tenant_id_), K(filter_param));
    }
    if (trans.is_started()) {
      int tmp_ret = OB_SUCCESS;
      if (OB_SUCCESS != (tmp_ret = trans.end(OB_SUCC(ret)))) {
        LOG_WARN("failed to commit trans", KR(ret), KR(tmp_ret));
        ret = COVER_SUCC(tmp_ret);
      }
    }
  } while (OB_SUCC(ret) && OB_SUCC(ctx_->check_status()) && affected_rows > 0);
  return ret;
}

do-while 的三个循环条件:本轮 SQL 成功;check_status() 通过——OceanBase 响应 KILL 与超时中断的标准姿势,中途取消不会卡死循环;affected_rows > 0 表示上一批删到了数据,删完自然停。每批 1000 行一个独立事务,把可能上百万行的大 DELETE 切成大量小事务——这是分布式数据库避免长事务的经典手法:长事务会拖慢合并、撑大事务日志、延长回放时间。事务提交处细节:end() 返回码用 tmp_ret 承接,COVER_SUCC 回填,不覆盖业务错误码。

小结

这个 191 行的执行器展示了 OceanBase 命令类 SQL 的一条标准链路:环境校验与数据版本闸门 → 名字解析成内部 ID → 按模式分支组装过滤条件 → 分批事务执行底层删除。三个设计点值得记住:INT64_MAX 哨兵值区分「用户没传」与「传了 0」;MV 级参数优先、系统默认兜底的参数回落链;以及 check_status + 分批事务组合出的「可中断、无长事务」大删除模式。它调用的 ObMViewRefreshStatsPurgeUtil 承担真正的 SQL 拼接与删除,是统计清理的另一半,此前已单独成篇。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注