OceanBase源码解读:物化视图定时调度作业工具 ObMViewSchedJobUtils

物化视图最有用的能力之一是「定时自动刷新」:用户建 MV 时写一句 NEXT sysdate+1,之后每天后台自动刷一次。但 OceanBase 并没有为 MV 单独造一套定时框架,而是复用了通用的 DBMS_SCHEDULER 调度设施。今天解读的 ob_mview_sched_job_utils.cpp(723 行)就是这两个世界之间的桥梁——ObMViewSchedJobUtils 全部由静态函数组成,负责「把 MV 的时间参数翻译成调度作业、再把作业的生命周期与 MV 的增删改同步起来」,真正到点执行则交给 dbms_scheduler 的作业执行器。

一、架构位置:MV 层与调度器的桥梁

整个文件的角色可以用一句话概括:MV 侧只负责生成正确的作业描述 + 生命周期同步,执行交给调度器。围绕这个定位,函数分成四组:

  • 生成三件套:generate_job_id / generate_job_name / generate_job_action——制造作业的唯一身份与动作串;
  • 创建与删除:add_scheduler_job 是落库底座,create_mview_scheduler_job(刷新作业)与 create_mlog_scheduler_job(MLog 清理作业)是两个业务入口;remove_*、disable_and_stop_job 负责摘除;
  • 表达式求值:calc_date_expr_from_str / calc_date_expression / resolve_date_expr_to_timestamp——把用户的 NEXT 表达式算成具体时间戳;
  • 替换与水位:replace_mview_refresh_job / replace_mlog_purge_job 支持 ALTER MV 换刷新计划;acquire_major_refresh_mv_merge_scn_ 负责 MAJOR_COMPACTION 模式的水位初始化。

二、作业身份的生成三件套

每个调度作业需要三样东西:唯一 id、可读名字、到点执行的动作串。job_id 不是本地自增,而是走 RPC 向 RS 申请全局唯一 id,再加一个偏移量:

int ObMViewSchedJobUtils::generate_job_id(
    const uint64_t tenant_id, int64_t &job_id)
{
  // ...校验 tenant_id...
  ObCommonID raw_id;
  if (OB_FAIL(ObCommonIDUtils::gen_unique_id_by_rpc(tenant_id, raw_id))) {
    LOG_WARN("failed to gen unique id by rpc", KR(ret), K(tenant_id));
  } else {
    job_id = raw_id.id() + ObDBMSSchedTableOperator::JOB_ID_OFFSET;
  }
  return ret;
}

加 JOB_ID_OFFSET 的动机很直接:用户手工执行 DBMS_SCHEDULER 建的作业也在同一张 __all_dbms_scheduler_job 表里,偏移量让两边的 id 空间错开,避免撞号。作业名则是「前缀 + job_id」,如 MVIEW_REFRESH$_123,注意名字要写进系统表,所以在调用方传入的 allocator 上分配持久内存,不能用栈上缓冲。

三、落库底座 add_scheduler_job

两个业务入口最终都汇到 add_scheduler_job,它把 ObDBMSSchedJobInfo 的每个字段填好:

job_info.lowner_ = ObString("oceanbase");
job_info.cowner_ = ObString("oceanbase");
job_info.powner_ = lib::is_oracle_mode() ? ObString("SYS") : ObString("root@%");
job_info.job_style_ = ObString("regular");
job_info.job_type_ = ObString("PLSQL_BLOCK");
job_info.start_date_ = start_date.is_null()
    ? ObTimeUtility::current_time() : start_date.get_timestamp();
job_info.end_date_ = 64060560000000000;  // 4000-01-01
job_info.auto_drop_ = 0;
job_info.max_run_duration_ = 24 * 60 * 60;  // 单次最长跑 1 天
job_info.func_type_ = dbms_scheduler::ObDBMSSchedFuncType::MVIEW_JOB;

几个值得注意的取值:start_date 为空就取当前时间(等于立即纳入调度);end_date 钉死在公元 4000 年,等于永不过期;单次运行上限 24 小时防止刷新作业挂死占资源;func_type 标成 MVIEW_JOB 让调度器能识别这类作业;scheduler_flags 里还带着一个日期表达式兼容标记,为老版本升级铺路。

四、核心入口:创建 MV 刷新作业

CREATE MATERIALIZED VIEW 带 START WITH/NEXT 时走 create_mview_scheduler_job。它最核心的工作是把嵌套刷新模式枚举翻译成作业动作串:

// INDIVIDUAL:  DBMS_MVIEW.refresh('db.mv')
// INCONSISTENT: DBMS_MVIEW.refresh('db.mv',nested=>TRUE,
//                 nested_refresh_mode=>'INCONSISTENT')
// CONSISTENT:   同上但 'CONSISTENT'
if (nested_refresh_mode == ObMVNestedRefreshMode::INDIVIDUAL) {
  nested = false_str;
} else if (nested_refresh_mode == ObMVNestedRefreshMode::INCONSISTENT) {
  nested = true_str;
  data_sync = inconsistent_str;
} else if (nested_refresh_mode == ObMVNestedRefreshMode::CONSISTENT) {
  nested = true_str;
  data_sync = consistent_str;
}

INDIVIDUAL 模式只刷自己,动作串不带 nested 参数;INCONSISTENT 允许嵌套 MV 各刷各的;CONSISTENT 则要求整棵 MV 树取同一快照点。动作串到点后由调度器解析执行,相当于把「怎么刷」的全部语义编码进了一个字符串。

五、建 MV 的总装函数

add_mview_info_and_refresh_job 是 CREATE MV 的落库总装,串起了 schema 侧与调度侧。第一步有个容易忽略的前置检查:

} else if (ObMVRefreshMode::MAJOR_COMPACTION == refresh_info->refresh_mode_) {
  if (OB_FAIL(acquire_major_refresh_mv_merge_scn_(sql_client, tenant_id))) {
    // ...
  } else if (OB_FAIL(share::ObBackupJobOperator::get_jobs(
                 *GCTX.sql_proxy_, meta_tenant_id, false, backup_jobs))) {
    // ...
  } else if (!backup_jobs.empty()) {
    ret = OB_OP_NOT_ALLOW;
    LOG_USER_ERROR(OB_OP_NOT_ALLOW, "backup jobs exist, can not create materialized view, "
                   "please try again after backup jobs are finished");
  }
}

MAJOR_COMPACTION 模式的 MV 会参与合并,所以建 MV 前必须确认全局没有备份任务在跑——备份与合并窗口冲突会让两者都变慢甚至失败。这里直接拒绝并给用户明确提示,而不是默默排队。之后只有用户给了 START TIME / NEXT 才创建调度作业(手动刷新、一次性刷新不需要);最后填 ObMViewInfo 时 last_refresh_scn 置 0 表示新 MV 还没刷过,insert_mview_info 落 __all_mview 表。

六、复用 SQL 编译机器求值日期表达式

用户写的 NEXT 表达式(如 sysdate+1/24)怎么变成具体时间戳?OceanBase 的做法很聪明:不自己实现日期 DSL,直接借用 SQL 编译机器。

SMART_VAR(ObResolverParams, resolver_ctx){
  ObRawExprFactory expr_factory(allocator);
  resolver_ctx.allocator_ = &allocator;
  resolver_ctx.schema_checker_ = &schema_checker;
  resolver_ctx.session_info_ = &session;
  resolver_ctx.disable_privilege_check_ = PRIV_CHECK_FLAG_DISABLE;
  resolver_ctx.expr_factory_ = &expr_factory;
  // 先解析成 ParseNode,再 resolve 成常量表达式并求值
  OB_FAIL(sql::ObRawExprUtils::parse_default_expr_from_str(interval_str, ...));
  OB_FAIL(resolve_date_expr_to_timestamp(resolver_ctx, session, *expr_node, ...));
}

解析出的常量表达式求值后要归一到微秒时间戳,四个分支覆盖全部合法类型:timestamp / timestamp_tz 直接取值,datetime 与 mysql_datetime 走 ObTimeConverter 带 session 时区转换,其他类型一律拒绝。这样表达式语法与用户 SQL 完全一致,租户是 Oracle 模式还是 MySQL 模式都能正确求值。

调度器侧还有个预演函数 calc_date_expression:新建或替换作业时先算一次下次执行时间,且必须晚于当前时刻,否则报 OB_ERR_TIME_EARLIER_THAN_SYSDATE——与 Oracle 行为对齐,防止用户写个过去时间导致作业永不触发或疯狂触发。它的实现也有亮点:在临时执行上下文里手工造出 session / exec_ctx / plan_ctx 三件套,Oracle 租户还要临时切 ORACLE 兼容模式,跑完还原。

七、水位初始化与作业替换

acquire_major_refresh_mv_merge_scn_ 负责首次启用 MAJOR_COMPACTION 时初始化全局合并水位,用了一个两段式设计:

// 第一段:独立事务里读全局统计表;值为 NULL 说明从未设置
if (OB_ERR_NULL_VALUE == ret) {
  ret = OB_SUCCESS;
  major_refresh_mv_merge_scn.set_min();
  if (OB_FAIL(tmp_proxy.update_major_refresh_mv_merge_scn(
        major_refresh_mv_merge_scn, false))) { /* ... */ }
}
// 提交独立事务后,第二段:用调用方的 trans 再读一遍(select for update)
share::ObGlobalStatProxy stat_proxy(trans, tenant_id);
if (OB_FAIL(stat_proxy.get_major_refresh_mv_merge_scn(true, major_refresh_mv_merge_scn))) {
  // ...
}

为什么读两遍?第一遍在独立事务里完成「NULL → 最小值」的原子初始化;提交后第二遍用外层 DDL 事务的句柄再 select for update 一次,把这一行的行锁交给外层事务持有——这样并发的另一个建 MV 请求会在第二遍读时被挡住,初始化与后续操作串行化,防竞态。

ALTER MV 换刷新计划则走 replace_mview_refresh_job:删旧作业 → 尽力停掉运行中实例 → 按原 refresh_start 建新作业。细节上有两处讲究:停运行实例用 GCTX.sql_proxy_(sys 租户通道)而非事务句柄,避免借用事务客户端卡住事务;stop 失败不阻断 DDL(OB_TMP_FAIL 尽力而为),只有「作业不存在」视为正常。对应地,DROP MV 时 disable_and_stop_job 只停用不删除——先把 enabled 置 false 再停实例,作业定义的清理由其他路径收尾。

小结

ObMViewSchedJobUtils 是一个典型的「胶水层」:自己不做调度、不执行刷新,只负责把 MV 的定时语义无损地翻译成调度作业,并在 MV 生命周期各个节点(建、改、删)保持两侧元数据一致。读懂它的三个关键:一是动作串即语义(嵌套刷新模式全编码在 DBMS_MVIEW.refresh 的参数里);二是复用 SQL 编译机器求值日期表达式,避免造轮子;三是水位初始化与防竞态的两段式事务设计。至此,MV 的定时刷新链路——谁登记作业(本文)、谁到点执行(dbms_scheduler)、谁真正刷新(此前解读的 refresh 系列)——已经完整打通。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注