OceanBase源码解读:物化视图命令层公共工具箱 ObMViewExecutorUtil

DBMS_MVIEW.REFRESH('mv1,mv2','f') 这行 PL/SQL 调用最终要落到物化视图的刷新引擎上,中间隔着一层不起眼却极关键的东西:参数拆解与校验。用户手里传来的是任意精度的 NUMBER、逗号分隔的字符串、单个字符的刷新模式、随手写的大小写混合的表名,而引擎要的是干净的 int64_t、ObString 切片、枚举和已在 schema 里对得上的标识符。ObMViewExecutorUtil 就是这层”翻译+门禁”的集合体——它没有任何成员变量,全部函数 static,像一把瑞士军刀插在命令层每个 Executor 的入口处。这篇就来拆这把刀上的十把刀片,以及它们背后那些踩过坑才写出来的约束。

一、它在哪一层

物化视图能力分三层:最上面是 dbms_mview / dbms_stats 系统包,中间是 storage/mview/cmd 下的若干 Executor(refresh / purge_log / stats_purge / stats_set_params),最下面才是 ObMViewRefreshHelper 等真正的刷新计算逻辑。

四个 Executor 入参形态高度相似,各写一遍必然出现”某个分支忘了做大小写折叠”这类难查的差异,于是抽成 ObMViewExecutorUtil:只向下依赖 lib/number、share/schema、sql/ob_sql_utils,不碰存储引擎,可在任意线程与事务上下文调用;全静态无状态,免除生命周期问题。

二、十把刀片分成五组

按职责归类,函数正好落在五个坑位上:

组别 函数 解决什么
数值解包 number_to_int64 / number_to_uint64 PL/SQL 任意精度 NUMBER → C++ 整数,挡住小数位与溢出
列表解包 split_table_list 逗号分隔的多视图列表切成 ObString 数组
版本门禁 check_min_data_version 旧租户拿到用户可读的”不支持”报错
标识符规范化 resolve_table_name / upper_db_table_name db.table 切分 + Oracle/MySQL 大小写 + 字符集
枚举与 id to_refresh_method / to_collection_level / generate_refresh_id / is_mview_refresh_retry_ret_code 单字符/字符串翻译成枚举、全局唯一 refresh_id、重试白名单

三、数值解包:为什么要专门写两个函数

最容易被低估的是 number_to_int64。它用 is_valid_int64(out) 这个”校验同时写出参”的接口,一次挡掉”精度丢失”(12.9 装不进整数)和”溢出”(1e30)两类问题。若先 to_int64 再事后比较,前者静默截断、后者回绕。

int ObMViewExecutorUtil::number_to_int64(const ObNumber &number, int64_t &int64)
{
  int ret = OB_SUCCESS;
  if (OB_UNLIKELY(!number.is_valid_int64(int64))) {
    ret = OB_INVALID_ARGUMENT;
    LOG_WARN("number is not int64", KR(ret), K(number));
  }
  return ret;
}

单独留一个 uint64 版本不是冗余:tenant_id、table_id、parallel 在内部一律无符号,若先转 int64 再强转 uint64,用户传个 -1 会变成 18446744073709551615 而不报错,后续按这个值去查表就是一场灾难。

四、列表与版本:宽容解析 + 严格门禁

split_table_list 的策略是宽容:空段('a,,b'、末尾逗号)跳过不报错,报错权留给表名解析,让错误精确指向”哪个名字不合法”。它先 reset() 出参因为是复用容器;切出的是原串切片(只改 ptr/len),故入参生命周期必须覆盖整个使用期。

check_min_data_version 则完全相反,是个硬门禁,而且有两个细节值得注意:它取的是 GET_MIN_DATA_VERSION——集群里最落后那个 observer 支持的数据版本,而不是最大值。理由是物化视图的元信息一旦写入必须被所有副本读懂,只要有一个副本读不懂就不能放开。版本不够时除了返回 OB_NOT_SUPPORTED,还必须 LOG_USER_ERROR 打一条面向用户的文案——普通 LOG_WARN 只进日志文件,用户在客户端什么都看不到。

int ObMViewExecutorUtil::check_min_data_version(const uint64_t tenant_id,
                                                const uint64_t min_data_version, const char *errmsg)
{
  int ret = OB_SUCCESS;
  uint64_t compat_version = 0;
  if (OB_FAIL(GET_MIN_DATA_VERSION(tenant_id, compat_version))) {
    LOG_WARN("fail to get data version", KR(ret), K(tenant_id));
  } else if (OB_UNLIKELY(compat_version < min_data_version)) {
    ret = OB_NOT_SUPPORTED;
    LOG_WARN("version lower than 4.3 does not support this operation", KR(ret), K(tenant_id),
             K(compat_version), K(min_data_version));
    LOG_USER_ERROR(OB_NOT_SUPPORTED, errmsg);
  }
  return ret;
}

五、标识符规范化:最容易”看起来对但取不到表”

整个工具箱里最有信息量的函数。用户写 'app.ORDER_MV',引擎要在 schema 里找到这张表,必须解决三件事:库表怎么切、大小写怎么折、字符集怎么校,顺序和细节都不能错。

database_name.reset();
table_name.reset();
if (OB_UNLIKELY(name.empty())) {
  ret = OB_INVALID_ARGUMENT;
} else {
  ObString name_str = name;
  const char *p = name_str.find(split_character);
  if (p == nullptr) {
    table_name = name_str;               // 无库名,交由 session 默认库补齐
  } else {
    database_name = name_str.split_on(p);
    table_name = name_str;
    if (OB_UNLIKELY(database_name.empty() || table_name.empty() ||
                    nullptr != table_name.find(split_character))) {
      ret = OB_WRONG_TABLE_NAME;         // 挡住 'db.' / '.tbl' / 'a.b.c'
    }
  }
  if (OB_SUCC(ret)) {
    const bool preserve_lettercase =
      is_oracle_mode ? true : (case_mode != OB_LOWERCASE_AND_INSENSITIVE);
    upper_db_table_name(case_mode, is_oracle_mode, database_name);
    upper_db_table_name(case_mode, is_oracle_mode, table_name);
    // 之后才做 check_and_convert_db_name / check_and_convert_table_name
  }
}

三个设计点:

第一,格式校验”三错齐挡”。库名或表名为空、表名里还有第二个点,都判 OB_WRONG_TABLE_NAME,覆盖 'db.'、'.tbl'、'a.b.c' 三种手误。没有点则合法,库名留空交由 session 默认库补齐。

第二,preserve_lettercase 按模式分叉。Oracle 模式恒 true(双引号混合大小写必须原样保留);MySQL 模式只有 lower_case_table_names=1 才折叠,=0/2 保留原样,与服务端语义对齐。

第三,折叠必须在校验之前。先 upper_db_table_name 原地改大小写,再走 ObSQLUtils::check_and_convert_* 校验字符集与长度。反过来折叠会改变字节长度,校验就基于错误长度做了。

upper_db_table_name 刻意声明为 void 且就地修改(str_toupper 直写 ptr),把”入参必须可写”摆在明面上。本文件里它来自 split_on 切片指向 SQL 文本缓冲区;若有人传 const 字面量进来就会崩。

六、枚举翻译:先置哨兵再赋值

to_refresh_method 把 Oracle 的 method 单字符参数翻成枚举,兼容写法包括 'a'/'A'(all)、'c'/'C'(complete)→ COMPLETE,'f'/'F' → FAST,以及最特别的 '?' → FORCE(由优化器决定走快刷还是全刷)。'?' 这种非字母参数能进代码,纯粹是为了兼容 Oracle 用户 DBMS_MVIEW.REFRESH('mv','?') 的历史习惯。

两个翻译函数共享一个模式:出参先置 MAX 哨兵,再按分支赋值,未命中一律 OB_INVALID_ARGUMENT,让”非法输入”与”枚举值恰好为 0″区分开。to_collection_level 用 case_compare 而非 ==,因为 'none'/'None'/'NONE' 都该被接受。

七、refresh_id:连 MTL_SWITCH 都只是语法糖

refresh_id 是整条刷新链路的追踪号:__all_mview_refresh_stats 以它落统计、MDS 登记以它同步位点、嵌套 MV 以它校验依赖是否追平。它由 ObCommonIDUtils 生成,而生成器依赖租户内系统表与自增段缓存,必须在该租户的 MTL 上下文里跑。

MTL_SWITCH(tenant_id)
{
  if (OB_FAIL(ObCommonIDUtils::gen_unique_id(tenant_id, unique_id))) { ... }
}
else
{
  if (OB_FAIL(ObCommonIDUtils::gen_unique_id_by_rpc(tenant_id, unique_id))) { ... }
}
if (OB_SUCC(ret)) {
  refresh_id = unique_id.id();
}

MTL_SWITCH 展开成 if/else 两支:一支表示”当前线程本来就在目标租户”,直接本地生成;另一支表示”不在”,于是把线程切到该租户上下文再生成,作用域结束自动切回。两分支最后归一取 unique_id.id(),调用方完全不用关心走的是哪条路径。

八、重试白名单:什么错值得再试一次

刷新重试循环里”这次失败要不要再试一次”的唯一裁决者。白名单分三类,判据统一是”故障瞬时、重试大概率能过”:

元信息过期类——OB_OLD_SCHEMA_VERSION、OB_SCHEMA_ERROR:表结构刚被改过,重试会拿到新 schema。
时序与负载类——OB_EAGAIN(稍后再试)、OB_INVALID_QUERY_TIMESTAMP(目标 SCN 还没到,数据未追平)、OB_TASK_EXPIRED(任务超时被回收)、OB_REPLICA_NOT_READABLE / OB_MAPPING_BETWEEN_TABLET_AND_LS_NOT_EXIST(副本或 tablet-LS 映射正在搬迁)。
拓扑变动类——is_master_changed_error(切主)、is_partition_change_error(分区分裂合并)、is_ddl_stmt_packet_retry_err(DDL 报文重试)。

反过来,SQL 语法错、权限不足、对象不存在这些”确定性错误”坚决不在表内——重试只会白烧 CPU。这张表的宽度决定系统在抖动中的存活率,严谨度决定它不会在死局上无限打转。

九、小结

222 行里没有一个算法,全是工程判断,留下三条经验:

1. 宽容与严格要按边界分工。列表切分宽容(空段跳过),表名解析严格(三错齐挡),版本门禁最硬(直接拒)。这不是风格,而是”错误信息该由谁给出”的分工。

2. 顺序即正确性。大小写折叠必须先于字符集校验,数值校验必须与赋值同时完成。is_valid_int64(out) 这类接口存在,就是为了让两步不可分离。

3. 面向用户的错误要显式打。LOG_WARN 给运维看,LOG_USER_ERROR 给用户看;版本不支持这类可预期拒绝缺了后者就是”静默失败”。

下一步可顺着命令层读 ob_mview_purge_log_executor.cpp(MLog 清理命令,这套工具的另一个使用者),看这些转换函数在真实 Executor 里的调用序列。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注