DBMS_MVIEW.REFRESH('mv1,mv2','f') 这行 PL/SQL 调用最终要落到物化视图的刷新引擎上,中间隔着一层不起眼却极关键的东西:参数拆解与校验。用户手里传来的是任意精度的 NUMBER、逗号分隔的字符串、单个字符的刷新模式、随手写的大小写混合的表名,而引擎要的是干净的 int64_t、ObString 切片、枚举和已在 schema 里对得上的标识符。ObMViewExecutorUtil 就是这层”翻译+门禁”的集合体——它没有任何成员变量,全部函数 static,像一把瑞士军刀插在命令层每个 Executor 的入口处。这篇就来拆这把刀上的十把刀片,以及它们背后那些踩过坑才写出来的约束。
一、它在哪一层
物化视图能力分三层:最上面是 dbms_mview / dbms_stats 系统包,中间是 storage/mview/cmd 下的若干 Executor(refresh / purge_log / stats_purge / stats_set_params),最下面才是 ObMViewRefreshHelper 等真正的刷新计算逻辑。
四个 Executor 入参形态高度相似,各写一遍必然出现”某个分支忘了做大小写折叠”这类难查的差异,于是抽成 ObMViewExecutorUtil:只向下依赖 lib/number、share/schema、sql/ob_sql_utils,不碰存储引擎,可在任意线程与事务上下文调用;全静态无状态,免除生命周期问题。
二、十把刀片分成五组
按职责归类,函数正好落在五个坑位上:
| 组别 | 函数 | 解决什么 |
|---|---|---|
| 数值解包 | number_to_int64 / number_to_uint64 |
PL/SQL 任意精度 NUMBER → C++ 整数,挡住小数位与溢出 |
| 列表解包 | split_table_list |
逗号分隔的多视图列表切成 ObString 数组 |
| 版本门禁 | check_min_data_version |
旧租户拿到用户可读的”不支持”报错 |
| 标识符规范化 | resolve_table_name / upper_db_table_name |
db.table 切分 + Oracle/MySQL 大小写 + 字符集 |
| 枚举与 id | to_refresh_method / to_collection_level / generate_refresh_id / is_mview_refresh_retry_ret_code |
单字符/字符串翻译成枚举、全局唯一 refresh_id、重试白名单 |
三、数值解包:为什么要专门写两个函数
最容易被低估的是 number_to_int64。它用 is_valid_int64(out) 这个”校验同时写出参”的接口,一次挡掉”精度丢失”(12.9 装不进整数)和”溢出”(1e30)两类问题。若先 to_int64 再事后比较,前者静默截断、后者回绕。
int ObMViewExecutorUtil::number_to_int64(const ObNumber &number, int64_t &int64)
{
int ret = OB_SUCCESS;
if (OB_UNLIKELY(!number.is_valid_int64(int64))) {
ret = OB_INVALID_ARGUMENT;
LOG_WARN("number is not int64", KR(ret), K(number));
}
return ret;
}
单独留一个 uint64 版本不是冗余:tenant_id、table_id、parallel 在内部一律无符号,若先转 int64 再强转 uint64,用户传个 -1 会变成 18446744073709551615 而不报错,后续按这个值去查表就是一场灾难。
四、列表与版本:宽容解析 + 严格门禁
split_table_list 的策略是宽容:空段('a,,b'、末尾逗号)跳过不报错,报错权留给表名解析,让错误精确指向”哪个名字不合法”。它先 reset() 出参因为是复用容器;切出的是原串切片(只改 ptr/len),故入参生命周期必须覆盖整个使用期。
check_min_data_version 则完全相反,是个硬门禁,而且有两个细节值得注意:它取的是 GET_MIN_DATA_VERSION——集群里最落后那个 observer 支持的数据版本,而不是最大值。理由是物化视图的元信息一旦写入必须被所有副本读懂,只要有一个副本读不懂就不能放开。版本不够时除了返回 OB_NOT_SUPPORTED,还必须 LOG_USER_ERROR 打一条面向用户的文案——普通 LOG_WARN 只进日志文件,用户在客户端什么都看不到。
int ObMViewExecutorUtil::check_min_data_version(const uint64_t tenant_id,
const uint64_t min_data_version, const char *errmsg)
{
int ret = OB_SUCCESS;
uint64_t compat_version = 0;
if (OB_FAIL(GET_MIN_DATA_VERSION(tenant_id, compat_version))) {
LOG_WARN("fail to get data version", KR(ret), K(tenant_id));
} else if (OB_UNLIKELY(compat_version < min_data_version)) {
ret = OB_NOT_SUPPORTED;
LOG_WARN("version lower than 4.3 does not support this operation", KR(ret), K(tenant_id),
K(compat_version), K(min_data_version));
LOG_USER_ERROR(OB_NOT_SUPPORTED, errmsg);
}
return ret;
}
五、标识符规范化:最容易”看起来对但取不到表”
整个工具箱里最有信息量的函数。用户写 'app.ORDER_MV',引擎要在 schema 里找到这张表,必须解决三件事:库表怎么切、大小写怎么折、字符集怎么校,顺序和细节都不能错。
database_name.reset();
table_name.reset();
if (OB_UNLIKELY(name.empty())) {
ret = OB_INVALID_ARGUMENT;
} else {
ObString name_str = name;
const char *p = name_str.find(split_character);
if (p == nullptr) {
table_name = name_str; // 无库名,交由 session 默认库补齐
} else {
database_name = name_str.split_on(p);
table_name = name_str;
if (OB_UNLIKELY(database_name.empty() || table_name.empty() ||
nullptr != table_name.find(split_character))) {
ret = OB_WRONG_TABLE_NAME; // 挡住 'db.' / '.tbl' / 'a.b.c'
}
}
if (OB_SUCC(ret)) {
const bool preserve_lettercase =
is_oracle_mode ? true : (case_mode != OB_LOWERCASE_AND_INSENSITIVE);
upper_db_table_name(case_mode, is_oracle_mode, database_name);
upper_db_table_name(case_mode, is_oracle_mode, table_name);
// 之后才做 check_and_convert_db_name / check_and_convert_table_name
}
}
三个设计点:
第一,格式校验”三错齐挡”。库名或表名为空、表名里还有第二个点,都判 OB_WRONG_TABLE_NAME,覆盖 'db.'、'.tbl'、'a.b.c' 三种手误。没有点则合法,库名留空交由 session 默认库补齐。
第二,preserve_lettercase 按模式分叉。Oracle 模式恒 true(双引号混合大小写必须原样保留);MySQL 模式只有 lower_case_table_names=1 才折叠,=0/2 保留原样,与服务端语义对齐。
第三,折叠必须在校验之前。先 upper_db_table_name 原地改大小写,再走 ObSQLUtils::check_and_convert_* 校验字符集与长度。反过来折叠会改变字节长度,校验就基于错误长度做了。
upper_db_table_name 刻意声明为 void 且就地修改(str_toupper 直写 ptr),把”入参必须可写”摆在明面上。本文件里它来自 split_on 切片指向 SQL 文本缓冲区;若有人传 const 字面量进来就会崩。
六、枚举翻译:先置哨兵再赋值
to_refresh_method 把 Oracle 的 method 单字符参数翻成枚举,兼容写法包括 'a'/'A'(all)、'c'/'C'(complete)→ COMPLETE,'f'/'F' → FAST,以及最特别的 '?' → FORCE(由优化器决定走快刷还是全刷)。'?' 这种非字母参数能进代码,纯粹是为了兼容 Oracle 用户 DBMS_MVIEW.REFRESH('mv','?') 的历史习惯。
两个翻译函数共享一个模式:出参先置 MAX 哨兵,再按分支赋值,未命中一律 OB_INVALID_ARGUMENT,让”非法输入”与”枚举值恰好为 0″区分开。to_collection_level 用 case_compare 而非 ==,因为 'none'/'None'/'NONE' 都该被接受。
七、refresh_id:连 MTL_SWITCH 都只是语法糖
refresh_id 是整条刷新链路的追踪号:__all_mview_refresh_stats 以它落统计、MDS 登记以它同步位点、嵌套 MV 以它校验依赖是否追平。它由 ObCommonIDUtils 生成,而生成器依赖租户内系统表与自增段缓存,必须在该租户的 MTL 上下文里跑。
MTL_SWITCH(tenant_id)
{
if (OB_FAIL(ObCommonIDUtils::gen_unique_id(tenant_id, unique_id))) { ... }
}
else
{
if (OB_FAIL(ObCommonIDUtils::gen_unique_id_by_rpc(tenant_id, unique_id))) { ... }
}
if (OB_SUCC(ret)) {
refresh_id = unique_id.id();
}
MTL_SWITCH 展开成 if/else 两支:一支表示”当前线程本来就在目标租户”,直接本地生成;另一支表示”不在”,于是把线程切到该租户上下文再生成,作用域结束自动切回。两分支最后归一取 unique_id.id(),调用方完全不用关心走的是哪条路径。
八、重试白名单:什么错值得再试一次
刷新重试循环里”这次失败要不要再试一次”的唯一裁决者。白名单分三类,判据统一是”故障瞬时、重试大概率能过”:
元信息过期类——OB_OLD_SCHEMA_VERSION、OB_SCHEMA_ERROR:表结构刚被改过,重试会拿到新 schema。
时序与负载类——OB_EAGAIN(稍后再试)、OB_INVALID_QUERY_TIMESTAMP(目标 SCN 还没到,数据未追平)、OB_TASK_EXPIRED(任务超时被回收)、OB_REPLICA_NOT_READABLE / OB_MAPPING_BETWEEN_TABLET_AND_LS_NOT_EXIST(副本或 tablet-LS 映射正在搬迁)。
拓扑变动类——is_master_changed_error(切主)、is_partition_change_error(分区分裂合并)、is_ddl_stmt_packet_retry_err(DDL 报文重试)。
反过来,SQL 语法错、权限不足、对象不存在这些”确定性错误”坚决不在表内——重试只会白烧 CPU。这张表的宽度决定系统在抖动中的存活率,严谨度决定它不会在死局上无限打转。
九、小结
222 行里没有一个算法,全是工程判断,留下三条经验:
1. 宽容与严格要按边界分工。列表切分宽容(空段跳过),表名解析严格(三错齐挡),版本门禁最硬(直接拒)。这不是风格,而是”错误信息该由谁给出”的分工。
2. 顺序即正确性。大小写折叠必须先于字符集校验,数值校验必须与赋值同时完成。is_valid_int64(out) 这类接口存在,就是为了让两步不可分离。
3. 面向用户的错误要显式打。LOG_WARN 给运维看,LOG_USER_ERROR 给用户看;版本不支持这类可预期拒绝缺了后者就是”静默失败”。
下一步可顺着命令层读 ob_mview_purge_log_executor.cpp(MLog 清理命令,这套工具的另一个使用者),看这些转换函数在真实 Executor 里的调用序列。