一次系统升级如何变成数据库事故
Percona 的这篇复盘讲了一件很容易被低估的事:宿主机上的一次 apt upgrade 或 dnf update,把 glibc 从旧版本推到新版本,数据库进程重启之后一切看起来正常,pg_stat_activity 干净,慢查询没有暴涨,但集群已经开始返回错误的结果。根因不在 PostgreSQL,而在 glibc 的 locale 实现。
排序规则决定了字符串在全序中的位置,而 B-tree 索引的物理结构就是按某个顺序排好的键值数组。当 libc 的比较函数变了,同一批数据在新规则下的顺序也变了,但磁盘上的索引仍然是按旧顺序排列的。PostgreSQL 只在 REINDEX 时才会用当前 libc 重新构建索引,升级 glibc 不会自动触发这个动作。于是索引与数据之间出现了顺序不一致,而这种不一致不报错、不写日志、不会让 pg_dump 失败,它只是让某些查询悄悄返回错误的结果。对运维来说,这是最难处理的一类故障:没有告警,只有业务侧的对账差异。
机制拆解:索引里存的是排序后的世界
要理解为什么一次库函数变更能击穿数据库,得先接受一个事实:B-tree 索引不是值的集合,而是值在某个全序下的位置。等值查找走的是从根到叶按比较结果二分,范围扫描走的是从起点沿叶子链顺序读,唯一约束走的是插入前查一次是否存在。这三件事全都依赖同一个比较函数。
当比较函数从 strcoll_v1 换成新实现,同一对字符串的大小关系可能翻转,尤其是带重音、带大小写折叠、带多字节字符的中文与德文数据。此时索引里的物理顺序与查询时使用的比较结果不匹配,二分可能走向错误的分支,于是“存在但查不到”“不存在却查到”“唯一键重复却不报错”同时出现。更隐蔽的是,ORDER BY 走索引时结果直接来自索引顺序,走显式排序时结果来自比较函数,两条路径给出不同答案,而优化器选哪条路径取决于成本估算与统计信息。
现状盘点:四条 SQL 摸清 collation 底账
排查的第一步不是修,而是记录。先把每个库的 collation 来源、每个 collation 的 provider 与版本、以及服务器本身对 locale 的支持情况固化下来,作为变更前后的对照基线。
-- 每个数据库的排序规则来源 SELECT datname, datcollate, datctype, datlocprovider FROM pg_database; -- 已注册的 collation 及其版本:collversion 是关键字段 SELECT collname, collprovider, collversion FROM pg_collation; -- 服务器版本 SELECT version(); -- 编译期 locale 相关配置 SELECT * FROM pg_config WHERE name LIKE '%COLLATE%';
collversion 是这里最重要的字段。glibc 会在排序规则实现变更时提升版本号,PostgreSQL 记录了建索引时使用的版本,却没有能力判断当前系统的版本是否还是这个版本。当 pg_collation.collversion 与系统实际版本不一致时,所有依赖该 collation 的索引都处于可疑状态。把这份输出保存成变更前的快照,升级后重新采集一次做 diff,是最省事的证据链,也是事后追责与回归验证的依据。
amcheck 校验:把静默损坏翻出来
amcheck 扩展能做的检查很具体:验证 B-tree 的内部一致性、键值顺序是否符合当前比较函数、父子页边界是否正确。它不会修复任何东西,但能把看起来正常的索引判定为不一致。
CREATE EXTENSION IF NOT EXISTS amcheck;
-- 单索引校验:第二个参数 true 表示同时检查 HOT 链的可修复性
SELECT bt_index_check('public.orders_code_idx'::regclass, true);
-- 更严格:校验父子页关系,会持有更重的锁,生产高峰不要跑
SELECT bt_index_parent_check('public.orders_code_idx'::regclass, true);
-- 列出所有有效 B-tree 索引,便于批量校验
SELECT c.relname AS index_name, t.relname AS table_name
FROM pg_index i
JOIN pg_class c ON c.oid = i.indexrelid
JOIN pg_class t ON t.oid = i.indrelid
JOIN pg_am am ON am.oid = c.relam
WHERE am.amname = 'btree' AND i.indisvalid;使用上有两个现实约束。第一,bt_index_parent_check 会对被检查的索引加 ShareLock 级别的锁,生产高峰不要跑;bt_index_check 轻一些,但仍会读大量页面,建议先在只读副本上跑一轮。第二,amcheck 只覆盖 B-tree,GIN、GiST、BRIN 的排序依赖较弱,但表达式索引里如果出现字符串比较,同样需要重建。把上一节 SQL 的输出喂给批量校验脚本,是升级后的标准动作。
十条失效路径:现象、检测与处置
下面十条是这类事故里最常见的表现形式,按从数据正确性到查询性能的顺序排列。每一条都可以用上一节的 SQL 组合检测,处置方式高度一致:重建索引。但在重建之前必须先确认业务写入已经被冻结,否则重建过程中新写入的键会再次落在错误的位置。
唯一索引失效:本应冲突的两行同时写入成功。检测用
SELECT k, count(*) FROM t GROUP BY k HAVING count(*) > 1;,处置是清理重复行后REINDEX INDEX CONCURRENTLY。等值查找漏行:
WHERE code = 'Müller'返回 0 行,但全表扫描能查到。用SET enable_indexscan = off对比同一查询的结果即可确认。范围扫描边界错位:
BETWEEN 'a' AND 'm'少返回或多返回边界值,通常发生在带重音或大小写折叠的区间。分页错乱:
ORDER BY name LIMIT 20 OFFSET 40出现重复行或跳行,因为索引顺序与排序顺序不一致。逻辑复制冲突:订阅端在 apply 唯一约束时反复报冲突并重试,
pg_stat_subscription的last_error_message持续增长。查询计划翻转:同一 SQL 在升级后从 Index Scan 变成 Seq Scan 或反之,
EXPLAIN (ANALYZE, BUFFERS)的估算行数与实际行数严重偏离。外键校验漏检:父表删除时未被正确拦截,或子表插入时本应失败却成功,取决于外键检查是否走索引。
分区边界比较异常:范围分区表在
FOR VALUES FROM ('A') TO ('M')上的裁剪出错,扫描了错误的分区。聚合去重结果错误:
COUNT(DISTINCT name)或GROUP BY name把本应合并的值拆成两组,报表数字对不上。物理备份恢复后不一致:把升级前的
pg_basebackup恢复到 glibc 已升级的实例,索引仍是旧顺序,问题原样复现;逻辑备份会重建索引,反而是安全的。
前四条影响正确性,必须立即处置;后六条影响性能与一致性,可以在窗口内一并修掉,但不能拖到下一次升级。
新旧排序对比抽样:只读环境下的取证
在没有维护窗口、只有只读权限的情况下,仍然可以判断影响面。思路是绕过索引强制走排序,再和走索引的结果做对比抽样。
-- 强制走索引路径(默认 collation)
SET enable_seqscan = off;
SELECT x FROM t WHERE x > 'A' ORDER BY x LIMIT 50;
-- 强制按字节序排序,作为对照而非修复
SELECT x FROM t ORDER BY x COLLATE "C" LIMIT 50;
-- 看两个值的相对大小在默认 collation 下是否反直觉
SELECT a, b, (a < b) AS lt_default
FROM (VALUES ('Müller','Muller'), ('ä','a'), ('ß','ss')) v(a,b);第三条在小样本上通常看不出差异,真正有效的是对业务表做抽样:取 ORDER BY x LIMIT 1000 与 ORDER BY x COLLATE "C" LIMIT 1000 的集合差异,差异比例超过千分之一,就说明该列受 libc 影响明显。需要强调,COLLATE "C" 只是对照手段,它按字节比较,与业务语义并不等价,不能当作修复方案直接上线。
升级窗口执行顺序与锁、磁盘预算
执行顺序比命令本身更重要,因为中途任何一步的写入都会让“重建”变成“重建后再错”。推荐顺序是:冻结写入(应用层只读或数据库设为只读)→ 逻辑备份或存储快照 → 升级 glibc 并重启实例 → 对所有 B-tree 索引执行 REINDEX → amcheck 校验 → 解除冻结 → 观察 pg_stat_user_indexes.idx_scan 与业务侧对账。
-- PostgreSQL 12 起支持并发重建整库,代价是更长时间与更多磁盘 REINDEX DATABASE CONCURRENTLY mydb; -- 单索引重建,适合先小范围验证 REINDEX INDEX CONCURRENTLY public.orders_code_idx; -- 重建后复核 SELECT relname, idx_scan, idx_tup_read FROM pg_stat_user_indexes ORDER BY idx_scan DESC LIMIT 20;
REINDEX 的代价必须提前算。非并发版本会对表加排他锁,期间写入全部阻塞;CONCURRENTLY 版本不阻塞写入,但要额外维护一份索引日志,并临时占用接近一个索引大小的磁盘空间,重建完成后才释放。一个 200 GB 的库如果有 300 GB 索引,就要预留 300 GB 以上的空闲空间,否则会在最后阶段因为磁盘满而失败,留下一个 invalid 索引。这正是那句话的另一面:改了 glibc 不 REINDEX 就等于留下静默损坏的索引,而重建本身也不是零风险,必须留出预算。
长期方案:把 collation 从 libc 手里拿回来
根本的解法是消除对系统 libc 的隐式依赖。PostgreSQL 10 之后支持 ICU provider,15 之后支持在 CREATE DATABASE 上显式指定 locale provider,把排序规则的定义收敛到数据库自身可控的版本上。
-- 用 ICU 定义中文排序,可在列级或索引级引用 CREATE COLLATION zh_hans (provider = icu, locale = 'zh-Hans'); -- 建库时显式指定 provider,避免落到系统 libc CREATE DATABASE app TEMPLATE template0 LOCALE_PROVIDER icu ICU_LOCALE 'zh-Hans' ENCODING 'UTF8'; -- 纯 ASCII 的编码、单号、哈希列,直接用字节序最稳 CREATE DATABASE ids TEMPLATE template0 LOCALE_PROVIDER c LOCALE 'C' ENCODING 'UTF8';
ICU 的版本同样会演进,但它的版本绑定在 PostgreSQL 二进制所链接的 ICU 库上,可以通过 pg_collation.collversion 明确追踪,升级路径也更可控。对于纯 ASCII 的编码、单号、哈希列,直接用 C provider 最稳,既没有 locale 依赖,比较也更快。把这些写进建库模板与变更评审清单,比每次事故之后再补 REINDEX 便宜得多。