OceanBase 列存中多列过滤性能解析

发布于:2024-06-24 ⋅ 阅读:(16) ⋅ 点赞:(0)

今天有同事问我,列存大宽表场景下,如果在多个列上有等值过滤条件,OceanBase 的性能是不是无法满足要求?

Hi 晓楚,帮评估个OTS替换场景 大概1亿大宽表,查询姿势就是任意字段的组合,进行等值查询+group by/sum这些聚合操作,业务模型大概是这样1亿表,过滤性最强的字段会扫50万左右数据,单SQL OTS现在不超过300毫秒,这个场景能搞定不?主要也要求OB几百毫秒,我还有个疑问,这种场景是不是没有索引合并的能力耗时很难满足业务要求呢?
.
典型 SQL 如下:
200+字段的大宽表,sql大概就是 select sum(xx),count(*) from tb where a = ? and b = ? and c = ? group by d / order by d limit 20 类似这种

答案是:OceanBase 可以轻松搞定这种场景!

OceanBase 列存表是如何处理 a = ? and b = ? and c = ? 这种多个等值条件的扫描呢?

按照一般的思路,我们会将这三个表达式下压到存储层。存储层需要先按照 a = ? 扫描出所有结果行,得到第一组rowid,然后按照 b = ? 扫描出所有结果行,得到第二组rowid,最后按照 c = ? 扫描出所有结果行,得到第三组rowid,然后把这三组 rowid 求交集,得到最终结果。

这个思路并没有什么问题,在最坏的情况下我们就是这么做的。因为只需要扫描三列,一般是可以做得非常快的。1亿行,百毫秒级绰绰有余。

但实际上,OceanBase 存储层做了更多优化。比如,首先做 a = ? 扫描的时候,就可以快速知道哪些微块上根本没有满足条件的数据,那么在处理 b = ?c = ? 时就可以快速跳过这样的微块。

再比如,在先计算哪个条件的选择上,可以选择过滤性最好的条件先做,这样就可以跳过更多的微块。

还比如,过滤性不确定的情况下,还可以动态地选择三个表达式中的一个来做,做一段时间发现过滤性不好,就换另一个表达式。这样动态切换,可以让计算过程具备更好的自适应能力。

对于 OceanBase 来说, a = ? and b = ? and c = ? 是最好处理的场景了,实际场景可以比这个复杂得多,比如还有 or 条件的时候应该怎么处理?这些 OceanBase 都有相应的优化策略。

基于存储层的这些优化,我们在 5000万行的数据集下做了一些简单测试,结果如下:

在这里插入图片描述

可以看到,在两个过滤条件的场景下,5000万行的表,只需要 50 毫秒即可过滤出结果。由此推算,1亿行的场景,也一定可以满足客户对延迟的需求。