数据中台Citus集群压测报告
测试用例: 测试数据信息概况: 集群按照日期字段(Date_Id)进行数据分布,两者都是分区表,按照日期字段(Date_Id)按月分区。 结论:大表扫描(18 亿),单机 7~28 分钟,集群 26~59 秒 记录数据统计: 1、单机data_platform 单机,运行结果:
nF_AGG_STOCK nF_V_MONTHLY_STOCK 2、集群_db,运行结果:
nF_AGG_STOCK nF_V_MONTHLY_STOCK 数据关联查询:
结论:2 个大表关联(18 亿 和 8 千 3 百万),单机:4 小时到 7 小时,集群:8 分钟到 11 分钟
单机data_platform 单机,运行结果:
nF_AGG_STOCK nF_V_MONTHLY_STOCK 集群_db,运行结果:
nF_AGG_STOCKnF_V_MONTHLY_STOCK 数据关联查询:按照日期聚合 结论:2 个大表(按日期)关联(18 亿 和 8 千 3 百万),单机:6 小时到 7 小时,集群:12 分钟到 17 分钟
单机data_platform 单机,运行结果:
nF_AGG_STOCK nF_V_MONTHLY_STOCK 集群_db,运行结果: nF_AGG_STOCK nF_V_MONTHLY_STOCK 数据关联查询:按照经营渠道聚合 结论:2 个大表(按经营渠道)关联(18 亿 和 8 千 3 百万),单机:5 小时到 5 小时,集群:12 分钟到 17 分钟 单机data_platform 单机,运行结果: nF_AGG_STOCKnF_V_MONTHLY_STOCK 集群_db,运行结果: nF_AGG_STOCK nF_V_MONTHLY_STOCK 数据更新处理:
结论:单个大表(18亿),更新2百7万,单机:平均1分23秒,集群52秒;更新2前7万,平均9分43秒,集群:2分41秒;更新5千9万,平均23分53秒,集群:4分27秒; 单机data_platform 单机,运行结果: nF_AGG_STOCK:2022-08-31(更新) nF_AGG_STOCK:2022-08-31(修复) nF_AGG_STOCK:9 月份(更新) nF_AGG_STOCK: 9 月份(修复) nF_AGG_STOCK: 8 月份(更新) nF_AGG_STOCK: 8 月份(修复) 集群_db,运行结果:
nF_AGG_STOCK:2022-08-31(更新) nF_AGG_STOCK:2022-08-31(修复) nF_AGG_STOCK:9 月份(更新) nF_AGG_STOCK: 9 月份(修复) nF_AGG_STOCK: 8 月份(更新,加载 2 百 7 万,单机:平均 6 分 37 秒,集群:1 分 16 秒; 加载 6 千万左右,平均 14 分 30 秒,集群:2 分 8 秒;
单机data_platform 单机,运行结果:
nF_AGG_STOCK_VERIFY:2022 年 9 月份 nF_AGG_STOCK_VERIFY:2022 年 8 月份 nF_AGG_STOCK_VERIFY:2022 年 7 月份 nF_AGG_STOCK_VERIFY:2022 年 6 月份 nF_AGG_STOCK_VERIFY:2022 年 5 月份 /635aa53c9a5d46da922a6abe0a50dde7.jpeg nF_AGG_STOCK_VERIFY:2022 年 4 月份 集群_db 运行结果:
nF_AGG_STOCK_VERIFY:2022 年 9 月 nF_AGG_STOCK_VERIFY:2022 年 8 月份 nF_AGG_STOCK_VERIFY:2022 年 7 月份 nF_AGG_STOCK_VERIFY:2022 年 6 月份 nF_AGG_STOCK_VERIFY:2022 年 5 月份 /ba94d93572324ade80033c3591f24d7f.jpeg nF_AGG_STOCK_VERIFY:2022 年 4 月份 单机data_platform 单机,运行结果:
nF_AGG_STOCK_VERIFY:2022 年 3 月份 nF_AGG_STOCK_VERIFY:2022 年 2 月份 nF_AGG_STOCK_VERIFY:2022 年 1 月份 集群_db 运行结果:
nF_AGG_STOCK_VERIFY:2022 年 3 月份 nF_AGG_STOCK_VERIFY:2022 年 2 月份 nF_AGG_STOCK_VERIFY:2022 年 1 月份