hudi实战-- hudi on flink 参数配置大全
简介
FlinkSQL读写hudi, 官方提供定义主键、写入方式、合并记录、启用/禁用异步压缩或选择要读取的查询类型等配置参数。可以根据业务类型合理的设置这些配置项,不仅可以提高Flink任务读写hudi的性能,还可以节约机器资源。本文将详细介绍hudi on flink 参数配置大全。
基本参数配置
1.path :表的基本路径。如果该路径不存在,则会创建该路径
是否必填:是
2.hoodie.table.name :表名
是否必填:是
3.table.type :写入的表的类型
是否必填:否
默认值:COPY_ON_WRITE
4.write.operation :写入类型
是否必填:否
默认值:upsert
5.write.tasks :写入任务的并行度,默认为 4
是否必填:否
默认值:4
6.write.bucket_assign.tasks : bucket assign 任务的并行度,默认为执行环境的并行度
是否必填:是
7.write.precombine &
上一篇:
JS实现多线程数据分片下载
下一篇:
python调用百度AI----文字识别