大数据基础-数据存储组件介绍
目标
分类
-
WOS（Write Optimized Store） 采⽤用 kudu 表⽀持实时导⼊ ROS（Read Optimized Store） 采⽤ Parquet 列式存储，采用合理的分区和文件⼤小，最⼤化的减少扫描的数据量
- 列式存储
- 行式存储
- 常见存储格式
TextFile
-
按列存储 按时间分区 局部排序 问题：只⽀支持批量量写⼊入，⽆无法追加，无法实现实时写⼊
- 典型开源应用
- kudu: 面向实时分析的存储引擎
-
底层使⽤用类似 Parquet 的存储结构 ⽀支持实时写⼊入、实时更更新及随机查询 扫描性能⽐比 Parquet 略略差
- Hive支持的格式
STORED AS (TextFile|RCFile|SequenceFile|AVRO|ORC|Parquet)
- Impala支持的格式
- HBase支持的格式
-应用场景
-实时数据平台
同时使⽤两种存储格式 • Kudu 存储实时数据、Parquet 存储历史数据 • 定时进行数据转储 Kudu -> Parquet • 使⽤视图进⾏无缝融合，对查询层完全透明。 实时查询模块设计 MPP类型查询引擎：
上一篇：
JS实现多线程数据分片下载