文件存储机制

1、Topic数据的存储机制

topic是逻辑上的概念，而partition是物理上的概念，每个partition对应一个log文件，该log文件中存储就是Producer生产的数据。Producer生产的数据会不断追加到该log文件末端，为防止log文件过大导致数据定位效率低下，Kafka采取可分片和索引机制，将每个partitioner分为多个segment，每个segment包括：“.index"文件、”.log"文件和timeindex等文件，这些文件位于一个文件夹夏，该文件夹的命名规则为：topic名称+分区序号，例如：first-0 1、一个topic分为多个partition 2、一个partion分为多个seagment 3、.log日志文件 4、.index 偏移索引文件 4、 .timeindex事件索引文件 其他文件 说明：index和log文件时以当前segment的第一条信息的offset命名

2、思考：Topic 数据到底存储在什么位置？

存在data文件夹下，这里我是在我的安装路径下

cat  cat 00000000000000000000.log

乱码 需要使用工具查看index和log等信息

kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.index

3、index 文件和 log 文件详解

1、根据目标offset定位Segment文件 2、找到小于等于目标offset的最大offset对应的索引项 3、定位到log文件 4、向下遍历找到目标Record 注意： 1、index为稀疏索引，大约每往log文件写入4kb数据，会往index文件写入一条索引。 2、index文件中保存的offset相对offset,这样能确保offset的值所占空间不会过大，因此能将offset的值控制固定大小

4、 文件清理策略

Kafka中默认的日志保存事件为7天，可以通过调整如下参数修改保存时间 log.retention.hours，最低优先级小时，默认7天 log.retention.minutes，分钟 log.retention.ms，最高优先级毫秒 log.retention.check.interval.ms，负责设置检查周期，默认5分钟 那么日志一旦超过了设置时间，怎么处理呢？ Kafka中提供的日志清理策略有delete和compact两种 1）delete日志删除：将过期数据删除 log.cleanup.policy = delete所有数据启用删除策略 基于时间：默认打开。以segment中所有记录中的最大时间戳作为该文件时间戳 基于大小：默认关闭，超过设置所有日志总大小，删除最早的segment，log.retention.bytes，默认等 于-1，表示无穷大。 如果一个 segment 中有一部分数据过期，一部分没有过期，怎么处理？ 2)compact日志压缩 compact日志压缩：对于相同key不同的valu值，值保留最后一个版本 log.cleanup.policy = compact 所 所以有数据启用压缩策略 压缩后的offset是不连续的，比如上图中没有6，当从这些offset消息消息时，将会拿到比这个offset大的offset对应消息，实际上会拿到offset为7的消息，从这个位置开始消费 这种策略只适合特殊场景，比如消息的key是用户ID,value是用户的资料，通过这种压缩策略，整个消息集里面保存了所有用户最新资料