解决ES数据量过大导致的”Data too large“问题
对线上nginx日志监控，采用的Elasticsearch+Logstash+Grafand架构的模式，本来运行的很正常的，今天上去看的时候，监控图标出现了以下报错: 后查阅相关资料，启动es的时候忘记设置堆内存（ES_HEAP_SIZE）导致这种情况。es默认启动是指定堆内存为1G，在生产环境肯定是不能满足的。于是，对ES的堆内存进行重新指定，修改方式如下： 打开ES的配置文件目录，找到ES的内存配置文件，文件名如下： 打开jvm.optinons将原本默认的 -Xms1g 、-Xms1g两个参数的值进行修改（实际配置大小根据主机资源大小决定):
除此之外，还需要修改ES默认保存缓存的大小，方法为在 elasticsearch.yml 配置文件加上如下配置：
vim /etc/ elasticsearch/ elasticsearch.yml
# 避免发生OOM，发生OOM对集群影响很大的 indices.breaker.total.limit: 80% # 有了这个设置，最久未使用（LRU）的 fielddata 会被回收为新数据腾出空间 indices.fielddata.cache.size: 10% # fielddata 断路器默认设置堆的 作为 fielddata 大小的上限。 indices.breaker.fielddata.limit: 60% # request 断路器估算需要完成其他请求部分的结构大小，例如创建一个聚合桶，默认限制是堆内存 indices.breaker.request.limit: 60%
之后重启ES 执行清除缓存命令 curl -XPOST -u admin:Admin@123 ‘http://xxx:9200/elasticsearch/_cache/clear?fielddata=true’
然后重新查看granfa，发现问题得到解决
上一篇：
IDEA上Java项目控制台中文乱码