ElasticSearch 索引设计的一个案例

同的一份数据,如下,我们可以设计两种存储方式:

方式一:

在es中存储为一个索引
{
          
   
    "skuId": 1,
    "spuId": 11,
    "skuTitle": "华为xxx手机",
    "price": 888, 
    "saleCount": 99,
    "attrs": [
        {
          
   "size": "5英寸"},
        {
          
   "cpu": "高通945"},
    ]
}

方式二:

在es中存储为两个索引
{
          
   
    "skuId": "1",
    "spuId": "11",
    "skuTitle": "华为xxx手机",
    "price": 888, 
    "saleCount": 99,
}

{
          
   
    "spuId": 11,
    "attrs": [
        {
          
   "size": "5英寸"},
        {
          
   "cpu": "高通945"},
    ]
}

分析方式一存储和方式二存储的优劣:

方式一,当有1000万数据的时候,假如每条数据 attr 字段,占1kb空间。那么总共会占用 1000万 * 1KB = 10GB。冗余存储需要多占用10GB的内存空间。

方式二存储比方式一节省10GB的存储空间。但是想象一个场景。我们搜索skuTitle字段中包含“手机”的记录。假如搜索出1000万数据,而这1000万数据中,假如有2000不同的spu,首先需要网络传输这2000个不同的spu去关联 attrs索引。若只传输这2000个spu,若spu以long存储,那么一次网络请求,传输2000spu需要多传输 2000 * 8byte = 16kb数据。如现在系统有10000并发,那么需要同时网络多传输的数据是 16kb * 10000 = 160MB数据,而网络传输数据是与网络并发数呈线性关系的。

方式一是一种以空间换时间的方式,虽然数据有冗余,但是响应时间会根块。而方式二节省了空间,但是响应时间会更慢一些。

经验分享 程序员 微信小程序 职场和发展