提升 Elasticsearch 索引性能 TOP 10 小技巧，你用到几个？

提升 Elasticsearch 索引性能 TOP 10 小技巧，你用到几个？

引用

CSDN

1.

https://m.blog.csdn.net/laoyang360/article/details/143788353

Elasticsearch是一个功能强大的搜索和分析引擎，能够快速存储、搜索和分析海量数据。在Elasticsearch的核心组件中，索引性能至关重要。索引（动词）过程负责将数据添加到Elasticsearch中，而索引性能的好坏直接影响到搜索查询的效率。本文将分享提升Elasticsearch索引性能的10个实用技巧，帮助大家更高效地使用Elasticsearch。

1. 选择合适的硬件

要提升Elasticsearch的索引性能，首先需要确保硬件配置到位。Elasticsearch对内存(RAM)、CPU和磁盘I/O的依赖性较高，因此选择合适的硬件至关重要。建议选择具备充足内存和CPU资源的服务器，并优先使用SSD磁盘以提高磁盘I/O性能，从而减少索引时间。

Elasticsearch官方文档强调：

• 搜索性能受存储和计算资源的影响较大。如果搜索受限于I/O，建议增大文件系统缓存或使用更快的存储设备（如SSD）；
• 若受限于CPU，则应使用更快的处理器。
• 相比远程存储，本地直连存储通常性能更佳，配置更简单，延迟更低。远程存储在高负载下性能可能较差，但经过优化后也能达到可接受的效果。
• 在确定存储架构前，应通过基准测试评估实际负载下的性能，并根据需要与供应商合作进行调优。

2. 使用Bulk API批量索引

Elasticsearch提供了一个Bulk API，允许在单次请求中索引多个文档。与一次索引一个文档相比，批量索引能显著提高性能，因为减少了网络往返的开销，提高了索引过程的效率。

Elasticsearch官方文档强调：

• 建议在单节点、单分片上进行基准测试，逐步增加批量请求的文档数量（100、200、400等）以找到最佳批量大小。

图示仅供参考递增批量值

• 当索引速度趋于平稳时，即为最佳值。
• 若数据量相近，宁可选择较小批次，以避免内存压力。
• 通常批量请求不宜超过几十MB，否则可能会对集群造成内存负担。

3. 在批量索引时禁用刷新

Elasticsearch默认每秒刷新索引一次，这意味着每次添加新文档后，索引会立即可搜索。然而，在批量索引时，这种行为会显著降低索引性能。在进行大量数据写入时，可以暂时禁用自动刷新，待批量索引完成后再启用。

# 禁用刷新
PUT /my_index/_settings
{
  "refresh_interval": "-1"
}
# 完成批量索引后重新启用
PUT /my_index/_settings
{
  "refresh_interval": "30s"
}

4. 调整刷新间隔

除了在批量索引时禁用刷新外，还可以通过增加默认的刷新间隔来提升索引性能。减少Elasticsearch每秒的刷新次数，可以降低系统的开销，从而提高索引速度。不过，需要注意的是，刷新间隔增加后，新添加的文档不会立即可见，因此在某些实时性要求较高的场景中需要谨慎调整。

正确做法建议：在数据加载阶段将refresh_interval设置为较高值，例如30s，完成后再恢复到默认值1s。

5. 优化文档设计

文档的设计对索引性能有很大影响。避免使用过于庞大和复杂的文档，尽量减少嵌套字段的使用，尤其是深层嵌套结构，因为它们会显著降低索引速度。

正确做法：

• 尽量减少文档大小（不要过大，比如：一本书导入一个文档），避免过多的嵌套。
• 仅保留必要的字段，避免存储多余信息。

6. 减少索引的字段数量

过多的字段会显著增加索引的时间，因为Elasticsearch需要对每个字段进行分析和映射。仅索引需要用于搜索的字段，其余字段可以设置为index:false。

PUT /my_index
{
  "mappings": {
    "properties": {
      "description": { "type": "text" },
      "comments": { "type": "text", "index": false } # 不需要搜索的字段
    }
  }
}

正确做法建议：减少不必要的字段，仅对需要搜索和聚合的字段进行索引。

7. 优化磁盘性能

Elasticsearch的主分片数据会写入节点的文件系统，因此磁盘速度对索引性能有重要影响。选择速度快、容量大的磁盘，如SSD，可以显著提升索引效率。——多么正确的废话！但是很多咨询的球友企业不提供硬件支撑，在机械磁盘做再足优化也无济于事。

图示仅为方便大家直观认知

正确做法建议：尽量使用NVMe SSD，尤其是在处理大量日志或时间序列数据时。

8. 索引生命周期ILM管理

当一个索引过大时，管理起来会变得困难，导致搜索和索引性能下降。可以考虑将索引分为每日或每周的索引，这在处理时间序列数据（如日志事件）时尤其有用。

正确做法：

对于日志数据，使用按日期滚动的索引，如

logs-2024-11-01、
logs-2024-11-02。

定期删除过期的索引以释放存储空间。

9. 防止映射爆炸

如果使用动态映射，可能会导致字段数量过多，从而引发映射爆炸的问题。建议定义显式映射来控制字段数量，避免自动检测新字段。

PUT /my_index
{
  "mappings": {
    "dynamic": "strict", # 禁止自动添加字段
    "properties": {
      "user": { "type": "keyword" },
      "message": { "type": "text" }
    }
  }
}

正确做法：使用dynamic:strict控制自动映射。定期清理不再使用的字段。

10. 优化Translog性能

在Elasticsearch 8.x中，调整translog（事务日志）设置可以提高性能和数据持久性。主要设置包括：translog的持久性（index.translog.durability）、同步间隔（index.translog.sync_interval）、刷新阈值大小（index.translog.flush_threshold_size）。通过合理配置这些参数，可以在保证数据安全的同时，优化系统性能。

以下是优化Elasticsearch 8.x中Translog性能的推荐配置：

小结

Elasticsearch是处理大规模数据的必备工具，但要充分发挥其性能，必须优化索引过程。通过遵循上述10个技巧，你可以显著提升Elasticsearch的索引效率，从而提高搜索和分析的能力。呼吁大家重视Elasticsearch索引性能的优化，避免常见的误区，以更好地发挥搜索引擎的优势。希望这篇文章能帮助大家在实际项目中取得更好的搜索性能！