日志组件选择指南

安装日志组件时,平台提供了两种日志存储组件供您选择:ElasticSearch 和 Clickhouse。本文将详细介绍这两种组件的特点及适用场景,帮助您做出最合适的选择。

WARNING
  • 集群日志存储组件安装时只能选择 ElasticSearch 或 Clickhouse 其中之一。
  • 任何集群的日志存储组件都可以被选用进行日志采集以对接存储数据。
  • 目前 DevOps 产品不支持使用 Clickhouse 归档 Jenkins pipeline 执行记录。如需使用 Jenkins pipeline 功能,请谨慎选择 ACP Log Storage with Clickhouse 插件。
  • 目前 ServiceMesh 产品不支持与 Clickhouse 集成。如需使用服务网格功能,请谨慎选择 ACP Log Storage with Clickhouse 插件。
  • 目前 ACP Log Storage with Clickhouse 插件不支持 IPv6 单栈或 IPv6 双栈工作负载集群。

目录

架构对比

ElasticSearch 架构

ElasticSearch 是基于 Lucene 构建的开源分布式搜索引擎,设计用于快速全文搜索和分析。其优势包括:

  • 高性能搜索:支持实时搜索,能够快速处理海量数据。
  • 灵活的查询能力:提供强大的查询 DSL,支持复杂查询需求。
  • 可扩展性:可根据需要轻松水平扩展,适用于各种规模的应用。
  • 多样化数据支持:能够处理结构化和非结构化数据,应用广泛。

Clickhouse 架构

Clickhouse 是一款高性能的列式数据库,专为在线分析处理(OLAP)设计。其优势包括:

  • 快速数据处理:通过列式存储和数据压缩支持快速查询和分析。
  • 实时分析:能够处理实时数据流,适合实时数据分析场景。
  • 高吞吐量:针对大规模数据写入和查询性能进行了优化,非常适合大数据场景。
  • 灵活的 SQL 支持:兼容标准 SQL,易于上手,降低使用门槛。

功能对比

ClickhouseElasticsearch说明
高可用性支持支持
可扩展性支持支持
查询体验较弱较强Elasticsearch 基于 Lucene 语言提供更强大的搜索能力,而 Clickhouse 仅支持 SQL 查询,限制了其搜索能力。
资源使用在相同性能需求下,Clickhouse 所需资源少于 Elasticsearch。例如,支持每秒 20,000 条日志时,Elasticsearch 需要 3 个 es-master 和 7 个 es-node(2c4g+8c16g),而 Clickhouse 仅需 3 个 2c4g 副本。
性能在相同资源条件下,Clickhouse 支持的日志量远超 Elasticsearch。
社区活跃度中等Elasticsearch 社区活跃且文档丰富,而 Clickhouse 社区正在成长和完善中。

选择建议

  • 如果您习惯使用 Elasticsearch 并且对 Lucene 语言依赖较高,建议继续使用 ACP Log Storage with ElasticSearch 插件。

  • 如果您依赖平台的 Jenkins pipeline 或服务网格功能,建议继续使用 ACP Log Storage with ElasticSearch 插件。

  • 如果您对日志组件的性能和资源消耗有较高要求,但对日志查询需求较为基础,建议选择使用 ACP Log Storage with Clickhouse 插件。