日志组件容量规划

日志存储组件负责存储由日志采集组件从平台中的一个或多个集群上采集的日志、事件和审计数据。因此,您需要提前评估日志规模,并根据本文档中的指导规划日志存储组件所需的资源。

WARNING
  • 以下数据为在实验室条件下测试得到的标准数据,仅供您在规划资源时参考。您必须确保您实际规划的资源超过以下所描述的测试资源,并且日志规模不超过相应的日志规模。
  • 以下数据的磁盘配置为:6000 iops250MB/s 读写速率SSD 独立挂载。若您的实际存储资源低于测试资源,请参考更大规模的配置信息,并根据需要提供更多的CPU和内存资源。

目录

ElasticSearch

小规模 3 节点 - 日志总量:6300/s

组件副本数CPU限制内存限制
ElasticSearch32C4G
Kafka32C4G
Zookeeper32C4G
Lanaya22C4G
Razor21C2G

小规模 5 节点 - 日志总量:9900/s

组件副本数CPU限制内存限制
ElasticSearch52C4G
Kafka32C4G
Zookeeper32C4G
Lanaya22C4G
Razor21C2G

大规模 3+5 节点 - 日志总量:25000/s

组件副本数CPU限制内存限制
ElasticSearch - Master32C4G
ElasticSearch - Data58C16G
Kafka32C4G
Zookeeper32C4G
Lanaya22C4G
Razor21C2G

大规模 3+7 节点 - 日志总量:30000/s

组件副本数CPU限制内存限制
ElasticSearch - Master32C4G
ElasticSearch - Data78C16G
Kafka32C4G
Zookeeper32C4G
Lanaya22C4G
Razor21C2G

Clickhouse

单节点 - 日志总量:18000/s

组件副本数CPU限制内存限制备注
Clickhouse12C4G1副本1分片
Razor11C1G-
Vector12C4G-

三节点 - 日志总量:20000/s

组件副本数CPU限制内存限制备注
Clickhouse32C4G3副本1分片
Razor21C1G-
Vector22C4G-

六节点 - 日志总量:40000/s

组件副本数CPU限制内存限制备注
Clickhouse34C8G3副本2分片
Razor21C1G-
Vector24C8G-

九节点 - 日志总量:69000/s

组件副本数CPU限制内存限制备注
Clickhouse94C8G3副本3分片
Razor21C1G-
Vector24C8G-