日志组件容量规划

日志存储组件负责存储由日志采集组件从平台中一个或多个集群收集的日志、事件和审计数据。因此,您需要提前评估您的日志规模,并根据本文档中的指导规划日志存储组件所需的资源。

WARNING
  • 以下数据为实验室条件下测试得到的标准数据,供您在规划资源时参考。您必须确保实际规划的资源超过下述测试资源,且日志规模不超过对应的日志规模。
  • 以下数据的磁盘配置为:6000 iops250MB/s 读写速度SSD 独立挂载。如果您的实际存储资源低于测试资源,请参考更大规模的配置信息,并根据需要提供更多的 CPU 和内存资源。

目录

ElasticSearch

小规模 3 节点 - 总日志量:6300/s

组件副本数CPU 限制内存限制
ElasticSearch32C4G
Kafka32C4G
Zookeeper32C4G
Lanaya22C4G
Razor21C2G

小规模 5 节点 - 总日志量:9900/s

组件副本数CPU 限制内存限制
ElasticSearch52C4G
Kafka32C4G
Zookeeper32C4G
Lanaya22C4G
Razor21C2G

大规模 3+5 节点 - 总日志量:25000/s

组件副本数CPU 限制内存限制
ElasticSearch - Master32C4G
ElasticSearch - Data58C16G
Kafka32C4G
Zookeeper32C4G
Lanaya22C4G
Razor21C2G

大规模 3+7 节点 - 总日志量:30000/s

组件副本数CPU 限制内存限制
ElasticSearch - Master32C4G
ElasticSearch - Data78C16G
Kafka32C4G
Zookeeper32C4G
Lanaya22C4G
Razor21C2G

Clickhouse

单节点 - 总日志量:18000/s

组件副本数CPU 限制内存限制备注
Clickhouse12C4G1 副本 1 分片
Razor11C1G-
Vector12C4G-

三节点 - 总日志量:20000/s

组件副本数CPU 限制内存限制备注
Clickhouse32C4G3 副本 1 分片
Razor21C1G-
Vector22C4G-

六节点 - 总日志量:40000/s

组件副本数CPU 限制内存限制备注
Clickhouse34C8G3 副本 2 分片
Razor21C1G-
Vector24C8G-

九节点 - 总日志量:69000/s

组件副本数CPU 限制内存限制备注
Clickhouse94C8G3 副本 3 分片
Razor21C1G-
Vector24C8G-