日志组件容量规划
日志存储组件负责存储由日志采集组件从平台中的一个或多个集群上采集的日志、事件和审计数据。因此,您需要提前评估日志规模,并根据本文档中的指导规划日志存储组件所需的资源。
WARNING
- 以下数据为在实验室条件下测试得到的标准数据,仅供您在规划资源时参考。您必须确保您实际规划的资源超过以下所描述的测试资源,并且日志规模不超过相应的日志规模。
- 以下数据的磁盘配置为:
6000 iops
、250MB/s 读写速率
、SSD 独立挂载
。若您的实际存储资源低于测试资源,请参考更大规模的配置信息,并根据需要提供更多的CPU和内存资源。
目录
ElasticSearch
小规模 3 节点 - 日志总量:6300/s
组件 | 副本数 | CPU限制 | 内存限制 |
---|
ElasticSearch | 3 | 2C | 4G |
Kafka | 3 | 2C | 4G |
Zookeeper | 3 | 2C | 4G |
Lanaya | 2 | 2C | 4G |
Razor | 2 | 1C | 2G |
小规模 5 节点 - 日志总量:9900/s
组件 | 副本数 | CPU限制 | 内存限制 |
---|
ElasticSearch | 5 | 2C | 4G |
Kafka | 3 | 2C | 4G |
Zookeeper | 3 | 2C | 4G |
Lanaya | 2 | 2C | 4G |
Razor | 2 | 1C | 2G |
大规模 3+5 节点 - 日志总量:25000/s
组件 | 副本数 | CPU限制 | 内存限制 |
---|
ElasticSearch - Master | 3 | 2C | 4G |
ElasticSearch - Data | 5 | 8C | 16G |
Kafka | 3 | 2C | 4G |
Zookeeper | 3 | 2C | 4G |
Lanaya | 2 | 2C | 4G |
Razor | 2 | 1C | 2G |
大规模 3+7 节点 - 日志总量:30000/s
组件 | 副本数 | CPU限制 | 内存限制 |
---|
ElasticSearch - Master | 3 | 2C | 4G |
ElasticSearch - Data | 7 | 8C | 16G |
Kafka | 3 | 2C | 4G |
Zookeeper | 3 | 2C | 4G |
Lanaya | 2 | 2C | 4G |
Razor | 2 | 1C | 2G |
Clickhouse
单节点 - 日志总量:18000/s
组件 | 副本数 | CPU限制 | 内存限制 | 备注 |
---|
Clickhouse | 1 | 2C | 4G | 1副本1分片 |
Razor | 1 | 1C | 1G | - |
Vector | 1 | 2C | 4G | - |
三节点 - 日志总量:20000/s
组件 | 副本数 | CPU限制 | 内存限制 | 备注 |
---|
Clickhouse | 3 | 2C | 4G | 3副本1分片 |
Razor | 2 | 1C | 1G | - |
Vector | 2 | 2C | 4G | - |
六节点 - 日志总量:40000/s
组件 | 副本数 | CPU限制 | 内存限制 | 备注 |
---|
Clickhouse | 3 | 4C | 8G | 3副本2分片 |
Razor | 2 | 1C | 1G | - |
Vector | 2 | 4C | 8G | - |
九节点 - 日志总量:69000/s
组件 | 副本数 | CPU限制 | 内存限制 | 备注 |
---|
Clickhouse | 9 | 4C | 8G | 3副本3分片 |
Razor | 2 | 1C | 1G | - |
Vector | 2 | 4C | 8G | - |