日志组件容量规划
日志存储组件负责存储由日志采集组件从平台中一个或多个集群收集的日志、事件和审计数据。因此,您需要提前评估您的日志规模,并根据本文档中的指导规划日志存储组件所需的资源。
WARNING
- 以下数据为实验室条件下测试得到的标准数据,供您在规划资源时参考。您必须确保实际规划的资源超过下述测试资源,且日志规模不超过对应的日志规模。
- 以下数据的磁盘配置为:
6000 iops
,250MB/s 读写速度
,SSD 独立挂载
。如果您的实际存储资源低于测试资源,请参考更大规模的配置信息,并根据需要提供更多的 CPU 和内存资源。
目录
ElasticSearch
小规模 3 节点 - 总日志量:6300/s
组件 | 副本数 | CPU 限制 | 内存限制 |
---|
ElasticSearch | 3 | 2C | 4G |
Kafka | 3 | 2C | 4G |
Zookeeper | 3 | 2C | 4G |
Lanaya | 2 | 2C | 4G |
Razor | 2 | 1C | 2G |
小规模 5 节点 - 总日志量:9900/s
组件 | 副本数 | CPU 限制 | 内存限制 |
---|
ElasticSearch | 5 | 2C | 4G |
Kafka | 3 | 2C | 4G |
Zookeeper | 3 | 2C | 4G |
Lanaya | 2 | 2C | 4G |
Razor | 2 | 1C | 2G |
大规模 3+5 节点 - 总日志量:25000/s
组件 | 副本数 | CPU 限制 | 内存限制 |
---|
ElasticSearch - Master | 3 | 2C | 4G |
ElasticSearch - Data | 5 | 8C | 16G |
Kafka | 3 | 2C | 4G |
Zookeeper | 3 | 2C | 4G |
Lanaya | 2 | 2C | 4G |
Razor | 2 | 1C | 2G |
大规模 3+7 节点 - 总日志量:30000/s
组件 | 副本数 | CPU 限制 | 内存限制 |
---|
ElasticSearch - Master | 3 | 2C | 4G |
ElasticSearch - Data | 7 | 8C | 16G |
Kafka | 3 | 2C | 4G |
Zookeeper | 3 | 2C | 4G |
Lanaya | 2 | 2C | 4G |
Razor | 2 | 1C | 2G |
Clickhouse
单节点 - 总日志量:18000/s
组件 | 副本数 | CPU 限制 | 内存限制 | 备注 |
---|
Clickhouse | 1 | 2C | 4G | 1 副本 1 分片 |
Razor | 1 | 1C | 1G | - |
Vector | 1 | 2C | 4G | - |
三节点 - 总日志量:20000/s
组件 | 副本数 | CPU 限制 | 内存限制 | 备注 |
---|
Clickhouse | 3 | 2C | 4G | 3 副本 1 分片 |
Razor | 2 | 1C | 1G | - |
Vector | 2 | 2C | 4G | - |
六节点 - 总日志量:40000/s
组件 | 副本数 | CPU 限制 | 内存限制 | 备注 |
---|
Clickhouse | 3 | 4C | 8G | 3 副本 2 分片 |
Razor | 2 | 1C | 1G | - |
Vector | 2 | 4C | 8G | - |
九节点 - 总日志量:69000/s
组件 | 副本数 | CPU 限制 | 内存限制 | 备注 |
---|
Clickhouse | 9 | 4C | 8G | 3 副本 3 分片 |
Razor | 2 | 1C | 1G | - |
Vector | 2 | 4C | 8G | - |