Планирование ёмкости компонента логирования
Компонент хранения логов отвечает за сохранение логов, событий и данных аудита, собираемых компонентом сбора логов с одного или нескольких кластеров на платформе. Поэтому необходимо заранее оценить масштаб ваших логов и спланировать ресурсы, необходимые для компонента хранения логов, согласно рекомендациям в этом документе.
WARNING
- Представленные ниже данные являются стандартными показателями, полученными в ходе тестов, проведённых в лабораторных условиях, и предназначены для вашего ориентирования при планировании ресурсов. Вы должны обеспечить, чтобы фактически планируемые ресурсы превышали ресурсы, описанные в тестах, а масштаб логов не превышал соответствующий масштаб.
- Конфигурация диска для приведённых данных:
6000 iops, 250MB/s скорость чтения и записи, SSD с независимым монтированием. Если ваши фактические ресурсы хранения слабее тестовых, пожалуйста, ориентируйтесь на информацию о конфигурации для более крупного масштаба и при необходимости выделяйте больше CPU и памяти.
Содержание
ElasticSearch
Малый масштаб 3 узла - Всего логов: 6300/с
| Компонент | Реплики | Лимит CPU | Лимит памяти |
|---|
| ElasticSearch | 3 | 2C | 4G |
| Kafka | 3 | 2C | 4G |
| Zookeeper | 3 | 2C | 4G |
| Lanaya | 2 | 2C | 4G |
| Razor | 2 | 1C | 2G |
Малый масштаб 5 узлов - Всего логов: 9900/с
| Компонент | Реплики | Лимит CPU | Лимит памяти |
|---|
| ElasticSearch | 5 | 2C | 4G |
| Kafka | 3 | 2C | 4G |
| Zookeeper | 3 | 2C | 4G |
| Lanaya | 2 | 2C | 4G |
| Razor | 2 | 1C | 2G |
Крупный масштаб 3+5 узлов - Всего логов: 25000/с
| Компонент | Реплики | Лимит CPU | Лимит памяти |
|---|
| ElasticSearch - Master | 3 | 2C | 4G |
| ElasticSearch - Data | 5 | 8C | 16G |
| Kafka | 3 | 2C | 4G |
| Zookeeper | 3 | 2C | 4G |
| Lanaya | 2 | 2C | 4G |
| Razor | 2 | 1C | 2G |
Крупный масштаб 3+7 узлов - Всего логов: 30000/с
| Компонент | Реплики | Лимит CPU | Лимит памяти |
|---|
| ElasticSearch - Master | 3 | 2C | 4G |
| ElasticSearch - Data | 7 | 8C | 16G |
| Kafka | 3 | 2C | 4G |
| Zookeeper | 3 | 2C | 4G |
| Lanaya | 2 | 2C | 4G |
| Razor | 2 | 1C | 2G |
Clickhouse
Один узел - Всего логов: 18000/с
| Компонент | Реплики | Лимит CPU | Лимит памяти | Примечания |
|---|
| Clickhouse | 1 | 2C | 4G | 1 реплика 1 шард |
| Razor | 1 | 1C | 1G | - |
| Vector | 1 | 2C | 4G | - |
Три узла - Всего логов: 20000/с
| Компонент | Реплики | Лимит CPU | Лимит памяти | Примечания |
|---|
| Clickhouse | 3 | 2C | 4G | 3 реплики 1 шард |
| Razor | 2 | 1C | 1G | - |
| Vector | 2 | 2C | 4G | - |
Шесть узлов - Всего логов: 40000/с
| Компонент | Реплики | Лимит CPU | Лимит памяти | Примечания |
|---|
| Clickhouse | 3 | 4C | 8G | 3 реплики 2 шарда |
| Razor | 2 | 1C | 1G | - |
| Vector | 2 | 4C | 8G | - |
Девять узлов - Всего логов: 69000/с
| Компонент | Реплики | Лимит CPU | Лимит памяти | Примечания |
|---|
| Clickhouse | 9 | 4C | 8G | 3 реплики 3 шарда |
| Razor | 2 | 1C | 1G | - |
| Vector | 2 | 4C | 8G | - |
