• Русский
  • Планирование ёмкости компонента логирования

    Компонент хранения логов отвечает за сохранение логов, событий и данных аудита, собираемых компонентом сбора логов с одного или нескольких кластеров на платформе. Поэтому необходимо заранее оценить масштаб ваших логов и спланировать ресурсы, необходимые для компонента хранения логов, согласно рекомендациям в этом документе.

    WARNING
    • Представленные ниже данные являются стандартными показателями, полученными в ходе тестов, проведённых в лабораторных условиях, и предназначены для вашего ориентирования при планировании ресурсов. Вы должны обеспечить, чтобы фактически запланированные ресурсы превышали ресурсы, описанные в тестах, а масштаб логов не превышал соответствующий масштаб.
    • Конфигурация диска для приведённых данных: 6000 iops, 250MB/s скорость чтения и записи, SSD с независимым монтированием. Если ваши фактические ресурсы хранения слабее тестовых, пожалуйста, ориентируйтесь на информацию о конфигурациях для больших масштабов и при необходимости выделяйте больше CPU и памяти.

    Elasticsearch

    Малый масштаб 3 узла - Всего логов: 6300/с

    КомпонентРепликиЛимит CPUЛимит памяти
    Elasticsearch32C4G
    Kafka32C4G
    Zookeeper32C4G
    Lanaya22C4G
    Razor21C2G

    Малый масштаб 5 узлов - Всего логов: 9900/с

    КомпонентРепликиЛимит CPUЛимит памяти
    Elasticsearch52C4G
    Kafka32C4G
    Zookeeper32C4G
    Lanaya22C4G
    Razor21C2G

    Большой масштаб 3+5 узлов - Всего логов: 25000/с

    КомпонентРепликиЛимит CPUЛимит памяти
    Elasticsearch - Master32C4G
    Elasticsearch - Data58C16G
    Kafka32C4G
    Zookeeper32C4G
    Lanaya22C4G
    Razor21C2G

    Большой масштаб 3+7 узлов - Всего логов: 30000/с

    КомпонентРепликиЛимит CPUЛимит памяти
    Elasticsearch - Master32C4G
    Elasticsearch - Data78C16G
    Kafka32C4G
    Zookeeper32C4G
    Lanaya22C4G
    Razor21C2G

    ClickHouse

    Один узел - Всего логов: 18000/с

    КомпонентРепликиЛимит CPUЛимит памятиПримечания
    ClickHouse12C4G1 реплика 1 шард
    Razor11C1G-
    Vector12C4G-

    Три узла - Всего логов: 20000/с

    КомпонентРепликиЛимит CPUЛимит памятиПримечания
    ClickHouse32C4G3 реплики 1 шард
    Razor21C1G-
    Vector22C4G-

    Шесть узлов - Всего логов: 40000/с

    КомпонентРепликиЛимит CPUЛимит памятиПримечания
    ClickHouse34C8G3 реплики 2 шарда
    Razor21C1G-
    Vector24C8G-

    Девять узлов - Всего логов: 69000/с

    КомпонентРепликиЛимит CPUЛимит памятиПримечания
    ClickHouse94C8G3 реплики 3 шарда
    Razor21C1G-
    Vector24C8G-