• Русский
  • Планирование ёмкости компонента логирования

    Компонент хранения логов отвечает за сохранение логов, событий и данных аудита, собранных компонентом сбора логов с одного или нескольких кластеров на платформе. Поэтому необходимо заранее оценить масштаб ваших логов и спланировать ресурсы, необходимые для компонента хранения логов, согласно рекомендациям, приведённым в этом документе.

    WARNING
    • Представленные ниже данные являются стандартными показателями, полученными в ходе тестов, проведённых в лабораторных условиях, и предназначены для справки при планировании ресурсов. Вы должны обеспечить, чтобы фактически запланированные ресурсы превышали описанные ниже тестовые ресурсы, а масштаб логов не превышал соответствующий масштаб.
    • Конфигурация диска для приведённых данных: 6000 iops, 250MB/s скорость чтения и записи, SSD с независимым монтированием. Если ваши фактические ресурсы хранения слабее тестовых, пожалуйста, ориентируйтесь на информацию о конфигурациях для больших масштабов и при необходимости выделяйте больше ресурсов CPU и памяти.

    Содержание

    ElasticSearch

    Малый масштаб 3 узла - Всего логов: 6300/с

    КомпонентРепликиЛимит CPUЛимит памяти
    ElasticSearch32C4G
    Kafka32C4G
    Zookeeper32C4G
    Lanaya22C4G
    Razor21C2G

    Малый масштаб 5 узлов - Всего логов: 9900/с

    КомпонентРепликиЛимит CPUЛимит памяти
    ElasticSearch52C4G
    Kafka32C4G
    Zookeeper32C4G
    Lanaya22C4G
    Razor21C2G

    Большой масштаб 3+5 узлов - Всего логов: 25000/с

    КомпонентРепликиЛимит CPUЛимит памяти
    ElasticSearch - Master32C4G
    ElasticSearch - Data58C16G
    Kafka32C4G
    Zookeeper32C4G
    Lanaya22C4G
    Razor21C2G

    Большой масштаб 3+7 узлов - Всего логов: 30000/с

    КомпонентРепликиЛимит CPUЛимит памяти
    ElasticSearch - Master32C4G
    ElasticSearch - Data78C16G
    Kafka32C4G
    Zookeeper32C4G
    Lanaya22C4G
    Razor21C2G

    Clickhouse

    Один узел - Всего логов: 18000/с

    КомпонентРепликиЛимит CPUЛимит памятиПримечания
    Clickhouse12C4G1 реплика 1 шард
    Razor11C1G-
    Vector12C4G-

    Три узла - Всего логов: 20000/с

    КомпонентРепликиЛимит CPUЛимит памятиПримечания
    Clickhouse32C4G3 реплики 1 шард
    Razor21C1G-
    Vector22C4G-

    Шесть узлов - Всего логов: 40000/с

    КомпонентРепликиЛимит CPUЛимит памятиПримечания
    Clickhouse34C8G3 реплики 2 шарда
    Razor21C1G-
    Vector24C8G-

    Девять узлов - Всего логов: 69000/с

    КомпонентРепликиЛимит CPUЛимит памятиПримечания
    Clickhouse94C8G3 реплики 3 шарда
    Razor21C1G-
    Vector24C8G-