Logging Docs
  • Русский

    • Руководство по выбору компонента логирования

    При установке компонента логирования платформа предоставляет два варианта компонентов для хранения логов: ElasticSearch и Clickhouse. В этой статье подробно описаны особенности и применимые сценарии этих двух компонентов, чтобы помочь вам сделать наиболее подходящий выбор.

    WARNING
    • Для установки компонента хранения логов в кластере можно выбрать только один из ElasticSearch или Clickhouse.
    • Для сбора логов можно выбрать компонент хранения логов любого кластера для взаимодействия с данными хранилища.
    • В настоящее время продукт DevOps не поддерживает архивирование записей выполнения Jenkins pipeline с использованием Clickhouse. Если вам нужны функции Jenkins pipeline, пожалуйста, осторожно выбирайте плагин ACP Log Storage с Clickhouse.
    • В настоящее время продукт ServiceMesh не поддерживает интеграцию с Clickhouse. Если вам нужны функции service mesh, пожалуйста, осторожно выбирайте плагин ACP Log Storage с Clickhouse.
    • Плагин ACP Log Storage с Clickhouse в настоящее время не поддерживает кластеры с одностековым IPv6 или двухстековым IPv6.

    Содержание

    Сравнение архитектурАрхитектура ElasticSearchАрхитектура ClickhouseСравнение функцийРекомендации по выбору

    Сравнение архитектур

    Архитектура ElasticSearch

    ElasticSearch — это распределённый поисковый движок с открытым исходным кодом, построенный на Lucene, предназначенный для быстрого полнотекстового поиска и анализа. Его преимущества включают:

    • Высокая производительность поиска: поддерживает поиск в реальном времени и может быстро обрабатывать огромные объёмы данных.
    • Гибкие возможности запросов: предлагает мощный DSL для запросов, поддерживающий сложные требования к поиску.
    • Масштабируемость: легко масштабируется горизонтально по мере необходимости, подходит для приложений любого размера.
    • Поддержка разнообразных данных: способен работать как со структурированными, так и с неструктурированными данными, широко применим.

    Архитектура Clickhouse

    Clickhouse — это высокопроизводительная колоночная база данных, предназначенная для Online Analytical Processing (OLAP). Его преимущества включают:

    • Быстрая обработка данных: поддерживает быстрые запросы и анализ благодаря колоночному хранению и сжатию данных.
    • Анализ в реальном времени: способен обрабатывать потоки данных в реальном времени, подходит для сценариев анализа данных в реальном времени.
    • Высокая пропускная способность: оптимизирован для производительности при записи и запросах больших объёмов данных, что делает его очень подходящим для сценариев больших данных.
    • Гибкая поддержка SQL: совместим со стандартным SQL, легко начать работу, снижая порог использования.

    Сравнение функций

    ClickhouseElasticsearchОбъяснение
    Высокая доступностьПоддерживаетсяПоддерживается
    МасштабируемостьПоддерживаетсяПоддерживается
    Опыт запросовСлабыйСильныйElasticsearch предлагает более мощные возможности поиска на основе языка Lucene, тогда как Clickhouse поддерживает только SQL-запросы, что ограничивает его возможности поиска.
    Использование ресурсовНизкоеВысокоеПри одинаковых требованиях к производительности Clickhouse требует меньше ресурсов, чем Elasticsearch. Например, для поддержки 20 000 логов в секунду Elasticsearch требует 3 es-masters и 7 es-nodes (2c4g+8c16g), тогда как Clickhouse требует только 3 реплики 2c4g.
    ПроизводительностьВысокаяНизкаяПри одинаковых ресурсах объём логов, поддерживаемый Clickhouse, значительно превышает объём, поддерживаемый Elasticsearch.
    Активность сообществаСредняяВысокаяСообщество Elasticsearch активно и имеет богатую документацию, в то время как сообщество Clickhouse развивается и совершенствуется.

    Рекомендации по выбору

    • Если вы привыкли использовать Elasticsearch и сильно зависите от языка Lucene, рекомендуется продолжать использовать плагин ACP Log Storage с ElasticSearch.

    • Если вы используете функции Jenkins pipeline или service mesh платформы, рекомендуется продолжать использовать плагин ACP Log Storage с ElasticSearch.

    • Если у вас высокие требования к производительности и потреблению ресурсов компонента логирования, но базовые потребности в запросах логов, рекомендуется выбрать плагин ACP Log Storage с Clickhouse.