Logging Docs
  • Русский

    • Руководство по выбору компонента логирования

    При установке компонента логирования платформа предоставляет два варианта хранения логов: Elasticsearch и ClickHouse. В этой статье описаны особенности и применимые сценарии этих двух компонентов, чтобы помочь вам выбрать наиболее подходящий.

    WARNING
    • Для установки компонента хранения логов кластера можно выбрать только один из Elasticsearch или ClickHouse.
    • Для сбора логов и взаимодействия с данными хранилища можно выбрать компонент хранения логов любого кластера.
    • В настоящее время продукт DevOps не поддерживает архивирование записей выполнения Jenkins pipeline с использованием ClickHouse. Если вам нужны функции Jenkins pipeline, пожалуйста, с осторожностью выбирайте Alauda Container Platform Log Storage for ClickHouse.
    • В настоящее время продукт ServiceMesh не поддерживает интеграцию с ClickHouse. Если вам нужны функции service mesh, пожалуйста, с осторожностью выбирайте Alauda Container Platform Log Storage for ClickHouse.
    • В настоящее время Alauda Container Platform Log Storage for ClickHouse не поддерживает кластеры с одностековым IPv6 или двухстековым IPv6.

    Содержание

    Сравнение архитектурАрхитектура ElasticsearchАрхитектура ClickHouseСравнение функцийРекомендации по выбору

    Сравнение архитектур

    Архитектура Elasticsearch

    Elasticsearch — это распределённый поисковый движок с открытым исходным кодом, построенный на Lucene, предназначенный для быстрого полнотекстового поиска и анализа. Его преимущества включают:

    • Высокая производительность поиска: поддерживает поиск в реальном времени и может быстро обрабатывать огромные объёмы данных.
    • Гибкие возможности запросов: предлагает мощный query DSL, поддерживающий сложные запросы.
    • Масштабируемость: легко масштабируется горизонтально по мере необходимости, подходит для приложений любого размера.
    • Поддержка разнообразных данных: способен работать как со структурированными, так и с неструктурированными данными, широко применим.

    Архитектура ClickHouse

    ClickHouse — это высокопроизводительная колоночная база данных, предназначенная для Online Analytical Processing (OLAP). Его преимущества включают:

    • Быстрая обработка данных: поддерживает быстрые запросы и анализ благодаря колоночному хранению и сжатию данных.
    • Анализ в реальном времени: способен обрабатывать потоки данных в реальном времени, подходит для сценариев анализа данных в реальном времени.
    • Высокая пропускная способность: оптимизирован для производительности при записи и запросах больших объёмов данных, что делает его очень подходящим для сценариев больших данных.
    • Гибкая поддержка SQL: совместим со стандартным SQL, прост в освоении, снижая порог использования.
    • Гибкое планирование хранения: поддерживает планирование хранения данных ClickHouse с использованием S3 и многоуровневое холодное хранение.

    Сравнение функций

    ClickHouseElasticsearchОбъяснение
    Высокая доступностьПоддерживаетсяПоддерживается
    МасштабируемостьПоддерживаетсяПоддерживается
    Опыт запросовСлабыйСильныйElasticsearch предлагает более мощные возможности поиска на основе языка Lucene, в то время как ClickHouse поддерживает только SQL-запросы, что ограничивает его возможности поиска.
    Использование ресурсовНизкоеВысокоеПри одинаковых требованиях к производительности ClickHouse требует меньше ресурсов, чем Elasticsearch. Например, для поддержки 20 000 логов в секунду Elasticsearch требует 3 es-masters и 7 es-nodes (2c4g+8c16g), тогда как ClickHouse требует только 3 реплики 2c4g.
    ПроизводительностьВысокаяНизкаяПри одинаковых ресурсах объём логов, поддерживаемый ClickHouse, значительно превышает объём, поддерживаемый Elasticsearch.
    Активность сообществаСредняяВысокаяСообщество Elasticsearch активно и имеет богатую документацию, в то время как сообщество ClickHouse развивается и совершенствуется.

    Рекомендации по выбору

    • Если вы привыкли использовать Elasticsearch и сильно зависите от языка Lucene, рекомендуется продолжать использовать Alauda Container Platform Log Storage for Elasticsearch.

    • Если вы используете функции Jenkins pipeline или service mesh платформы, рекомендуется продолжать использовать Alauda Container Platform Log Storage for Elasticsearch.

    • Если у вас высокие требования к производительности и потреблению ресурсов компонента логирования, но базовые потребности в запросах логов, рекомендуется выбрать Alauda Container Platform Log Storage for ClickHouse.

    • Если вам необходимо интегрировать объектное хранилище или использовать разделение холодного и горячего хранения на базе S3 для данных логов ClickHouse, рекомендуется сначала оценить Alauda Container Platform Log Storage for ClickHouse.