Alauda Container Platform
  • Русский

    • Руководство по выбору компонента логирования

    При установке компонента логирования платформа предоставляет два компонента для хранения логов на выбор: ElasticSearch и Clickhouse. В этой статье подробно рассмотрены особенности и применимые сценарии этих двух компонентов, чтобы помочь вам сделать наиболее подходящий выбор.

    WARNING
    • Для установки компонента хранения логов в кластере можно выбрать только один из ElasticSearch или Clickhouse.
    • Для сбора логов и взаимодействия с данными хранилища можно выбрать компонент хранения логов любого кластера.
    • В настоящее время продукт DevOps не поддерживает архивирование записей выполнения Jenkins pipeline с использованием Clickhouse. Если вам необходимы функции Jenkins pipeline, пожалуйста, осторожно выбирайте плагин ACP Log Storage с Clickhouse.
    • В настоящее время продукт ServiceMesh не поддерживает интеграцию с Clickhouse. Если вам необходимы функции service mesh, пожалуйста, осторожно выбирайте плагин ACP Log Storage с Clickhouse.
    • Плагин ACP Log Storage с Clickhouse в настоящее время не поддерживает кластеры с одиночным стеком IPv6 или двойным стеком IPv6.

    Содержание

    Сравнение архитектурАрхитектура ElasticSearchАрхитектура ClickhouseСравнение функцийРекомендации по выбору

    Сравнение архитектур

    Архитектура ElasticSearch

    ElasticSearch — это распределённый поисковый движок с открытым исходным кодом, построенный на базе Lucene, предназначенный для быстрого полнотекстового поиска и анализа. Его преимущества включают:

    • Высокая производительность поиска: поддерживает поиск в реальном времени и может быстро обрабатывать огромные объёмы данных.
    • Гибкие возможности запросов: предоставляет мощный DSL для запросов, поддерживающий сложные требования к поиску.
    • Масштабируемость: легко масштабируется горизонтально по мере необходимости, подходит для приложений любого размера.
    • Поддержка разнообразных данных: способен работать как со структурированными, так и с неструктурированными данными, широко применим.

    Архитектура Clickhouse

    Clickhouse — это высокопроизводительная колоночная база данных, предназначенная для Online Analytical Processing (OLAP). Его преимущества включают:

    • Быстрая обработка данных: поддерживает быстрые запросы и анализ благодаря колоночному хранению и сжатию данных.
    • Анализ в реальном времени: способен обрабатывать потоки данных в реальном времени, подходит для сценариев анализа данных в реальном времени.
    • Высокая пропускная способность: оптимизирован для производительности при записи и запросах больших объёмов данных, что делает его очень подходящим для сценариев больших данных.
    • Гибкая поддержка SQL: совместим со стандартным SQL, легко начать работу, снижая порог использования.

    Сравнение функций

    ClickhouseElasticsearchОбъяснение
    Высокая доступностьПоддерживаетсяПоддерживается
    МасштабируемостьПоддерживаетсяПоддерживается
    Опыт работы с запросамиСлабыйСильныйElasticsearch предлагает более мощные возможности поиска на основе языка Lucene, тогда как Clickhouse поддерживает только SQL-запросы, что ограничивает его возможности поиска.
    Использование ресурсовНизкоеВысокоеПри одинаковых требованиях к производительности Clickhouse требует меньше ресурсов, чем Elasticsearch. Например, для поддержки 20 000 логов в секунду Elasticsearch требует 3 es-masters и 7 es-nodes (2c4g+8c16g), тогда как Clickhouse — всего 3 реплики 2c4g.
    ПроизводительностьВысокаяНизкаяПри одинаковых ресурсах объём логов, поддерживаемый Clickhouse, значительно превышает объём, поддерживаемый Elasticsearch.
    Активность сообществаСредняяВысокаяСообщество Elasticsearch активно и обладает богатой документацией, в то время как сообщество Clickhouse развивается и совершенствуется.

    Рекомендации по выбору

    • Если вы привыкли использовать Elasticsearch и сильно зависите от языка Lucene, рекомендуется продолжать использовать плагин ACP Log Storage с ElasticSearch.

    • Если вы зависите от функций Jenkins pipeline или service mesh платформы, рекомендуется продолжать использовать плагин ACP Log Storage с ElasticSearch.

    • Если у вас высокие требования к производительности и потреблению ресурсов компонента логирования, но базовые потребности в запросах логов, рекомендуется выбрать плагин ACP Log Storage с Clickhouse.