#Руководство по выбору компонента логирования

При установке компонента логирования платформа предоставляет два компонента для хранения логов на выбор: ElasticSearch и Clickhouse. В этой статье подробно рассмотрены особенности и применимые сценарии этих двух компонентов, чтобы помочь вам сделать наиболее подходящий выбор.

#Сравнение архитектур

#Архитектура ElasticSearch

ElasticSearch — это распределённый поисковый движок с открытым исходным кодом, построенный на базе Lucene, предназначенный для быстрого полнотекстового поиска и анализа. Его преимущества включают:

• Высокая производительность поиска: поддерживает поиск в реальном времени и может быстро обрабатывать огромные объёмы данных.
• Гибкие возможности запросов: предоставляет мощный DSL для запросов, поддерживающий сложные требования к поиску.
• Масштабируемость: легко масштабируется горизонтально по мере необходимости, подходит для приложений любого размера.
• Поддержка разнообразных данных: способен работать как со структурированными, так и с неструктурированными данными, широко применим.

#Архитектура Clickhouse

Clickhouse — это высокопроизводительная колоночная база данных, предназначенная для Online Analytical Processing (OLAP). Его преимущества включают:

• Быстрая обработка данных: поддерживает быстрые запросы и анализ благодаря колоночному хранению и сжатию данных.
• Анализ в реальном времени: способен обрабатывать потоки данных в реальном времени, подходит для сценариев анализа данных в реальном времени.
• Высокая пропускная способность: оптимизирован для производительности при записи и запросах больших объёмов данных, что делает его очень подходящим для сценариев больших данных.
• Гибкая поддержка SQL: совместим со стандартным SQL, легко начать работу, снижая порог использования.

#Сравнение функций

	Clickhouse	Elasticsearch	Объяснение
Высокая доступность	Поддерживается	Поддерживается
Масштабируемость	Поддерживается	Поддерживается
Опыт работы с запросами	Слабый	Сильный	Elasticsearch предлагает более мощные возможности поиска на основе языка Lucene, тогда как Clickhouse поддерживает только SQL-запросы, что ограничивает его возможности поиска.
Использование ресурсов	Низкое	Высокое	При одинаковых требованиях к производительности Clickhouse требует меньше ресурсов, чем Elasticsearch. Например, для поддержки 20 000 логов в секунду Elasticsearch требует 3 es-masters и 7 es-nodes (2c4g+8c16g), тогда как Clickhouse — всего 3 реплики 2c4g.
Производительность	Высокая	Низкая	При одинаковых ресурсах объём логов, поддерживаемый Clickhouse, значительно превышает объём, поддерживаемый Elasticsearch.
Активность сообщества	Средняя	Высокая	Сообщество Elasticsearch активно и обладает богатой документацией, в то время как сообщество Clickhouse развивается и совершенствуется.

#Рекомендации по выбору

• Если вы привыкли использовать Elasticsearch и сильно зависите от языка Lucene, рекомендуется продолжать использовать плагин ACP Log Storage с ElasticSearch.

• Если вы зависите от функций Jenkins pipeline или service mesh платформы, рекомендуется продолжать использовать плагин ACP Log Storage с ElasticSearch.

• Если у вас высокие требования к производительности и потреблению ресурсов компонента логирования, но базовые потребности в запросах логов, рекомендуется выбрать плагин ACP Log Storage с Clickhouse.