线上ClickHouse集群发现Kafka引擎表不能正常工作，物化视图未触发，无法将数据正常的摄取到ClickHouse本地表中,查看ClickHouse日志(clickhouse-server.err.log)发现Kafka引擎表出现poll失败退出的问题,日志中显示如下内容

2022.03.09 16:49:11.188012 [ 538056 ] {de2d06ca-8b96-4ad7-b805-09414f05fdad} <Error> StorageKafka (kafka_engine_table): Error during draining: Local: Maximum application poll interval (max.poll.interval.ms) exceeded
2022.03.09 16:49:11.289315 [ 538056 ] {de2d06ca-8b96-4ad7-b805-09414f05fdad} <Error> StorageKafka (kafka_engine_table): Error during draining: Local: Maximum application poll interval (max.poll.interval.ms) exceeded
2022.03.09 16:55:40.776456 [ 8094 ] {} <Warning> StorageKafka (kafka_engine_table): [rdk:MAXPOLL] [thrd:main]: Application maximum poll interval (300000ms) exceeded by 51ms (adjust max.poll.interval.ms for long-running message processing): leaving group
2022.03.09 16:55:45.277079 [ 8100 ] {} <Warning> StorageKafka (kafka_engine_table): [rdk:MAXPOLL] [thrd:main]: Application maximum poll interval (300000ms) exceeded by 50ms (adjust max.poll.interval.ms for long-running message processing): leaving group

问题排查

—

Kafka引擎表在poll数据的时候直接超时并离开消费组. 但是在集群中有大量的Kafka引擎表都可以正常摄取数据,我们首先排除了这是网络的问题.

期间也尝试过删除Kafka引擎表重建还是同样的问题, 直接查询Kafka引擎表可以正常获取数据 select * from kafka_engine_table_name limit 100 排除是Kafka服务的问题.

查看了以下我们的ClickHouse版本是 20.11.3.3, 经过翻阅ClickHouse源码发现 https://github.com/ClickHouse/ClickHouse/blob/master/src/Core/Settings.h 配置中有一个名为 background_schedule_pool_size 的配置选项.

源码解释如下:

M(UInt64, background_schedule_pool_size, 128, “Number of threads performing background tasks for replicated tables, dns cache updates. Only has meaning at server startup.”, 0)

改参数用于配置表后台运行task的选项,初步判断是这里的问题,但是看源码这里显示的是默认值 128 理论上我们的集群中是不会超过这个值的, 我们前往ClickHouse服务器中进行了参数的查询发现系统配置的是 16

然后结合该文件的提交历史发现 alesapin 2021/6/8, 18:55 Increase background schedule pool default size 提交历史的commit
然后结合发布历史版本发现改参数是在 21.3.9.83 版本以后才设置的默认值 128

我们通过以下SQL查询ClickHouse服务器的默认配置和监控指标:

WITH t0 AS (
  SELECT
    value AS defaultValue
  FROM
    `system`.settings
  WHERE
    name = 'background_schedule_pool_size'
),
t1 AS (
  SELECT
    value AS currentValue
  FROM
    `system`.metrics
  WHERE
    metric = 'BackgroundSchedulePoolTask'
)
SELECT
  defaultValue,
  currentValue
FROM
  t0,
  t1

得到以下结果

Query id: 82dfca06-b416-49c8-8a96-5d30b2abebc2

┌─defaultValue─┬─currentValue─┐
│ 16           │          16  │
└──────────────┴──────────────┘

1 rows in set. Elapsed: 0.003 sec.

发现当前值已经达到配置的最大值，需要增加以扩展后台执行的Task任务数, 我们参照新源码的 128 配置.

根据源码解释说该参数需要重启服务,配置完成后重启ClickHouse集群.

配置方式

—

修改 users.xml 增加如下配置

<background_schedule_pool_size>128</background_schedule_pool_size>

增加到 profiles ---> default 节点下

重启ClickHouse集群后,Kafka引擎表可以正常摄取数据!!!