loggie icon indicating copy to clipboard operation
loggie copied to clipboard

什么时候支持sink到clickhouse

Open wyfaq opened this issue 2 years ago • 5 comments

Describe the feature

我看官方介绍https://loggie-io.github.io/docs/user-guide/enterprise-practice/architecture-and-evolution/ 是支持到ck的,但是却没有相关文档,请问现在是否支持?

wyfaq avatar Mar 13 '23 13:03 wyfaq

预计在q2支持。 当前可以通过kafka中转到ck。

ethfoo avatar Mar 16 '23 05:03 ethfoo

请问一下,什么时候可以支持sink到ClickHouse呢

zhangkang07 avatar Jul 23 '23 14:07 zhangkang07

请问一下,什么时候可以支持sink到ClickHouse呢

排期在下半年,可以考虑发到Kafka然后转到CK

ethfoo avatar Jul 24 '23 02:07 ethfoo

请问一下,什么时候可以支持sink到ClickHouse呢

排期在下半年,可以考虑发到Kafka然后转到CK

好的,谢谢

zhangkang07 avatar Jul 24 '23 03:07 zhangkang07

有大佬在搞这块么?我想提交一个pr来支持一下~ @ethfoo

大概做法:

  • 使用clickhouse-go batch client (之前有比较过,比sqlx性能要好)去构建一个连接,获取batch去发送,由于clickhouse对大批量写比较友好,要不要做缓存数据的处理?
  • 要不要给定schema支持自动ddl呢,Init的时候

小尾巴:

  • 这两周关注到loggie这个项目,很不错的国产日志metrics云原生引擎,有没有可能参与一下

zhu733756 avatar Aug 24 '23 02:08 zhu733756