xwl_bi icon indicating copy to clipboard operation
xwl_bi copied to clipboard

消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗

Open wmvm0 opened this issue 1 year ago • 15 comments

wmvm0 avatar Oct 04 '23 13:10 wmvm0

配置文件是啥样的

---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:08 收件人: @.>; 抄送: @.***>; 主题: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1)

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>

1340691923 avatar Oct 04 '23 13:10 1340691923

配置文件是啥样的 ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:08 收件人: @.>; 抄送: @.>; 主题: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.>

不对,写错了,是插入msyql

wmvm0 avatar Oct 04 '23 13:10 wmvm0

插入mysql一条条没问题啊

---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:11 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1)

配置文件是啥样的 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:08 收件人: @.>; 抄送: @.>; 主题: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.>

不对,写错了,是插入msyql

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

1340691923 avatar Oct 04 '23 13:10 1340691923

插入mysql一条条没问题啊 ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:11 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 配置文件是啥样的 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:08 收件人: @.>; 抄送: @.>; 主题: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.> 不对,写错了,是插入msyql — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

批量写好一点,一次写个1000 条,一秒就写完了

wmvm0 avatar Oct 04 '23 13:10 wmvm0

你知道mysql写的是数据不

---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:15 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1)

插入mysql一条条没问题啊 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:11 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 配置文件是啥样的 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:08 收件人: @.>; 抄送: @.>; 主题: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.> 不对,写错了,是插入msyql — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

批量写好一点,一次写个1000 条,一秒就写完了

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

1340691923 avatar Oct 04 '23 13:10 1340691923

你知道mysql写的是啥数据不

---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:15 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1)

插入mysql一条条没问题啊 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:11 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 配置文件是啥样的 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:08 收件人: @.>; 抄送: @.>; 主题: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.> 不对,写错了,是插入msyql — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

批量写好一点,一次写个1000 条,一秒就写完了

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

1340691923 avatar Oct 04 '23 13:10 1340691923

你知道mysql写的是啥数据不 ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:15 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 插入mysql一条条没问题啊 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:11 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 配置文件是啥样的 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:08 收件人: @.>; 抄送: @.>; 主题: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.> 不对,写错了,是插入msyql — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 批量写好一点,一次写个1000 条,一秒就写完了 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

不是就存了三次吗

消费到kafka 后 1. 存上报数据到 mysql 2. 存偏移量到 mysql 3. 存上报数据到 clickhouse

wmvm0 avatar Oct 04 '23 13:10 wmvm0

你没看懂

---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:22 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1)

你知道mysql写的是啥数据不 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:15 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 插入mysql一条条没问题啊 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:11 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 配置文件是啥样的 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:08 收件人: @.>; 抄送: @.>; 主题: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.> 不对,写错了,是插入msyql — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 批量写好一点,一次写个1000 条,一秒就写完了 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

不是就存了三次吗

消费到kafka 后 1. 存上报数据到 mysql 2. 存偏移量到 mysql 3. 存上报数据到 clickhouse

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

1340691923 avatar Oct 04 '23 13:10 1340691923

上报数据mysql?

---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:22 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1)

你知道mysql写的是啥数据不 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:15 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 插入mysql一条条没问题啊 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:11 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 配置文件是啥样的 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:08 收件人: @.>; 抄送: @.>; 主题: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.> 不对,写错了,是插入msyql — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 批量写好一点,一次写个1000 条,一秒就写完了 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

不是就存了三次吗

消费到kafka 后 1. 存上报数据到 mysql 2. 存偏移量到 mysql 3. 存上报数据到 clickhouse

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

1340691923 avatar Oct 04 '23 13:10 1340691923

我到底存了什么偏移量到mysql了

---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:22 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1)

你知道mysql写的是啥数据不 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:15 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 插入mysql一条条没问题啊 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:11 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 配置文件是啥样的 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:08 收件人: @.>; 抄送: @.>; 主题: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.> 不对,写错了,是插入msyql — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 批量写好一点,一次写个1000 条,一秒就写完了 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

不是就存了三次吗

消费到kafka 后 1. 存上报数据到 mysql 2. 存偏移量到 mysql 3. 存上报数据到 clickhouse

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

1340691923 avatar Oct 04 '23 13:10 1340691923

我到底存了什么偏移量到mysql了 ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:22 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 你知道mysql写的是啥数据不 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:15 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 插入mysql一条条没问题啊 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:11 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 配置文件是啥样的 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:08 收件人: @.>; 抄送: @.>; 主题: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.> 不对,写错了,是插入msyql — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 批量写好一点,一次写个1000 条,一秒就写完了 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 不是就存了三次吗 消费到kafka 后 1. 存上报数据到 mysql 2. 存偏移量到 mysql 3. 存上报数据到 clickhouse — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

看串了,消费到kafka 后 1. 存上报数据到 mysql 2. 存偏移量到 clickhouse 3. 存上报数据到 clickhouse

wmvm0 avatar Oct 04 '23 13:10 wmvm0

上报数据存mysql了?那我要ck干嘛

---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:28 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1)

我到底存了什么偏移量到mysql了 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:22 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 你知道mysql写的是啥数据不 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:15 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 插入mysql一条条没问题啊 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:11 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 配置文件是啥样的 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:08 收件人: @.>; 抄送: @.>; 主题: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.> 不对,写错了,是插入msyql — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 批量写好一点,一次写个1000 条,一秒就写完了 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 不是就存了三次吗 消费到kafka 后 1. 存上报数据到 mysql 2. 存偏移量到 mysql 3. 存上报数据到 clickhouse — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

看串了,消费到kafka 后 1. 存上报数据到 mysql 2. 存偏移量到 clickhouse 3. 存上报数据到 clickhouse

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

1340691923 avatar Oct 04 '23 13:10 1340691923

上报数据存mysql了?那我要ck干嘛 ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:28 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 我到底存了什么偏移量到mysql了 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:22 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 你知道mysql写的是啥数据不 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:15 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 插入mysql一条条没问题啊 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:11 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 配置文件是啥样的 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:08 收件人: @.>; 抄送: @.>; 主题: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.> 不对,写错了,是插入msyql — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 批量写好一点,一次写个1000 条,一秒就写完了 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 不是就存了三次吗 消费到kafka 后 1. 存上报数据到 mysql 2. 存偏移量到 mysql 3. 存上报数据到 clickhouse — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 看串了,消费到kafka 后 1. 存上报数据到 mysql 2. 存偏移量到 clickhouse 3. 存上报数据到 clickhouse — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

噢噢,又看了下,1. 存事件eventName及偏移量 到 mysql 2. 存偏移量到 clickhouse 3. 存上报数据到 clickhouse

wmvm0 avatar Oct 04 '23 13:10 wmvm0

我存迁移量到mysql了?

---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:34 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1)

上报数据存mysql了?那我要ck干嘛 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:28 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 我到底存了什么偏移量到mysql了 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:22 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 你知道mysql写的是啥数据不 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:15 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 插入mysql一条条没问题啊 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:11 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 配置文件是啥样的 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:08 收件人: @.>; 抄送: @.>; 主题: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.> 不对,写错了,是插入msyql — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 批量写好一点,一次写个1000 条,一秒就写完了 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 不是就存了三次吗 消费到kafka 后 1. 存上报数据到 mysql 2. 存偏移量到 mysql 3. 存上报数据到 clickhouse — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 看串了,消费到kafka 后 1. 存上报数据到 mysql 2. 存偏移量到 clickhouse 3. 存上报数据到 clickhouse — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

噢噢,又看了下,1. 存事件eventName及偏移量 到 mysql 2. 存偏移量到 clickhouse 3. 存上报数据到 clickhouse

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

1340691923 avatar Oct 04 '23 13:10 1340691923

那事件名我需要批量插入到mysql吗

---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:34 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1)

上报数据存mysql了?那我要ck干嘛 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:28 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 我到底存了什么偏移量到mysql了 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:22 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 你知道mysql写的是啥数据不 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:15 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 mysql 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 插入mysql一条条没问题啊 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:11 收件人: @.>; 抄送: @.@.>; 主题: Re: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) 配置文件是啥样的 … ---原始邮件--- 发件人: @.> 发送时间: 2023年10月4日(周三) 晚上9:08 收件人: @.>; 抄送: @.>; 主题: [1340691923/xwl_bi] 消费 kafka 插入 clickhouse 设置的 buffer,为什么还是一条一条插入的,不应该是批量写入吗 (Issue #1) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.> 不对,写错了,是插入msyql — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 批量写好一点,一次写个1000 条,一秒就写完了 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 不是就存了三次吗 消费到kafka 后 1. 存上报数据到 mysql 2. 存偏移量到 mysql 3. 存上报数据到 clickhouse — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 看串了,消费到kafka 后 1. 存上报数据到 mysql 2. 存偏移量到 clickhouse 3. 存上报数据到 clickhouse — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

噢噢,又看了下,1. 存事件eventName及偏移量 到 mysql 2. 存偏移量到 clickhouse 3. 存上报数据到 clickhouse

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

1340691923 avatar Oct 04 '23 13:10 1340691923