pulsar-user-group-loc-cn
pulsar-user-group-loc-cn copied to clipboard
streamnative
2020-9-23: Pulsar China User Group Meeting
This is our Pulsar China User Group Meeting, welcome to your joining.
Please feel free to comment on this issue：
- If you want to join our meeting, just leave comments on this issue;
- If you want to discuss any Pulsar features-PIP or community issues and PRs;
- If you have any suggestions for this meeting.
Date
September 23th, 2020. 8:00 PM -- 9:00 PM
Zoom Meeting
Zoom Link: https://us02web.zoom.us/j/88141469208?pwd=TUUzU2VpV3B3cDh4VmRpbDZSSUJRUT09
Meeting ID: 881 4146 9208 Passcode: 191362
Attendees
- Jia Zhai(StreamNative, host)
- Penghui Li(StreamNative, host)
- ...
If you want to join us, feel free to edit this issue and add yourself to the list above, or leave comments on the issue.
Note(Chinese)
- 想要参加本次会议的小伙伴，可以直接在 Issue 下留言
- 有啥需要讨论、交流的问题，也可以提前在 Issue 留言，欢迎大家带着问题来交流
- Zoom 参会：可以直接会议链接、拉起 Zoom 应用入会，或者打开 Zoom，输入上面的会议 ID 和密码入会，两种方式都可以
- 想要参与贡献的小伙伴，或者已做贡献的小伙伴，欢迎扫码入群
- pulsar元数据初始化脚本、bookkeeper初始化脚本在整个集群中，是否只需要在任意节点上运行一次就行？两个初始化脚本重复运行会不会将已有的信息删掉？ 例如启动了几个节点后，下一个节点运行了元数据初始化脚本，会导致前几个节点掉线，需要重新启动？ 每个节点都带有初始化脚本，能否限制第二次运行，或者如何检测初始化脚本已经运行过？ 对于已经误操作多次运行了初始化脚本，能否恢复被冲掉原集群数据？
- 源码编译环境中，WindowFunctionExecutor类对org.apache.pulsar.functions.api.*的引用，可否改成具体类引用? 编译时会报 Record类与另一个Record类方法接口都一样，导致编译失败；源码中涉及的java-instance.jar ，没有获取方式，该jar会导致源码工程构建失败，另外源码中100多个模块中，能否提供个只编译核心部分的配置？ 比较害怕紧急响应需要源码构建时，突然被用不到的模块阻塞编译，拖慢进度。
- 客户端连接的配置信息是否必须提供zk集群地址和pulsar的borkerip地址？ 如何控制每个用户看不到zk集群中其他信息，比如各集群的ip端口等信息？ 针对少量zk（少于5个）节点 多个集群都共享zk集群的场景，大量的pulsar集群用户都连接到zk节点上，会不会因为连接数问题导致zk节点被卡死，整个zk上承载的集群服务都崩溃？ 如何规划zk集群，是否需要隔离客户的zk节点，服务所用的zk节点？如何应对客户端不小心卡死了zk节点服务器还需要保障服务能不宕机的情形？
- 据文档了解，当前客户端还不支持指定分区访问，是否在贵方提供的兼容kafka客户端中，也不支持指定分区访问？ 当前实际应用中，各业务存在很多指定kafka分区消费的场景，如迁移到pulsar，是不是没法支持不改造业务端情况下透明迁移？
- JVM的GC停顿时间过长，会不会影响pulsar中分区部分的正常服务？ pulsar中的负载均衡等机制被触发时，有没有需要客户端暂停消费，等待集群调整完毕后才能恢复服务的场景？ 如有，是否有控制暂停消费时间最大不超过多少时间的策略?
- HTTP API服务是不是每个plusar的broker上都有运行？对broker进行安全防护时，是否需要对http协议层也要做防攻击措施?
- querum-vote复制模型中，会不会存在因确认信标丢失，而数据实际上已经写入了的可能性? 会不会因此造成数据被重复写入的情况？ 例如生产者没有收到确认信息，再次重发了消息，而实际集群存储中两次消息都成功保存了的情况?
1、灾备模式，关于单向复制切换方向时的数据问题 问题： 主集群A 与 备集群B 之间网络先断开（主机还在生产数据，这部分数据Data没有同步），然后主集群A失联，并切换到备集群B提供服务； 过一段时间集群A恢复，此时集群A变为备集群，集群B变为主集群，配置B向A单向复制，问发生故障前A比B多的那部分数据怎么处理？
2、消息清理问题 问题：一个测试的命名空间的策略是将数据进行了永久存储，我要彻底删除此命名空间的所有数据及元数据，该如何处理？（更改命名空间策略把保留策略设为1s？）
3、更改集群配置文件时，该如何处理？ 问题：搭建好的集群，我要更改bookkeeper集群的配置文件，如更改ledgerDirectories或journalDirectories，不能启动。这类问题怎样更改？
4、关于消息同步耗时计算？ 问题：灾备模式，主备集群单项复制，消息从接收到给出去的耗时怎样计算？主备集群消息复制耗时怎样计算？
5、灾备模式单向复制问题 问题：只设置了命名空间tenant-test/namspace-test的单向复制，而没设置public/default的单向复制。为什么public/default下的topic也复制过去了？
2 weeks update: https://mp.weixin.qq.com/s/q69fxqQ9KebWEEBfp68czQ https://mp.weixin.qq.com/s/piEF6aV-jTgPTfuFxU2Ilw
1、灾备模式，关于单向复制切换方向时的数据问题 问题： 主集群A 与 备集群B 之间网络先断开（主机还在生产数据，这部分数据Data没有同步），然后主集群A失联，并切换到备集群B提供服务； 过一段时间集群A恢复，此时集群A变为备集群，集群B变为主集群，配置B向A单向复制，问发生故障前A比B多的那部分数据怎么处理？
2、消息清理问题 问题：一个测试的命名空间的策略是将数据进行了永久存储，我要彻底删除此命名空间的所有数据及元数据，该如何处理？（更改命名空间策略把保留策略设为1s？）
3、更改集群配置文件时，该如何处理？ 问题：搭建好的集群，我要更改bookkeeper集群的配置文件，如更改ledgerDirectories或journalDirectories，不能启动。这类问题怎样更改？
4、关于消息同步耗时计算？ 问题：灾备模式，主备集群单项复制，消息从接收到给出去的耗时怎样计算？主备集群消息复制耗时怎样计算？
5、灾备模式单向复制问题 问题：只设置了命名空间tenant-test/namspace-test的单向复制，而没设置public/default的单向复制。为什么public/default下的topic也复制过去了？
b 站关于 geo-replication的视频 https://www.bilibili.com/video/BV1T741147B6?p=4
issue 欢迎大家贡献：
- Docker 里设置 Pulsar 的 log level https://github.com/apache/pulsar/issues/7838
- byte 数组反序列化被解析成 string https://github.com/apache/pulsar/issues/7657
- python client Schema 不给 boolean 类型复制报错 https://github.com/apache/pulsar/issues/7673
- 用 Log topic 发送 function log 信息 https://github.com/apache/pulsar/issues/7814
- DB2 Connector 支持 https://github.com/apache/pulsar/issues/7837
- Perf 支持 AVRO https://github.com/apache/pulsar/issues/7441
python client Schema 不给 boolean 类型复制报错 apache/pulsar#7673 I will fix this issue @zymap
byte 数组反序列化被解析成 string apache/pulsar#7657 @zymap I will try to fix this issue
会议回放链接：https://www.bilibili.com/video/BV12T4y1A7nb 本次会议摘要：
- 1:20~8:10 介绍 Pulsar 最近更新，预告：
- transaction 试用版可能在十一之前release
- Benchmark：第一版文稿近期发出
- Pulsar 2.6.2 即将开始 release
- 9:04~16:00 issue 欢迎大家贡献：
- Docker 里设置 Pulsar 的 log level apache/pulsar#7838
- byte 数组反序列化被解析成 string apache/pulsar#7657
- python client Schema 不给 boolean 类型复制报错 apache/pulsar#7673
- 用 Log topic 发送 function log 信息 apache/pulsar#7814
- DB2 Connector 支持 apache/pulsar#7837
- Perf 支持 AVRO apache/pulsar#7441
- 16:00~end 问题讨论：
- 分钟级别的数据对账
- 灾备模式同步数据
- 消息清理
- 坏盘操作
- 灾备模式消息同步耗时、单向复制
- HTV服务器卡死
- CPU load
