MASA.Framework icon indicating copy to clipboard operation
MASA.Framework copied to clipboard
verified publisher icon masastack

优化IntegrationEvent事件发布

Open magiboys opened this issue 2 years ago • 2 comments

Description

使用时插入100w级数据，每次插入会发布领域集成事件，发现领域集成事件发布缓慢 阅读源码Masa.Contrib.Dispatcher.IntegrationEvents.Processor.SendByDataProcessor类发现， 分批取出IntegrationEventLog数据后是逐个调用IPublisher.PublishAsync方法，这样与dapr交互是有性能损耗的 优化建议是=>是否可以根据topicName分组，实现批量发布呢？ dapr是支持批量发布的

.NET version

No response

magiboys avatar Jan 11 '24 07:01 magiboys

请提供具体业务场景

duiapro avatar Apr 03 '24 03:04 duiapro

请提供具体业务场景

从第三方批量抓取大量数据，在保存每一条数据时都会发布一条分析这条数据的集成事件，目前数据全部保存成功后，从IntegrationEventLog表发布集成事件的任务有性能问题，要很久才能发布完，应该是逐个调用Dapr发布事件导致有性能损耗 优化意见：同样一个topicName，可调用BulkPublishEventAsync批量发布事件

magiboys avatar Apr 23 '24 08:04 magiboys