MoSence
MoSence
maven项目描述会中文乱码
有几个问题想问下: 1、超时的task1独享的线程是否有超时设计? 如果有:那么这个 Task有永远完成不了的情况。 如果没有:如何设计整体执行执行超时失败? 2、独享的线程是从原来的线程池里分离出来的么? 如果是:那么3个线程池,有三个超时导致独享的Task也会导致任务堵塞。 如果不是:那么怎么管理这些独享线程?
@ic4y 谢谢你的回答。 关于第一个问题的“If not”,可能是我对于这种设计为了解决的问题理解不够。 1、我理解中的无界数据处理,必须有最少一个进程持续进行数据摄入,而数据划分窗口由窗口线程或者逻辑划分数据。这没有线程共享的问题。 2、所以线程共享问题只存在有界数据的处理,当需要把有界数据拆分小任务,进行数据摄入时,才会有为了性能进行共享线程。使得原有的每个小任务并行线程处理拆分成固定线程的串行处理。那么为了解决有界数据,必然会有超时这种概念来快速失败以达到更早发现数据处理缓慢原因所在。
@ic4y 只熟悉Java,对协程了解不够,补课了下,并且研读了下代码,大概理解了。非常感谢您的回答。 ~~所以这是针对减少task调用延迟的优化?因为当task数量大于线程池现有线程数量时,没法避免线程的创建。~~ ~~把延迟的线程移到额外的伸缩线程空间,来让线程池能够申请新线程来执行排队中的任务?~~ ~~为啥不把线程池的最大容量调高呢?如果一定要改的话,我觉得设计支持可伸缩线程池会更简单方便。~~ ~~另外,我觉得共享的内容应该是连接池而不是线程。~~
这个问题是hive3有事务表的特性,事务表的存储格式和以前的不一致导致的。 不知道有谁能搞定这个情况?