rdf-file icon indicating copy to clipboard operation
rdf-file copied to clipboard

需求:oss 基于多线程逻辑分片

Open quhongwei opened this issue 7 years ago • 3 comments

oss 基于多线程逻辑分片,提升大文件逻辑分片的效率

quhongwei avatar Oct 05 '18 08:10 quhongwei

感觉这个没必要做,多大文件算提高呢,比如1T文件,单机再怎么多线程其实提高并不多,还是得集群处理;比如先按照10G拆分,生成分片任务,然后再次递归,对每个10G按照1G,生成分片任务,以此类推,到每片10M终止

michaelhuang avatar Nov 14 '18 08:11 michaelhuang

感觉这个没必要做,多大文件算提高呢,比如1T文件,单机再怎么多线程其实提高并不多,还是得集群处理;比如先按照10G拆分,生成分片任务,然后再次递归,对每个10G按照1G,生成分片任务,以此类推,到每片10M终止

逻辑分片的目的就是为了集群处理分片文件, 大文件一分为十只能一个线程做, 十分分一百可以多个线程并发处理,

quhongwei avatar Nov 14 '18 09:11 quhongwei

明白了,类似reactor模型,boss单线程获得一个请求,先预处理下【大文件一分为十】; 然后交给work Threadpool【十分分一百】👍

michaelhuang avatar Nov 14 '18 14:11 michaelhuang