rest_rpc icon indicating copy to clipboard operation
rest_rpc copied to clipboard

请问该工具最大支持传输 多大的数据?

Open qzp-user opened this issue 1 year ago • 8 comments

我修改了程序中的数据大小和超时限制,但是当我的传输数据大于2G时,程序会挂掉。请问我需要修改哪里,才能传输大规模的数据。

qzp-user avatar Jun 04 '23 17:06 qzp-user

可以传输任意大小的数据,不要一次传太大的数据,很大的数据你分块传输就行了,不论多大分块就行了。

qicosmos avatar Jun 05 '23 01:06 qicosmos

可以传输任意大小的数据,不要一次传太大的数据,很大的数据你分块传输就行了,不论多大分块就行了。

目前我能不能修改某些地方的代码,能够传递10G的vector数据。分块也可以 但总感觉不太好的样子

qzp-user avatar Jun 05 '23 08:06 qzp-user

肯定是要分块上传的,最好分成每次传多少K的数据,不应该分配那么大的内存去传的。

qicosmos avatar Jun 05 '23 08:06 qicosmos

肯定是要分块上传的,最好分成每次传多少K的数据,不应该分配那么大的内存去传的。

分成小的效率高吗,我目前用于分布式聚类,会传递大量的向量 ,不是一次传的越多效率越高吗

qzp-user avatar Jun 05 '23 08:06 qzp-user

一样的,取决于带宽,带宽都能跑满,外面设置大了也不会更快。

qicosmos avatar Jun 05 '23 08:06 qicosmos

肯定是要分块上传的,最好分成每次传多少K的数据,不应该分配那么大的内存

一样的,取决于带宽,带宽都能跑满,外面设置大了也不会更快。

大概超过多少数据 ,rpc会挂掉?我按照这个分块传递吧,谢谢啦!

qzp-user avatar Jun 05 '23 08:06 qzp-user

一样的,取决于带宽,带宽都能跑满,外面设置大了也不会更快。

一次传递500M应该不会触发问题吧?

qzp-user avatar Jun 05 '23 08:06 qzp-user

一次传2M就够了,分配太大了也没啥用,操作系统内部还是分块上传的。

qicosmos avatar Jun 06 '23 01:06 qicosmos