xunlei-lixian icon indicating copy to clipboard operation
xunlei-lixian copied to clipboard

从多个节点同时下载

Open jkldgoefgkljefogeg opened this issue 11 years ago • 20 comments

现在迅雷用gdl.lixian.vip.xunlei.com 302到节点 比如vod33.c5.lixian.vip.xunlei.com:443

手工指定节点可以把gdl.lixian.vip.xunlei.com改成dl.c5.lixian.vip.xunlei.com然后会被重定向到c5节点里面的一个服务器 vodxx.c5.lixian.vip.xunlei.com:443

很久以前文件在所有节点上都有一份的 现在基本上是一个电信t节点 一个网通c节点 可能一个f或者i

能不能加入

  1. 检测文件在哪个节点存在 输出对应的url dl.c5.lixian.vip.xunlei.com这种 2)从多个节点作为mirror下载 有时gdl重定向到的节点掉包太高速度很慢 orbit downloader做这个效果就很好现在的版本里有病毒....linux下我不知道哪个工具从多个mirror下载效果可以接受

迅雷自己的检测工具离线下载检测工具在 http://pstatic.xunlei.com/tool/tool-speed-12ed.rar 这个工具是单线程的效率太低了 检测一个文件得5分钟 官方早已不更新这个程序了不过好像还可以用

把节点更新LixianHostList.txt

爱普

dl.h.lixian.vip.xunlei.com

教育

dl.i.lixian.vip.xunlei.com

长宽

dl.g.lixian.vip.xunlei.com

铁通

dl.f.lixian.vip.xunlei.com

小运营商合作代理

dl.u.lixian.vip.xunlei.com dl.u1.lixian.vip.xunlei.com

电信

dl.t1.lixian.vip.xunlei.com dl.t3.lixian.vip.xunlei.com dl.t4.lixian.vip.xunlei.com dl.t5.lixian.vip.xunlei.com dl.t6.lixian.vip.xunlei.com dl.t7.lixian.vip.xunlei.com dl.t8.lixian.vip.xunlei.com dl.t9.lixian.vip.xunlei.com dl.t10.lixian.vip.xunlei.com dl.t11.lixian.vip.xunlei.com dl.t12.lixian.vip.xunlei.com dl.t13.lixian.vip.xunlei.com dl.t14.lixian.vip.xunlei.com dl.t15.lixian.vip.xunlei.com dl.t16.lixian.vip.xunlei.com dl.t17.lixian.vip.xunlei.com dl.t18.lixian.vip.xunlei.com dl.t19.lixian.vip.xunlei.com dl.t20.lixian.vip.xunlei.com dl.t21.lixian.vip.xunlei.com dl.t22.lixian.vip.xunlei.com dl.t23.lixian.vip.xunlei.com dl.t24.lixian.vip.xunlei.com dl.t25.lixian.vip.xunlei.com dl.t26.lixian.vip.xunlei.com

网通

dl.c1.lixian.vip.xunlei.com dl.c3.lixian.vip.xunlei.com dl.c4.lixian.vip.xunlei.com dl.c5.lixian.vip.xunlei.com dl.c6.lixian.vip.xunlei.com dl.c7.lixian.vip.xunlei.com dl.c8.lixian.vip.xunlei.com dl.c9.lixian.vip.xunlei.com dl.c10.lixian.vip.xunlei.com dl.c11.lixian.vip.xunlei.com dl.c12.lixian.vip.xunlei.com dl.c13.lixian.vip.xunlei.com dl.c14.lixian.vip.xunlei.com dl.c15.lixian.vip.xunlei.com dl.c16.lixian.vip.xunlei.com dl.c17.lixian.vip.xunlei.com dl.c18.lixian.vip.xunlei.com dl.c19.lixian.vip.xunlei.com dl.c20.lixian.vip.xunlei.com


我的感觉是 gdl.lixian.vip.xunlei.com和dl.c5.lixian.vip.xunlei.com都是load balancer做302重定向 同一个节点内的服务器vod30.c5.lixian.vip.xunlei.com:443, vod31.c5.lixian.vip.xunlei.com:443之类的用shared network storage 所以只要文件在这个节点存在 服务器是可以更改的 在这个节点80和443端口一样的效果 不知道为什么会被重定向到443

我我smokeping的tcp ping测试所有的节点 不过看到的只是忙时ping的波动 不知道怎样测试能更好地表现性能 主要是掉包率 1分钟的采样间隔很难看出掉包

另外迅雷离线限速的机制我不是很清楚 我感觉从多个节点同时下载的时候速度会互相影响 好像每多一个线程 当前节点会signal其他节点去限速 也有可能是网络本身的问题

jkldgoefgkljefogeg avatar Sep 01 '13 18:09 jkldgoefgkljefogeg

目前lx download支持--node=vod1这种参数,可以指定要下载的节点。关键还是要找到哪个节点快。如果所有节点都慢,从多个节点下载感觉也未必能提高速度。

iambus avatar Sep 02 '13 02:09 iambus

我觉得楼主的提议很有必要

bao3 avatar Sep 03 '13 16:09 bao3

现在下载都被解析到网通节点了,但是网通节点的丢包率太恶心了。

tywtyw2002 avatar Sep 10 '13 06:09 tywtyw2002

现在好多地方都接了20M/30M/100M,而每个VOD提供的下载速度不过2M/3M,离12.5M的理论速度还差很远,老大有空时是不是考虑一下?

adamscao avatar Oct 06 '13 18:10 adamscao

单镜像多线程最快能达到多少?

iambus avatar Oct 07 '13 04:10 iambus

和节点有关系 快的节点10-15个线程我见到过2MB/s

jkldgoefgkljefogeg avatar Oct 07 '13 04:10 jkldgoefgkljefogeg

我刚换电信百兆光纤,目前单节点稳定在2m-3m之间

adamscao avatar Oct 07 '13 05:10 adamscao

@adamscao 单结点几个线程?

iambus avatar Oct 07 '13 07:10 iambus

最新代码增加了一个lx speed-test命令。可以简单测试下各个vod结点的下载速度。

lx speed-test task-id
lx speed-test task-id --vod-nodes=0-20

iambus avatar Oct 07 '13 10:10 iambus

lx download加了一个自动寻找最快结点的参数:

lx d 0 --node=fastest

因为默认会测试vod0~vod50这51个结点,测试会花很久,所以最好配合--vod-nodes来指定常用的结点列表。

lx d 0 --node=fastest --vod-node=0-4,7,9-12

另外因为结点测试花的时间较长,对于小于100M的文件不进行测试,防止浪费过多时间。可以使用--node-detection-threshold修改下限值。

lx d 0 --node=fastest --node-detection-threshold=500M

iambus avatar Oct 07 '13 12:10 iambus

可以把export-download-url也加上测速功能吗? 谢谢

jkldgoefgkljefogeg avatar Oct 07 '13 17:10 jkldgoefgkljefogeg

可以是可以,但export很多的时候会非常非常慢。

iambus avatar Oct 08 '13 01:10 iambus

能不能给--node=fastest再加个参数,测试到速度超过多少的就使用哪个节点,这样应该能减少一些时间吧

2unc avatar Oct 09 '13 03:10 2unc

好,等我找时间改下。

iambus avatar Oct 09 '13 05:10 iambus

@2unc

刚提交了一个修改。现在如果是用--node=fast(注意不是fastest),会依次检查结点速度,如果速度达到标准(默认是1M每秒)就使用这个结点,不再继续测试。如果所有结点都达不到标准就使用最快的结点。

lx download --node=fast

速度标准可以使用--node-detection-acceptable参数进行配置:

lx download --node=fast --node-detection-acceptable=1M

或者保存到配置文件:

lx config node-detection-acceptable 1M

iambus avatar Oct 09 '13 10:10 iambus

多谢,加到配置文件后还需要使用--node=fast参数么?

2unc avatar Oct 09 '13 12:10 2unc

需要加--node=fast或者lx config node fast

iambus avatar Oct 09 '13 13:10 iambus

好的,谢谢:)

2unc avatar Oct 09 '13 13:10 2unc

我可能前面没说清楚 gdl.lixian.vip.xunlei.com 302到节点 比如vod33.c5.lixian.vip.xunlei.com 其中c5是节点 vodxx只是服务器id, 同一个节点内所有的服务器应该是用的网络存储所以每台服务器都可以提供这个节点的所有文件 下载到本地速度慢往往是因为节点的网络问题 这时候这个节点内的每台服务器都受影响

所以测速应该测试dl.c1.lixian.vip.xunlei.com, dl.c3.lixian.vip.xunlei.com etc. 而不是测试同一个节点里的不同服务器

迅雷离线下载诊断工具就是这样工作的. 最近从离线服务器下载文件不是服务器不返回http 200就是速度很不稳定 开始10MB/s一会就变成10KB/s了...

jkldgoefgkljefogeg avatar Nov 09 '14 15:11 jkldgoefgkljefogeg

@iambus 您好 我是浙江移动光纤用户 弱问 我用楼主所提供的的测速软件跟迅雷早年出的老版本的测速软件 进行节点测试后 在host里写入了三行优选的节点信息 就可以了吗? 之前我这边高通跟离线都打通的情况下一点下行都没有,还是移动的安装师傅跟设置了移动的DNS才有改观,这会儿再指定节点,会不会事半功倍?我本地12M下行,最快的节点取回本地速度也就只有300K/S 是移动封杀的缘故吗?@asdfljdasflkjwfd

burafosi965 avatar Dec 12 '15 09:12 burafosi965