cvs6

占楼，占楼，最早使用zorro的用户。第一版出来后，我们做的一个文化方向的小项目用了很多组件，放个pc的前端网页吧， http://www.wenmind.com/cloud/#/indexMid  当然，还有很多。现在用来改了一版我的某个后台管理系统，马上也完工了

怎么搭建一个集群？？

 通过content-length头获取远程文件大小 是不对的，视频肯定放在cdn上，cdn服务器肯定gzip压缩了，大小肯定跟本地不一样。oh shit 我感觉最好写个 布隆过滤url ，或者json文件存储 视频的uir ，下载前判断uir，一个用户一个json文件 足够了

@icesunx 代码发我一份吧，您肯定分析过这个代码了吧？您有没有加注释？ 我不是做python开发的，改起来还是比较费劲的，您修改的代码可以发我一份吗？给我个github连接就行

这几天我看了下python的语法，解决了这个问题： 我实现了两种方式： 1. 判断本地文件存在，则放弃下载 ``` file_path = os.path.join(target_folder, file_name) if os.path.isfile(file_path): print(file_name+" 已经爬取过了，文件保存在 "+file_path+" 放弃爬取") return ``` 2. 下载后记录videoid到一个json文件，防止重复爬取 ``` # 防止重复下载 记录视频id到json文件版 # file = open('videoids.json', 'r') # js...