Boris

Results 92 comments of Boris
trafficstars

> @zzjj1988 > 请问批次可以按分钟级别的时间进行循环吗,比如每5分钟启动一次。 > 可以用爬虫管理系统来设置管理 管理系统地址:https://boris.org.cn/feapder/#/feapder_platform/%E7%88%AC%E8%99%AB%E7%AE%A1%E7%90%86%E7%B3%BB%E7%BB%9F

> render=True时,webdirvier中的'chromedriver'是在哪里配置路径的 配置文件里,https://boris.org.cn/feapder/#/usage/AirSpider?id=_12-%e6%b5%8f%e8%a7%88%e5%99%a8%e6%b8%b2%e6%9f%93%e4%b8%8b%e8%bd%bd

> 浏览器不支持点击么? 支持

> > @Boris-code > > 有视频的教程吗?大神 还没录制

> 从头到位看一遍文档,感觉就是我要的爬虫,支持调度、去重、爬虫集合,能够requests抓取,能够动态渲染,能够断点续传,能够分布式处理,简直不要再好,而且学习难度貌似不高,文档写的很好,都是随着认知过程逐步加深,剩下的就是逐步实践了。 > 其中一直困扰我的连接补全功能,居然只是这里一个很小的功能,不错。 > 有几个问题,想了解下: > 1、文档中写知识firefox的渲染,但代码里没有,不知道是还没完成还是什么情况,自己也还没来得及试,因为有个目标网站对chrome做了反爬,firefox可以爬到; > 2、对于小型的爬取是否可以指挥sqlite,这样导入导出数据会比较方便; > 3、可视化监控是个很好的功能,将来爬虫如果能做成web版的,以现在的框架感觉会非常吸引人 > 赞一个 1. driver_type ``` # 浏览器渲染 WEBDRIVER = dict( pool_size=1, # 浏览器的数量 load_images=True, # 是否加载图片 user_agent=None, #...

> 这是我第二次夸这个框架了,这个框架真不错1 哈哈 谢谢,第一次夸是在哪里

> 我用了一下,我爬取的数据写入excel好像不好弄,有什么办法? 用pipeline

> 是否支持加载js啊? 用浏览器渲染

> > @Boris-code > > > 这是我第二次夸这个框架了,这个框架真不错1 > > > > > > 哈哈 谢谢,第一次夸是在哪里 > > 是跟我的小伙伴的分享的时候 6666

> WEBDRIVER = dict( pool_size=1, # 浏览器的数量 load_images=False, # 是否加载图片 user_agent=None, # 字符串 或 无参函数,返回值为user_agent # user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36', # 字符串...