Plume3362

Results 15 comments of Plume3362

获取的Html不全

js动态渲染的问题吗？

如何管理单个网站几百万的链接树

![image](https://user-images.githubusercontent.com/49897998/102447970-0e919680-406c-11eb-9f91-849bf116b953.png)

如何管理单个网站几百万的链接树

![image](https://user-images.githubusercontent.com/49897998/102448012-249f5700-406c-11eb-866f-170be7e9c6fb.png)

webmagic如何取得跳转后的url

jsoup有这个 https://my.oschina.net/airship/blog/294553 不知道为什么webmagic的相同方法里返回的不对

爬取https网站，报错javax.net.ssl.SSLHandshakeException: Received fatal alert: handshake_failure

用github上的webmagic-core项目打包之后 替换掉本地maven包试一下，目前maven仓库的不是最新的

请问如何通过网页内容返回该内容所处的网页结构xpath信息呢

Processor类： page.getHtml().xpath("/html/div/div/img[2]").get()

关于webmagic中xpath = "//doc//text()"中text()的问题

text()只获取了当前标签的文本，allText()还获取了子标签的文本

如何关闭已经入栈的请求

或者说在Processor中经过一定判断获取到了想要的结果，如何删除掉队列里待抓取的请求

被删除之前不可见的资源在删除后可以在回收站内看见

![图片](https://user-images.githubusercontent.com/49897998/176139080-98491207-84c9-49f5-868c-4abae6b51cad.png) ![图片](https://user-images.githubusercontent.com/49897998/176139195-ea2e80c0-86f8-41dd-827f-48c0cb9730f6.png) ![图片](https://user-images.githubusercontent.com/49897998/176139343-ad59af4f-401f-4b86-bb7d-e7ec45ada0b5.png) ![图片](https://user-images.githubusercontent.com/49897998/176139705-f3b89183-43c6-4390-a304-9190d9cb9db0.png)

创建定时任务时第一次执行的时间不定

@scottsut