rad
rad copied to clipboard
invalid memory address or nil pointer dereference
对webgoat进行登录爬取,并且在disallowed-urls里配置了logout的排除,但是没爬多少数据就报错了 环境:
Rad 0.4/ebbb3ce3
配置文件:
enable-image-display: false # 启用图片显示,适用于需要验证码登录的情况,启用wait-login自动开启
load-wait: 0 # 页面加载完毕后的等待时间,单位秒,网速不佳时可尝试调大该值
exec-path: "" # 启动chrome的路径
disable-headless: false # 禁用无头模式
request-config: # 请求头配置
user-agent: "" # 请求user-agent配置
headers: # 请求header配置
- key: "" # header的key
value: "" # header的value
cookies: # 请求cookie配置
- name: "" # cookie的name
value: "" # cookie的value
restrictions-on-urls: # 对爬取的URL的一些限制项
disallowed-suffix: [] # 不允许的文件后缀
disallowed-keywords-in-path-and-query: [] # 不允许的URL关键字
disallowed-domain: [] # 不允许的域名
disallowed-urls: ["[a-z/]*logout[a-z/]*"] # 不允许的URL(正则)
allowed-domains: [] # 允许的域名,起始目标会被自动加入其中
allowed-urls: [] # 允许的URL(正则)
restrictions-on-requests: # 对请求行为的一些限制项
max-concurrent: 10 # 最大页面并发(不大于10)
max-depth: 5 # 最大页面深度限制
max-click-depth: 5 # 一个页面中最大点击深度限制
max-count-of-page: 1000 # 最多爬取的页面数量限制
max-click-or-event-trigger: 1000 # 单个页面中最大点击或事件触发次数(不大于10000)
click-or-event-interval: 1000 # 点击间隔,单位毫秒

会在新版本进行修复,谢谢反馈。