rad icon indicating copy to clipboard operation
rad copied to clipboard

invalid memory address or nil pointer dereference

Open f4ct0r opened this issue 4 years ago • 1 comments

对webgoat进行登录爬取,并且在disallowed-urls里配置了logout的排除,但是没爬多少数据就报错了 环境:

Rad 0.4/ebbb3ce3

配置文件:

enable-image-display: false                  # 启用图片显示,适用于需要验证码登录的情况,启用wait-login自动开启
load-wait: 0                                 # 页面加载完毕后的等待时间,单位秒,网速不佳时可尝试调大该值
exec-path: ""                                # 启动chrome的路径
disable-headless: false                      # 禁用无头模式
request-config:                              # 请求头配置
  user-agent: ""                             # 请求user-agent配置
  headers:                                   # 请求header配置
  - key: ""                                  # header的key
    value: ""                                # header的value
  cookies:                                   # 请求cookie配置
  - name: ""                                 # cookie的name
    value: ""                                # cookie的value
restrictions-on-urls:                        # 对爬取的URL的一些限制项
  disallowed-suffix: []                      # 不允许的文件后缀
  disallowed-keywords-in-path-and-query: []  # 不允许的URL关键字
  disallowed-domain: []                      # 不允许的域名
  disallowed-urls: ["[a-z/]*logout[a-z/]*"]                        # 不允许的URL(正则)
  allowed-domains: []                        # 允许的域名,起始目标会被自动加入其中
  allowed-urls: []                           # 允许的URL(正则)
restrictions-on-requests:                    # 对请求行为的一些限制项
  max-concurrent: 10                         # 最大页面并发(不大于10)
  max-depth: 5                               # 最大页面深度限制
  max-click-depth: 5                         # 一个页面中最大点击深度限制
  max-count-of-page: 1000                    # 最多爬取的页面数量限制
  max-click-or-event-trigger: 1000           # 单个页面中最大点击或事件触发次数(不大于10000)
  click-or-event-interval: 1000              # 点击间隔,单位毫秒

image

f4ct0r avatar Oct 18 '21 12:10 f4ct0r

会在新版本进行修复,谢谢反馈。

chinaykc avatar Dec 01 '21 03:12 chinaykc