xxl-crawler
xxl-crawler copied to clipboard
支持自定义获取页面urls
当前JsoupUtil.findLinks(html)
, 只支持获取http
开头的地址,且无法自定义。在RunData
添加方法,可以让用户自己扩展对findUrls()
方法的实现。如bilibili视频地址没有http
前缀:
<a href="/video/BV18T4y1J7Jn" class="v-card" index="1">