crawlergo

crawlergo copied to clipboard

**问题描述** 在阅读源码感叹大佬的强大时，修炼尚浅的我无法明白注入页面的 `addLink` 使用异步函数方法重写的原因。大佬可否解答一下。 为何最后要再通过 `DeliverResult` 方法来触发，这里有点绕 https://github.com/Qianlitp/crawlergo/blob/9d6f751f05c19d66ceaf8f00a4185c03c6ccfa2b/pkg/js/javascript.go#L253-L265

PIGfaces

Maybe a smaller step before #97 where `responseCode:` can be returned for each request in `req_list` and `all_req_list`. It would be HTTP status code that crawlergo has received such as...

undergroundwires

Thank you @Qianlitp for writing best crawling tool that I've encountered for the modern web. I realized a small issue. App is writing a lot of logs to `stderr`. These...

undergroundwires

Output Request Response to ".txt" File

2

First of all this tool is fantastic! The primary reason I would like to switch to this tool is the DOM Rendering. Would you be able to incorporate a feature...

gromhacks

fix Relative path cannot be resolved.

2

爬取网站的时候有一些路径比如 ``,这种相对路径的链接会在函数model.GetUrl解析失败照成漏抓，影响还是挺大的 ,和awvs对比的话。但这个可能需要更多的测试。

wrenchonline

【新需求】--fuzz-path-dict 参数增加多级目录支持

2

有一些实际业务，api可能是这样的 - /api/v4/users - /api/v4/plugin - /api/v4/user/me/team - /api/plugins 目前看到的是对目录取第一级进行去重作为输入参数 虽然可以手动指定 http://url/api http://url/api/v4/ 作为输入url，但始终还是有点麻烦，希望可能的话能增加多级目录支持，谢谢！ 很棒的项目

soapffz

### Discussed in https://github.com/Qianlitp/crawlergo/discussions/107 Originally posted by **PIGfaces** June 28, 2022 https://github.com/Qianlitp/crawlergo/blob/dbf70647a44bbfbdaeec98791f90c2497d781708/pkg/engine/tab.go#L264-L270 函数 `RunWithTimeOut` 中的 `ctx` 参数并没使用到，可以把它去掉吗，真正用到 `ctx` 是上层的函数调用，上层的 `context` 超时时间为 `TabRunTimeout` 到了这一层变成了 `DomContentLoadedTimeout` 这是出于什么原因呀

PIGfaces

能否增加一个爬虫入口（url列表） 像awvs一样，因为有一些页面爬虫爬不到？

5

能否增加一个爬虫入口（url列表） 像awvs一样，因为有一些页面爬虫爬不到？

asdfasadfasfa

无法爬取vue项目的地址

2

你好，我这边尝试爬取了几个vue项目的网站，只能爬取到静态资源 比如这个svg元素是否可以点击是写在data-v-xxx这个方法里的，方法与元素绑定。点击这个后发出的请求是捕获不到的 

gjm-anban

[BUG] 使用 simple 模式过滤时出现不正常任务

3

## Version - **Golang**: `go version go1.18 darwin/arm64` - **Browser**: `Google Chrome 103.0.5060.53` - **OS**: `macOS 12.4 (21F79) [m1]` - **Arch**: `arm64` - **Commit** - `321828272c66c95a05fd262365a501e8f7b5d031` - `dbf70647a44bbfbdaeec98791f90c2497d781708` - latest...

PIGfaces