URLFinder

URLFinder copied to clipboard

-ff导出通过cmd.U来获取，但是cmd.U只有一个值，会导致输出结果都划分到to Other的范畴

NewBeginning6

Start 40 Spider... Spider OK ---------------------------------------- panic: runtime error: invalid memory address or nil pointer dereference [signal SIGSEGV: segmentation violation code=0x1 addr=0x40 pc=0x68fc89] goroutine 1 [running]: github.com/pingc0y/URLFinder/util.GetProtocol({0xc0000d09f0, 0x22}) /home/runner/work/URLFinder/URLFinder/util/utils.go:122 +0xc9...

AmShadows

Fix malformed go.sum for Go 1.22

3

Go 1.22 seems to be more strict with go.sum syntax, reporting an error: ```` go1.22rc1 build malformed go.sum: [...]/URLFinder/go.sum:22: wrong number of fields 1 ```` fixes #95

stefanb

Support Go 1.22

2

When trying * https://github.com/Homebrew/homebrew-core/pull/157782 URLfinder failed to build with error: ```` malformed go.sum: /private/tmp/urlfinder-20231222-2669-qz54z3/URLFinder-2023.9.9/go.sum:22: wrong number of fields 1 ```` pointing to the unusual: https://github.com/pingc0y/URLFinder/blob/e1c0334f72e00f5eed98af985da3d0879210e260/go.sum#L22

stefanb

在js获取中经常出现api调用，如果用get去请求可能会返回不正确的方法 如果用post请求，缺失参数会报告缺失参数，可以更有效地寻找未授权的api调用

tutu8765

希望再增加一個地方

1

你好: 希望能夠從文件夾裡面提取任何 URL 地址出來! 相關參考: https://vovsoft.com/software/url-extractor/ @pingc0y

ghost

希望加个新功能

1

如果返回的结果超过90%size相同，则这个size的返回判定为相同页面，不然结果实在太多了看得眼花缭乱

YanXi9999

正则匹配比较直接

1

看了源代码，实际对于部分站点的JS文件中存在异步加载，正则目前匹配不到 `url: '{path}'` 

helGayhub233

为啥指定返回状态码200和403会返回302的跳转链接啊

1

 RT,师傅为啥指定返回状态码200和403会返回302的跳转链接啊

JCCD

作者你好，URLFinder很棒，我使用了一段时间，使用过程中发现了一些重要问题，希望作者可以看到

1

### 使用过程中发现了以下几个问题 1. **关于"base 标签"的判断**：在HTML代码中“base标签” 并不一定以标签的形式（``）出现，有一些时候 “base标签” 会以变量赋值的形式出现在HTML代码中，例如：（`base: "../script/"；baseUrl: './'；BASEURL="/baseProj/"；basePath = "../../"；`）。我在crawler.go和run.go中添加了一段代码，用来判断以变量赋值的形式存在的 “base标签” 。 2. **请求头的Referer选项**：许多页面的请求头中若没有Referer选项会得不到正确的响应结果或者直接访问不了该页面，我在请求头的设置中添加了Referer选项。 3. **filter.go中的QueryUnescape函数**：这个函数在某些情况会出现错误；例如 str, _ = url.QueryUnescape("%s%s:%s/ABC/") 这样一行代码，将出现错误，str是一个空字符串，这将导致许多url访问失败。我添加了小段代码，做出了简单的判断。 4. **浏览器渲染**：仅获取了页面的源代码，然后进行深度探测，这样获取的数据有限。在作者代码的基础上，做了如下修改： （1）使用go_rod库进行浏览器渲染获取页面加载过程中所有事件的响应体（包括页面源代码） （2）保存所有响应事件的响应体和响应头（除.jpg、.svg等格式的文件） **可以使用这几个地址进行测试（”http://118.122.93.12:89/“，”https://185.152.180.207/“，”http://13.80.255.118:8082/“，”http://84.19.75.216/“） 以上是我使用过程中发现的几个重要问题，希望会对这个项目有帮助，并期待你的回复。**

Liiu04