UrlCrawler
UrlCrawler copied to clipboard
Published
20 hours ago •
saucer-man
saucer-man
python写的全站url爬取脚本，爬取网站的全部url用于分析站点目录
UrlCrawler
author : saucerman
description: python写的全站url爬取脚本，爬取网站的全部url用于分析站点目录
说明
暂未使用多进程或多线程，速度不快，可自行修改源码
基本思想如下所示：
saucer-man