UrlCrawler

UrlCrawler copied to clipboard

UrlCrawler

author : saucerman

description: python写的全站url爬取脚本，爬取网站的全部url用于分析站点目录

说明

暂未使用多进程或多线程，速度不快，可自行修改源码

基本思想如下所示：