Crawler_Illegal_Cases_In_China icon indicating copy to clipboard operation
Crawler_Illegal_Cases_In_China copied to clipboard

Published 20 hours ago • verified publisher icon HiddenStrawberry

只爬取网站首页，是否合规呢

Open ly980531752 opened this issue 2 years ago • 1 comments

只爬取网站首页，不深度爬取内容，是否合规

ly980531752 avatar Jul 16 '21 03:07 ly980531752

网站首页的内容是公开数据吗，如果Robots协议允许爬取，是可以的，如果没有Robots协议，是所有人都可以看，不需要登录，应该也是可以的

lhywell avatar Feb 20 '22 10:02 lhywell