web-bee icon indicating copy to clipboard operation
web-bee copied to clipboard

Published 20 hours ago • verified publisher icon codesofun

定时器

Open nonacosa opened this issue 7 years ago • 2 comments

对于一些反爬不错的网站 典型：知乎 应该特别注意模仿用户行为，应该增加定时器每天分三个时段进行智能爬取

nonacosa avatar Apr 23 '17 18:04 nonacosa

打算自己做定时么？考虑用quartz么？

反扒也可以考虑使用代理，从网上找几个用用，，，可以考虑实现自动爬取代理的脚本

JPCui avatar Apr 25 '17 03:04 JPCui

@JPCui 是的，我觉得这个框架为了一个任务调度而引入一个quartz太重了，不如 用 Timer 、ScheduledExecutor 等原生java自己封装一个工具类。 代理的话我开始也打算维护自动爬取代理的程序，后来想了想，不如找一个开源的😄

nonacosa avatar Apr 25 '17 05:04 nonacosa