webmagic icon indicating copy to clipboard operation
webmagic copied to clipboard
verified publisher icon code4craft

请教怎样实现一个基于数据库的Scheduler？

Open Mr-LiuDC opened this issue 2 years ago • 3 comments

这样方便我的URL管理并且保存更多关于URL的信息。

Mr-LiuDC avatar Sep 23 '23 11:09 Mr-LiuDC

直接使用消息队列，或者redis的list能否满足你的要求呢？

Farley-Chen avatar Oct 27 '23 19:10 Farley-Chen

现有的 Redis 队列是能用，我想要的基于数据库的，和抓取的信息一样持久化到关系型数据库。

Mr-LiuDC avatar Feb 25 '24 10:02 Mr-LiuDC

现有的 Redis 队列是能用，我想要的基于数据库的，和抓取的信息一样持久化到关系型数据库。

xxl-job

zhhaojie avatar May 26 '24 12:05 zhhaojie