Jason Lao
Results
2
issues of
Jason Lao
hi： 您好， 我看了一下这个工程，想问一下这个工程的分布式是如何体现的？ “要想尝试分布式，可以在另外一个目录运行此工程”。对句话我不是很理解。 我猜测是：同时运行多个实例，进行抓取。在这种情况下，是否会存在重复抓取的情况（如果在数据库中进行查重判断效率是否会低）？ 我的思路是：1个master，n个Slave，媒介为redis。 master：负责url管理：分发url给slave，url的增加（1.自己获取的url）。 slave：通过url去下载资源。
the position of cursor is uncorrect in some situation.for example (the % stands for cursor). 123 456 789.input cursor to the String ,then 123 456 %789. Deleting..... the bug comes...