exotic-amazon icon indicating copy to clipboard operation
exotic-amazon copied to clipboard

关于extract-config

Open ws4435700 opened this issue 1 year ago • 1 comments

你好,关于extract-config中各爬取任务父子级的关系,不知道是不是可以大概讲下。 我这边调整“列表页”-“商品详情页”以及“商品评论”的父子孙级关系后, 发现无论是否有父子级关系,AmazonJdbcSinkSQLExtractor.isRelevant都会重复创建多次对目标url进行判断,但是在有父子级关系的时候,反而会漏掉部分url。不会使用孙级的判断来对url进行匹配。

ws4435700 avatar May 25 '23 14:05 ws4435700