ECommerceCrawlers icon indicating copy to clipboard operation
ECommerceCrawlers copied to clipboard

大家可以对此项目提出建议

Open Hatcat123 opened this issue 5 years ago • 12 comments

我们团队会积极回应大家的建议

Hatcat123 avatar Jul 03 '19 07:07 Hatcat123

fofa導出建议: 導出格式: {http://|https://}(可選){ip|hostname}{:port}}(可選)

687766616e avatar Jul 03 '19 15:07 687766616e

DianpingCrawler/dazhong.py 51行:‘res = requests.get(self._cur_request_css_url, headers=self._default_headers, cookies=self._cookies)’ 应该为‘res = requests.get(url, headers=self._default_headers, cookies=self._cookies)’

ggann9527 avatar Jul 17 '19 09:07 ggann9527

DianpingCrawler/dazhong.py 51行:‘res = requests.get(self._cur_request_css_url, headers=self._default_headers, cookies=self._cookies)’ 应该为‘res = requests.get(url, headers=self._default_headers, cookies=self._cookies)’

好的,你的意见真的很有用,同时你可以进行pR提交

Hatcat123 avatar Jul 17 '19 10:07 Hatcat123

DianpingCrawler/dazhong.py 51行:‘res = requests.get(self._cur_request_css_url, headers=self._default_headers, cookies=self._cookies)’ 应该为‘res = requests.get(url, headers=self._default_headers, cookies=self._cookies)’

好的,你的意见真的很有用,同时你可以进行pR提交

google translate? 感覺怪怪的...😅

687766616e avatar Jul 17 '19 13:07 687766616e

添加影评分析爬虫

Hatcat123 avatar Sep 08 '19 04:09 Hatcat123

老哥,最近爬虫风声很近,慎搞慎搞

gaowei1012 avatar Oct 21 '19 15:10 gaowei1012

运行环境,用到的依赖,使用方法,写清楚

TianmaBifang avatar Oct 23 '19 05:10 TianmaBifang

这个已经加入到projects计划。项目比较多正在整理,完善

Hatcat123 avatar Oct 23 '19 05:10 Hatcat123

界面完全可以用PyQt来写,比TK好用。

wangx404 avatar Oct 28 '19 01:10 wangx404

您好,目前有一个需求是像搜狗微信一样按关键词搜索公众号文章,获得文章标题、链接、公众号名称,请问贵团队知道有技术路径可以实现这个需求吗?为什么搜狗微信老是搜索不全呢?

QuentinDan avatar Oct 11 '20 02:10 QuentinDan

您好,目前有一个需求是像搜狗微信一样按关键词搜索公众号文章,获得文章标题、链接、公众号名称,请问贵团队知道有技术路径可以实现这个需求吗?为什么搜狗微信老是搜索不全呢?

搜狗微信只能搜索部分数据,拿不到全部的数据,我们之前和您的想法一致,但是在实践中放弃了这种做法。我们的做法是:定时监控采集某个相关领域的所有公众号的文章,然后再做搜索。http://wechat.doonsec.com 当然这样也还是不能根据关键字得到100%的数据,只能保证在我监控公众号内的范围。除非你能拥有腾讯微信数据库的权限,这看起来似乎没有可能。

Hatcat123 avatar Oct 11 '20 05:10 Hatcat123

您好,安居客的经纪人信息爬虫目前好像网站上是用的二维码转到小程序去才能爬到电话号码,这个点能做吗?感谢感谢

siyu1992 avatar Sep 17 '21 09:09 siyu1992