AppCrawler

AppCrawler copied to clipboard

有个问题

3

爬取googleplay不用翻墙代理吗？googleplay是动态加载的只用scrapy可以是实现吗 ？

zoe531

ImportError: No module named 'sgmllib'

1

你好。你的这个项目非常有意义，我也有相同的需求。 我是一个Python初学者。对于代码部分有些疑问。 我安装了Python3.5的版本，我暂时还没弄懂如何启动MongoDB，所以先先把结果保存为csv文件： scrapy crawl google -o test.csv JOBDIR=app/jobs 但是我得到如下错误信息： ImportError: No module named 'sgmllib' 我在网上查找原因，得知SgmlLinkExtractor & LinkExtractor都需要sgmllib的支持。而Python3.0不支持sgmllib。所以我是不是需要重新安装Python2.7的环境？还有别的替代方法吗？ 另外我也很好奇，在Google Play “Viber”页面下，获取app id和下载次数后，爬虫又是如何去爬下一个App的，这个循环是如何实现的？ rules = [ Rule(LinkExtractor(allow=("https://play\.google\.com/store/apps/details", )), callback='parse_app',follow=True), ] #...

Bluetooth503