spider_collection

spider_collection copied to clipboard

知乎参数咋加密的呀

12

知乎参数咋加密的呀

youzeliang

[Bug]

3

**具体项目** 【e.g. B站爬虫】 **bug描述** 创建了bilbili_Output.txt但是无内容，0字节 **bug复现步骤** 1. 修改了bilibili.py的 base_url = "https://www.bilibili.com/video/BV1Lr4y1s7ty" up_uid = "37754047"  2. 修改了SP_download.py os.system(r"you-get -o D:/bilibili/sp "+url)  3.尝试分别在路径 spider_collection\bilibiliSP spider_collection\bilibiliSP\bilibiliSP spider_collection\bilibiliSP\bilibiliSP\spiders 执行scrapy crawl bilibili得到的均是0字节文件 **报错信息**...

a139169370

关于知乎爬虫

9

感谢优秀的工作！ 知乎用户文章有反爬机制，作者有空可以拓展一下知乎的爬虫，或者分享一下爬取公众号文章的经验吗

MercuialC

**具体项目** 【e.g. 微博爬虫】 **bug描述** 程序卡着了 也没报错 可能是因为前端标签变了？ **bug复现步骤** **报错信息** 1.  **系统环境** - 操作系统: Windows10 - ide: pycharm - pyhon版本: 3.9

Voltance

现在知乎回答爬虫里的url还好用吗

1

跑了知乎回答遇到这个问题： 感觉是因为130行得到的response是空的？ 另外用的url是https://zhihu.com/api/v4/questions/question_id/answers?..... 这种形式的，但是我在开发者选项里看到现在的url似乎是这样的：https://www.zhihu.com/api/v4/questions/question_id/feeds?cursor=..... 不知道是不是知乎又改了？ 感谢！

zhiyuan-s

gitlGl

b站爬取视频 **bug描述** you_get框架已经安装完成了但是在运行时还是报错，没有you_get框架 **系统环境** - 操作系统: Windows11 - ide: pycharm - pyhon版本: 3.7.3

yxqyyds

**具体项目** 【e.g. 知乎用户爬虫】 **bug描述** ip代理池为False, 配置cookie之后运行spider.py 报错 "用户回答获取失败,请带着以下报错去github原仓库提出issue" **报错信息** Traceback (most recent call last): File "C:\Users\10701\Downloads\zhihu_user_info_spider\zhihu_user_info_spider\requester\QuestionRequester.py", line 84, in __get_single_question_user_id total_num = self.__get_total(question) File "C:\Users\10701\Downloads\zhihu_user_info_spider\zhihu_user_info_spider\requester\QuestionRequester.py", line 118, in __get_total headers=self._header_with_zse_96(api_url=question_url),...

today5566