weiboSpider

weiboSpider copied to clipboard

有没有可能只抓取包含某个关键词的内容呢？

1

类似个人主页内高级搜索的【key_word=关键词】

fz94fz

爬取用户帖子失败

2

为了更好的解决问题，请认真回答下面的问题。等到问题解决，请及时关闭本issue。 - 问：请您指明哪个版本运行出错（github版/PyPi版/全部）？ 答：github - 问：您使用的是否是最新的程序（是/否）？ 答：是 - 问：爬取任意用户都会运行出错吗（是/否）？ 答：是 - 问：若只有爬特定微博时才出错，能否提供出错微博的weibo_id或url（非必填）？ 答： - 问：若您已提供出错微博的weibo_id或url，可忽略此内容，否则能否提供出错账号的**user_id**及您配置的**since_date**，方便我们定位出错微博（非必填）？ 答： - 问：如果方便，请您描述出错详情，最好附上错误提示。 答：爬取特定用户的时候，可能是之前触发了反爬？导致反复出现以下error： **************************************************************************************************** Progress: 0%| | 0/1 [00:00

whale-withme

请求失败

1

为了更好的解决问题，请认真回答下面的问题。等到问题解决，请及时关闭本issue。 - 问：请您指明哪个版本运行出错（github版/PyPi版/全部）？ 答：GitHub版 - 问：您使用的是否是最新的程序（是/否）？ 答：否 - 问：爬取任意用户都会运行出错吗（是/否）？ 答：是 - 问：若只有爬特定微博时才出错，能否提供出错微博的weibo_id或url（非必填）？ 答： - 问：若您已提供出错微博的weibo_id或url，可忽略此内容，否则能否提供出错账号的**user_id**及您配置的**since_date**，方便我们定位出错微博（非必填）？ 答： - 问：如果方便，请您描述出错详情，最好附上错误提示。 答：请求失败，错误信息：432 Client Error: for url: https://m.weibo.cn/api/container/getIndex?containerid=1005052015108055。等待 10 秒后重试... 运行后出现该提示，是什么原因呢？

Sxr420

有些图片链接不是mblog显示，无法下载

5

- 问：请说明需要什么新功能。 答：有些图片链接不是mblog显示，无法下载 - 问：请说明添加该功能的意义。（非必填） 答：有些图片链接是直接链接到微博内容，例如：https://weibo.com/微博ID/编号，不是给的https://weibo.cn/mblog/这种链接，导致无法下载

QzQ

评论抓不到了吗？

1

感谢您申报bug，为了表示感谢，如果bug确实存在，您将出现在本项目的贡献者列表里；如果您不但发现了bug，还提供了很好的解决方案，我们会邀请您以pull request的方式成为本项目的代码贡献者（Contributor）；如果您多次提供很好的pull request，我们将邀请您成为本项目的协助者（Collaborator）。当然，是否提供解决方按都是自愿的。不管是否是真正的bug、是否提供解决方案，我们都感谢您对本项目的帮助。 - 问：请您指明哪个版本出了bug（github版/PyPi版/全部）？ 答： - 问：您使用的是否是最新的程序（是/否）？ 答： - 问：爬取任意用户都会复现此bug吗（是/否）？ 答： - 问：若只有爬特定微博时才出bug，能否提供出错微博的weibo_id或url（非必填）？ 答： - 问：若您已提供出错微博的weibo_id或url，可忽略此内容，否则能否提供出错账号的**user_id**及您配置的**since_date**，方便我们定位出错微博（非必填）？ 答： - 问：如果方便，请您描述bug详情，如果代码报错，最好附上错误提示。 答：

biggmama

NoneType （Nick_name）类型错误流程排错

2

为了更好的解决问题，请认真回答下面的问题。等到问题解决，请及时关闭本issue。 - 问：请您指明哪个版本运行出错（github版/PyPi版/全部）？ 答：全部 - 问：您使用的是否是最新的程序（是/否）？ 答：是 - 问：爬取任意用户都会运行出错吗（是/否）？ 答：是 - 问：若只有爬特定微博时才出错，能否提供出错微博的weibo_id或url（非必填）？ 答： - 问：若您已提供出错微博的weibo_id或url，可忽略此内容，否则能否提供出错账号的**user_id**及您配置的**since_date**，方便我们定位出错微博（非必填）？ 答： - 问：如果方便，请您描述出错详情，最好附上错误提示。 答：**一个冗长的排错过程** 步骤1 测试是否是由于python版本导致的问题 结果：无关python版本，3.9, 3,10, 3.11，3.13, 3.14都出现同样的问题 步骤2 测试是否是由于网络的问题 结果： 更换不同地点IP，都报出同样错误 步骤3...

Evifly

感谢大佬的详细教程和开源！！

sunmengmm

是否考虑在文本信息与下载完毕的图视频文件，建立关联关系

2

- 问：请说明需要什么新功能。 答：微博正文添加本地下载好的图视频相对地址字段，保持上下文语义不丢失，即某个微博能对应到已经下载的其图片或视频相对地址，用户的头像相对地址同理。 - 问：请说明添加该功能的意义。（非必填） 答：保持微博文本与对应图视频的语义上下文关系

1689665417

安卓端请求超话的gsid和参数怎么生成了？如下面请求的参数如何每次请求动态生成gsid和s值 https://api.weibo.cn/2/statuses/container_timeline_topicpage?flowId=%s&c=android&s=%s&from=10F9195010&gsid=%s&containerid=%s" ,superTopicId,s, gsid, superTopicId

Fengyinjie

感谢您申报bug，为了表示感谢，如果bug确实存在，您将出现在本项目的贡献者列表里；如果您不但发现了bug，还提供了很好的解决方案，我们会邀请您以pull request的方式成为本项目的代码贡献者（Contributor）；如果您多次提供很好的pull request，我们将邀请您成为本项目的协助者（Collaborator）。当然，是否提供解决方按都是自愿的。不管是否是真正的bug、是否提供解决方案，我们都感谢您对本项目的帮助。 - 问：请您指明哪个版本出了bug（github版/PyPi版/全部）？ 答：github版 - 问：您使用的是否是最新的程序（是/否）？ 答： - 问：爬取任意用户都会复现此bug吗（是/否）？ 答： - 问：若只有爬特定微博时才出bug，能否提供出错微博的weibo_id或url（非必填）？ 答： - 问：若您已提供出错微博的weibo_id或url，可忽略此内容，否则能否提供出错账号的**user_id**及您配置的**since_date**，方便我们定位出错微博（非必填）？ 答： - 问：如果方便，请您描述bug详情，如果代码报错，最好附上错误提示。 答：

bareawayme