weibo-search icon indicating copy to clipboard operation
weibo-search copied to clipboard

求增加ip属地字段!

Open shiki214215 opened this issue 2 years ago • 11 comments

shiki214215 avatar Jul 11 '23 11:07 shiki214215

我看了一下在爬取发布时间的from那里有个进入正文的链接,然后进入正文页面后元素里有ip属地信息。大神你的search.py能不能改写出一段爬取时先进入对应的url里再对那个页面的元素“woo-box-flex"进行爬取?

shiki214215 avatar Jul 11 '23 12:07 shiki214215

(DWOUIZ(3@L@VB(QINT6WBW

shiki214215 avatar Jul 11 '23 12:07 shiki214215

要的就是这个浙江

shiki214215 avatar Jul 11 '23 12:07 shiki214215

N7} 6K85JCGR9WXZGJI`JB7

shiki214215 avatar Jul 11 '23 12:07 shiki214215

这是通过微博搜索页面的”from“里的链接”https://weibo.com/1686990012/N8MwFjPIY?refer_flag=1001030103_“进去的

shiki214215 avatar Jul 11 '23 12:07 shiki214215

求个改写思路

shiki214215 avatar Jul 11 '23 12:07 shiki214215

您可以修改search.py的最后一个方法,这里就是获取属性的,可以按需求加上该属性的获取,然后修改pipelines.py文件,这里是所有的写入方式,可以修改需要的写入来添加新属性。

dataabc avatar Jul 11 '23 17:07 dataabc

感谢!有时间帮忙写一下吗?我自己写不是很清楚怎么实现通过获取的链接跳转到另一个页面获取信息

shiki214215 avatar Jul 12 '23 02:07 shiki214215

您可以仿造search.py页面跳转写。

dataabc avatar Jul 12 '23 17:07 dataabc

能不能请帮我检查一下,报错不能获得url 3N4)I7L}{PPNH8G0_P$VH69 def parse_weibo(self, response):里加了 L8YCZBWUDD3DY$%P)WG6JUC pipelines.py和items.py里对应的也改了

shiki214215 avatar Jul 14 '23 02:07 shiki214215

我现在不方便调试,如果不能获取link,怀疑link=后面的代码没有匹配到url

dataabc avatar Jul 14 '23 17:07 dataabc