求增加ip属地字段!
我看了一下在爬取发布时间的from那里有个进入正文的链接,然后进入正文页面后元素里有ip属地信息。大神你的search.py能不能改写出一段爬取时先进入对应的url里再对那个页面的元素“woo-box-flex"进行爬取?
要的就是这个浙江
这是通过微博搜索页面的”from“里的链接”https://weibo.com/1686990012/N8MwFjPIY?refer_flag=1001030103_“进去的
求个改写思路
您可以修改search.py的最后一个方法,这里就是获取属性的,可以按需求加上该属性的获取,然后修改pipelines.py文件,这里是所有的写入方式,可以修改需要的写入来添加新属性。
感谢!有时间帮忙写一下吗?我自己写不是很清楚怎么实现通过获取的链接跳转到另一个页面获取信息
您可以仿造search.py页面跳转写。
能不能请帮我检查一下,报错不能获得url
def parse_weibo(self, response):里加了
pipelines.py和items.py里对应的也改了
我现在不方便调试,如果不能获取link,怀疑link=后面的代码没有匹配到url