weibo-crawler icon indicating copy to clipboard operation
weibo-crawler copied to clipboard

unicodedata.normalize

Open liy010 opened this issue 4 years ago • 1 comments

https://github.com/dataabc/weibo-crawler/blob/39022f8b9126e86097e9197f98324aa6d7ecd050/weibo.py#L545

这一行可以使用unicodedata.normalize来转换,替换\u200b我之前也用过,效果不太理想。 (我爬取使用的是selenium,看到你的才知道我那个太麻烦了,还是直接分析json数据方便)

liy010 avatar Jan 22 '21 02:01 liy010

感谢建议。

给出了更好的方式,如果方便,能否按照上面的方式修改代码并pull request呢?这样您还可以成为本项目的Contributor。

dataabc avatar Jan 22 '21 11:01 dataabc