weibo-crawler
weibo-crawler copied to clipboard
存储id的数据类型问题
trafficstars
现在的id好像都是按int类型进行存储的,但是微博的id位数很长(我自己爬的过程中,有些微博的id是16位),如果直接存到csv/excel中去,由于这俩对整数位最高只支持15位,会导致id的最后一位直接变成0。建议爬下来之后转为str类型,或者考虑其他解决办法。 我当前如果要得到id正确的csv文件,需要先存到db,然后导出成txt,在从txt将数据导入excel/csv,并将对应的数据列选定为文本。
感谢建议。
目前csv是可以的,只不过用excel打开显示不正确。这是非常好的建议,我再考虑下,看是否要转换成适合的格式,再次感谢。如果还有建议,欢迎继续交流。
感谢建议,现在csv可以正确显示了,如果还有建议,欢迎继续讨论。
你确定之前的csv可以吗,我check了我上次爬的结果,不管是csv还是xlsx,id太长了的话,最后一位都会直接变成0,但是我看了你新commit的代码,把id转成str了,应该就不会有这个问题了。
之前的用其它编辑器打开没问题,excel会显示不正确。