hexo-douban icon indicating copy to clipboard operation
hexo-douban copied to clipboard

已经一星期了爬不到数据

Open opfanswyx opened this issue 4 years ago • 9 comments

我是一台linux服务器上运行的: nodejs -v v14.8.0 hexo-douban 1.1.3

每天试几次,持续一周了,抓不到任何数据

INFO Validating config INFO Start processing INFO 0 books have been loaded in 1254 ms, because you are offline or your network is bad INFO Generated: books/index.html

opfanswyx avatar Sep 14 '20 11:09 opfanswyx

不好意思,工作比较忙,大学时候搞的玩具已经无力维护了~ 😭

mythsman avatar Sep 14 '20 12:09 mythsman

不好意思,工作比较忙,大学时候搞的玩具已经无力维护了~ 😭

好的,没事,只是问问哈

opfanswyx avatar Sep 15 '20 06:09 opfanswyx

不好意思,工作比较忙,大学时候搞的玩具已经无力维护了~ 😭 我把node回退了v12.18.0后爬到了数据,貌似可能更新的版本存在兼容性问题

opfanswyx avatar Oct 03 '20 06:10 opfanswyx

一样爬不到: 0 books have been loaded in 2791 ms, because you are offline or your network is bad

hayschan avatar Oct 06 '20 04:10 hayschan

一样爬不到: 0 books have been loaded in 2791 ms, because you are offline or your network is bad

我把node回退了v12.18.0后爬到了数据,可以正常使用了。

opfanswyx avatar Oct 06 '20 13:10 opfanswyx

谢谢,我研究下怎么回退

hayschan avatar Oct 06 '20 15:10 hayschan

一样爬不到: 0 books have been loaded in 2791 ms, because you are offline or your network is bad

我把node回退了v12.18.0后爬到了数据,可以正常使用了。

的确回退后就能爬去到数据了,可是每次都要回退好麻烦诶

hayschan avatar Oct 09 '20 17:10 hayschan

我发现可以使用yarn add hexo-douban来解决。yarn会自动升级hexo-douban依赖的,已经不能使用的包。

一样爬不到: 0 books have been loaded in 2791 ms, because you are offline or your network is bad

我把node回退了v12.18.0后爬到了数据,可以正常使用了。

的确回退后就能爬去到数据了,可是每次都要回退好麻烦诶

jiehua1995 avatar Nov 24 '20 17:11 jiehua1995

@hayschan 我之前也是v12.18.0 就是更新了下node , 现在抓不到了 INFO 0 books have been loaded in 987 ms, because you are offline or your network is bad INFO 0 movies have been loaded in 1040 ms, because you are offline or your network is bad 希望可以改善下

weilain avatar Jan 11 '21 03:01 weilain

更新了一波[email protected] ,可以先尝试下,如果有问题可以重新再反馈下,这个issue先关了。

mythsman avatar Nov 08 '22 05:11 mythsman

Hi,感谢作者提供的豆瓣插件,我是多年的老用户了。 冒昧基于作者的1.1.3版本魔改了一版1.1.3plus(因为我服务器直接抓取豆瓣好像还挺稳定的,后续基于公用服务抓取豆瓣反而抓不到)

"dependencies": {
  ...
  "hexo-douban": "git+https://github.com/icheer/hexo-douban.git"
  ...
}

这样修改package.json,(最好删掉node_modules/hexo-douban目录),然后npm install一下(如果是linux服务器,请确保已经安装过git了 yum install git -y),就可以通过hexo douban -h命令抓取豆瓣信息了。 增加了豆瓣音乐的支持,详见readme文档。 这是我一直期盼的音乐页面demo: http://icheer.me/albums/

[root@VM-4-5-centos icheerme]# hexo douban -h
INFO  Start processing
想读: 64
在读: 34
读过: 98
INFO  196 books have been loaded in 18522 ms
想看: 45
在看: 11
看过: 260
INFO  316 movies have been loaded in 16623 ms
想听: 0
在听: 0
听过: 0
INFO  0 albums have been loaded in 20801 ms, because you are offline or your network is bad
想玩: 1
在玩: 2
玩过: 24
INFO  27 games have been loaded in 2015 ms
[root@VM-4-5-centos icheerme]#
[root@VM-4-5-centos icheerme]# 有时候不太顺利抓取到0条,可能因为翻页抓得太频繁了,可能被限流了。。过一会再单独抓一下它吧。。^C
[root@VM-4-5-centos icheerme]#
[root@VM-4-5-centos icheerme]# hexo douban -a
INFO  Start processing
想听: 25
在听: 28
听过: 68
INFO  121 albums have been loaded in5172 ms

icheer avatar Nov 25 '22 07:11 icheer