BettaFish icon indicating copy to clipboard operation
BettaFish copied to clipboard

关于爬虫脚本缺少运行库

Open lxs-w opened this issue 2 months ago • 3 comments

Image

麻烦大佬帮看看,我单独运行MindSpider下的main.py文件,提示缺少JavaScript环境,这个项目还需要安装Java虚拟机的么?

lxs-w avatar Nov 11 '25 05:11 lxs-w

你的环境缺少 JavaScript 运行时,导致 execjs 无法正常工作。这个项目并不需要安装 Java 虚拟机(JVM),只需要安装 Node.js 即可。官方文档明确要求 Node.js 版本 ≥ 16.0.0,尤其是爬取抖音和知乎时必须提前安装 Node.js 环境。参考

你可以前往 https://nodejs.org/en/download/ 下载并安装对应系统的 Node.js,安装完成后重启终端再运行脚本即可。无需安装 JVM。

To reply, just mention @dosu.


How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other  Join Discord Share on X

dosubot[bot] avatar Nov 11 '25 05:11 dosubot[bot]

能正常启动了,但我是部署在Ubuntu服务器上的版本,需要登录账号?

Image

lxs-w avatar Nov 11 '25 06:11 lxs-w

在 Ubuntu 服务器上运行 Bilibili 爬虫时,确实需要登录账号,且登录是强制的,不能匿名抓取。项目支持三种登录方式:扫码(qrcode)、手机号(phone)、或 Cookie(cookie),具体方式由配置文件中的 LOGIN_TYPE 决定。你需要在配置中填写对应的账号信息或 Cookie,否则会出现“登录失败”或“凭证无效”等报错,爬虫会直接退出,不会自动跳过登录环节。

扫码登录时,爬虫会自动打开 Bilibili 登录页并获取二维码,需要你扫码完成登录;Cookie 登录则需提前获取有效的 Cookie 并填入配置。建议优先用扫码或 Cookie 登录,手机号登录目前代码未实现(pass)。如果遇到 TimeoutError 或点击超时,可能是页面元素加载慢、网络延迟或浏览器自动化环境有问题,可以尝试切换 HEADLESS=False 让浏览器可见,手动辅助完成滑块验证码等操作。

详细实现和配置方式可参考源码:BilibiliLogin 实现配置说明

To reply, just mention @dosu.


How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other  Join Discord Share on X

dosubot[bot] avatar Nov 11 '25 06:11 dosubot[bot]

登录账号或者配置cookies,无图形界面环境应该使用cookies配置。我可能在未来提供字符二维码扫描方式,但是现在不支持该功能。

DoiiarX avatar Nov 13 '25 17:11 DoiiarX