HappynessI
HappynessI
我之前会遇到Java虚拟机内存不足的问题,不妨试试增加分配给Java虚拟机的内存: ``` export JAVA_OPTS="-Xmx4g -Xms2g" # 最大4GB,初始2GB webshop --host 0.0.0.0 --port 36001 ```
谢谢您的宝贵意见 我在实现功能的时候确实没有考虑过这方面的问题,我会努力修改的 ^ω^ ---原始邮件--- 发件人: "Martin ***@***.***> 发送时间: 2025年8月30日(周六) 下午5:46 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [Open-LLM-VTuber/Open-LLM-VTuber] [IDEA]为项目增加RAG功能 (Issue #270) martinzh717 left a comment (Open-LLM-VTuber/Open-LLM-VTuber#270) up主太厉害了。 虽然我也不太专业,但我看了这些代码及结构, 我觉得还有很多地方需要重构还完善的。 有些模块应该有类似的实现,为什么还要自己手动再实现一遍? 譬如websocket、agent、访问llm的各个实现类,目前市面上都已经有相应的sdk,还要重复造轮子,导致很多的扩展就不能利用市面上其他开源社区的更新来增强该系统。...
最近手头工作比较多,估计年后有空闲时间弄一弄 ------------------ 原始邮件 ------------------ 发件人: "Open-LLM-VTuber/Open-LLM-VTuber" ***@***.***>; 发送时间: 2025年11月2日(星期天) 凌晨3:46 ***@***.***>; ***@***.******@***.***>; 主题: Re: [Open-LLM-VTuber/Open-LLM-VTuber] [IDEA]为项目增加RAG功能 (Issue #270) mastwet left a comment (Open-LLM-VTuber/Open-LLM-VTuber#270) @HappynessI 大佬是否有相关的pullrequest? — Reply to this email directly, view it on...
我也遇到了同样的问题,当时的情况是服务器上有2张空余的卡,所以我在启动ray的指令是: `CUDA_VISIBLE_DEVICES=3,4 ray start --head --port=6380 --node-ip-address=127.0.0.1 --num-gpus=2 --dashboard-host=0.0.0.0 --dashboard-port=8260` 在操作系统层面,Ray 只能看到 GPU 3 和 4;又通过 `--num-gpus=2`: 在 Ray 自己的配置层面,它也只知道自己有 2 个 GPU。但问题出在 Ray 的调度机制上——Ray 的头节点本身需要占用一些资源来运行它的内部服务(如调度器和代理)。所以,当 Ray 启动后,它的调度器发现自己拥有的全部 2 个...