FlyCarrot comments

Results 13 comments of


                                            FlyCarrot

[Bug]: deepseek-coder-v2-lite-instruct; Exception in worker VllmWorkerProcess while processing method initialize_cache: [Errno 2] No such file or directory: '/root/.triton/cache/de758c429c9ff1f18930bbd9c3004506/fused_moe_kernel.json.tmp.pid_1528_587007', Traceback (most recent call last):

Maybe use triton==2.2.0. For me, it solved this problem.

vllm无法自动选择tool

> qwen2不太能支持这个vllm 0.6的原生tool call功能。但是我正在让下一版qwen2.5支持这个（希望顺利）。 > > 但是这应该不会影响vllm服务的正常启动（不要开vllm的tool call功能），启动vllm的方式见 https://github.com/QwenLM/Qwen2?tab=readme-ov-file#vllm （如果启动命令没问题、但是有影响，可以试试升级到最新的vllm或降级到0.5.x）请问这个有进展吗？Qwen2.5的官方文档里提到了Qwen-Agent可以用来做处理。但实际使用上我观察现在的版本里stop token用的是qwen2的function call的'✿RESULT✿', '✿RETURN✿'，似乎没有对Qwen2.5做特殊处理？

[Bug] configs/datasets/agieval/agieval_mixed_713d14.py not found

Maybe python path is empty or error. Use this cmd to correct it. ```shell export PYTHONPATH=$PWD:$PYTHONPATH ```