He Yu
He Yu
> 我排查到好像是这个原因  这个能解决吗,chat版本就不报错了吗
> > 我的情况是vllm加载qwen72,global回答还可以,local明显不对,不清楚原因,为什么要用vllm呢,因为index它太快了,难以置信,这样graphrag才有使用场景,但vllm local search明显不对,1个文件没问题能准确找到相关内容,2个文件以上local search 就找不到相关内容,回答就是幻觉 global能答对,说明整个index过程到最后create_final_documents,all workflow都没有问题 为什么local 找不到相关内容,local search 源码需要调整吗? > > 你有遇到JSONDecodeError: Expecting value: line 1 column 1 (char 0} 问题吗,我的llm是qwen2-7b, infer-engine也是vllm 这个问题是query阶段默认streaming=True导致的,改成False即可