He Yu

Results 2 comments of He Yu

> 我排查到好像是这个原因 ![IMG14939](https://private-user-images.githubusercontent.com/32354936/285838784-7d462fe0-a599-45fe-87f7-2368329e1868.jpeg?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTEiLCJleHAiOjE3MDE4MzY4NDgsIm5iZiI6MTcwMTgzNjU0OCwicGF0aCI6Ii8zMjM1NDkzNi8yODU4Mzg3ODQtN2Q0NjJmZTAtYTU5OS00NWZlLTg3ZjctMjM2ODMyOWUxODY4LmpwZWc_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZGVudGlhbD1BS0lBSVdOSllBWDRDU1ZFSDUzQSUyRjIwMjMxMjA2JTJGdXMtZWFzdC0xJTJGczMlMkZhd3M0X3JlcXVlc3QmWC1BbXotRGF0ZT0yMDIzMTIwNlQwNDIyMjhaJlgtQW16LUV4cGlyZXM9MzAwJlgtQW16LVNpZ25hdHVyZT1iY2M1ZmYzN2FkNGIzZDA1ZWRiZjY3YmEwM2Y0ZDlmOGVjNDI0YTkzNjIzYTc4ZDdjNGU2YWI2YjJhNWIwMGE4JlgtQW16LVNpZ25lZEhlYWRlcnM9aG9zdCZhY3Rvcl9pZD0wJmtleV9pZD0wJnJlcG9faWQ9MCJ9.VboVSb66wQr3lMRoLx3jGni41nG5bseJphX3IBxTwRc) 这个能解决吗,chat版本就不报错了吗

> > 我的情况是vllm加载qwen72,global回答还可以,local明显不对,不清楚原因,为什么要用vllm呢,因为index它太快了,难以置信,这样graphrag才有使用场景,但vllm local search明显不对,1个文件没问题能准确找到相关内容,2个文件以上local search 就找不到相关内容,回答就是幻觉 global能答对,说明整个index过程到最后create_final_documents,all workflow都没有问题 为什么local 找不到相关内容,local search 源码需要调整吗? > > 你有遇到JSONDecodeError: Expecting value: line 1 column 1 (char 0} 问题吗,我的llm是qwen2-7b, infer-engine也是vllm 这个问题是query阶段默认streaming=True导致的,改成False即可