xxll88

same problem [rank0]: TypeError: DeepseekV2ForCausalLM.__init__() got an unexpected keyword argument 'cache_config'

same problem ,how to resolve? 21:56:42,374 graphrag.index.emit.parquet_table_emitter INFO emitting parquet table create_final_community_reports.parquet 21:56:42,376 graphrag.index.emit.parquet_table_emitter ERROR Error while emitting parquet table Traceback (most recent call last): File "/home/lile/microsoft/graphrag/graphrag/index/emit/parquet_table_emitter.py", line 40, in...

> 感谢 @xgl0626 和 @therealcyberlord ，我遇到了同样的问题，并如下更改了代码，现在一切运行正常了  > > ``` > try: > open('./buf.csv','w+',encoding='UTF-8') > data.to_csv('./buf.csv',encoding='UTF-8') > data=pd.read_csv('./buf.csv',encoding='UTF-8') > data['community']=data['community'].astype(str) > > await self._storage.set(filename, data.to_parquet()) > shutil.rmtree('./buf.csv') > except ArrowTypeError...

+1 graphrag is too slow

能不能直接贴中文，到底改哪里，让我抄抄作业行不，看源码太累了

使用qwen2-72b ,多个文件中其中几个文件的回答正确，有几个文件的回答全是幻觉（如只用1个文件也没问题），感觉实体没有提取到，用了max_gleanings to 0也没用, encoding_model: cl100k_base要用吗？

我的情况是vllm加载qwen72，global回答还可以，local明显不对，不清楚原因，为什么要用vllm呢，因为index它太快了，难以置信，这样graphrag才有使用场景，但vllm local search明显不对，1个文件没问题能准确找到相关内容，2个文件以上local search 就找不到相关内容，回答就是幻觉 global能答对，说明整个index过程到最后create_final_documents，all workflow都没有问题 为什么local 找不到相关内容，local search 源码需要调整吗？

> > 我的情况是vllm加载qwen72，global回答还可以，local明显不对，不清楚原因，为什么要用vllm呢，因为index它太快了，难以置信，这样graphrag才有使用场景，但vllm local search明显不对，1个文件没问题能准确找到相关内容，2个文件以上local search 就找不到相关内容，回答就是幻觉 global能答对，说明整个index过程到最后create_final_documents，all workflow都没有问题 为什么local 找不到相关内容，local search 源码需要调整吗？ > > 你有遇到JSONDecodeError: Expecting value: line 1 column 1 (char 0} 问题吗，我的llm是qwen2-7b, infer-engine也是vllm 我看每次index日志里最后/community_reports 阶段/是会出现几次： File "miniconda3/envs/autogen/lib/python3.11/json/decoder.py",...

我现在的测试下来，qwen2:72b model_supports_json: false 效果较好 ，log中有少量JSONDecodeErro，换了了llama3.1 70B和Mistral-Large-Instruct-2407-123B-exl2 效果都不行，要么log有大量出错或者回答错误，要么慢，超过2小时，我就放弃不试了 接下来是关注重点： 只有openai embedding 能正确 local search ，global search 效果也较好 两种本地local embedding方式１、llama.cpp 无需改源码　　２、ollama embedding 需要改源码 　local search 都找不到内容，回答幻觉 ，global search 效果尚可 结论：目前采用 qwen2/vllm...

comment it , delete cache and reindex ,everything is ok