FlashRAG
FlashRAG copied to clipboard
复现论文结果遇到的一些问题
首先感谢作者开源代码,便于对不同方法的公平比较。最近我在尝试运行“FlashRAG/examples/methods/run_exp.py”文件,部分方法根据指南可以直接、或简单修改后运行成功,以下方法遇到一些问题希望可以帮助解答:
-
LongLLMLingua 和 RECOMP-abstractive 方法out of memory,多次运行发现该问题出现的时间不固定,有时是在加载模型时、有时可以顺利加载模型但在Processed prompts时又报错。我的实验环境用的4张24G的4090,不清楚是不是该硬件环境不支持。
-
Ret-Robust和flare运行报错 Ret-Robust报错如下:
flare报错如下:
查看发现,检索返回的doc_item是字典组成的列表,而不是单一字典
- REPLUG 运行报错,参数异常
branching_pipeline.py line 19:self.generator = get_generator(config, model=model) 而 VLLMGenerator 中 只声明了config,缺少参数model