FlashRAG icon indicating copy to clipboard operation
FlashRAG copied to clipboard

复现论文结果遇到的一些问题

Open LiyiLily opened this issue 8 months ago • 10 comments

首先感谢作者开源代码,便于对不同方法的公平比较。最近我在尝试运行“FlashRAG/examples/methods/run_exp.py”文件,部分方法根据指南可以直接、或简单修改后运行成功,以下方法遇到一些问题希望可以帮助解答:

  1. LongLLMLingua 和 RECOMP-abstractive 方法out of memory,多次运行发现该问题出现的时间不固定,有时是在加载模型时、有时可以顺利加载模型但在Processed prompts时又报错。我的实验环境用的4张24G的4090,不清楚是不是该硬件环境不支持。

  2. Ret-Robust和flare运行报错 Ret-Robust报错如下: image

flare报错如下: image

查看发现,检索返回的doc_item是字典组成的列表,而不是单一字典

  1. REPLUG 运行报错,参数异常 image branching_pipeline.py line 19:self.generator = get_generator(config, model=model) 而 VLLMGenerator 中 只声明了config,缺少参数model

LiyiLily avatar Jun 21 '24 02:06 LiyiLily