FlashRAG
FlashRAG copied to clipboard
RUC-NLPIR
⚡FlashRAG: A Python Toolkit for Efficient RAG Research
我在sample()中增加了print("sample")，但并没有输出。 执行python3 run_exp.py --method_name=replug --dataset_name=nq --gpu_id=0 --split=test，同一个batch中的输出确实是一样的，  所以想知道generate和sample怎么关联的
Hi, I set different ```seed``` values in config, but this doesn't change results' metric scores. I also looked at the intermediate data, retrieved passages, pred answers, etc remain the same...
Hi, I get extremely low EM for ```Spring```. I set up ```Spring``` following configurations in reproduction guideline. for Spring, the metrics when evaluated with NQ are: ``` em: 0.00443213296398892 f1:...
目前我浏览了与例子相关的代码，想请问是否目前提供的代码只实现了调用本地模型的功能（通过transformer库）？ 也就是说如果我想使用远程调用的方式，需要重构generator以及相关模型调用的代码，还是说我遗漏了没有找到api调用相关的代码。
Collecting vllm>=0.4.1 (from flashrag==0.0.1) 我在跟着新手教程配置环境的时候，出现了以下问题（vllm下载无法成功），并且即使我尝试使用虚拟环境安装也无法成功，所以我想请问以下问题是否有办法解决，目前我不太清楚问题原因， 目前我是在windows下跑的，终端用的是cmd  Downloading vllm-0.5.4.tar.gz (958 kB) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 958.6/958.6 kB 5.5 MB/s eta 0:00:00 Installing build dependencies ... done Getting requirements to build wheel ... error...
File "/hpc2hdd/home/.conda/envs/faiss-gpu/lib/python3.12/site-packages/faiss/class_wrappers.py", line 329, in replacement_search assert d == self.d AssertionError 按照步骤，已经安装好faiss-gpu 1.8.0和python3.12，在运行python simple_pipeline.py --model_path=/hpc2hdd/home/Qwen1.5-14B-Chat --retriever_path=/hpc2hdd/home/bge-large-zh-v1.5命令时抛出以上错误，请问一下这个是数据出现了问题嘛？还是faiss-gpu包的问题啊？
when I run the pipeline ``` python run_exp.py --method_name 'naive' \ --split 'test' \ --dataset_name 'nq' \ --gpu_id '0,1,2,3' ``` I get this error: in the last line, I need...
按照英文界面的操作，我修改了模型，用的是qwen1.5-7n-chat，然后用python simple_pipeline.py运行，报错如下： OSError: Not enough disk space. Needed: Unknown size (download: Unknown size, generated: Unknown size, post-processed: Unknown size)
首先感谢作者开源代码，便于对不同方法的公平比较。最近我在尝试运行“FlashRAG/examples/methods/run_exp.py”文件，部分方法根据指南可以直接、或简单修改后运行成功，以下方法遇到一些问题希望可以帮助解答： 1. LongLLMLingua 和 RECOMP-abstractive 方法out of memory，多次运行发现该问题出现的时间不固定，有时是在加载模型时、有时可以顺利加载模型但在Processed prompts时又报错。我的实验环境用的4张24G的4090，不清楚是不是该硬件环境不支持。 2. Ret-Robust和flare运行报错 Ret-Robust报错如下：  flare报错如下：  查看发现，检索返回的doc_item是字典组成的列表，而不是单一字典 3. REPLUG 运行报错，参数异常  branching_pipeline.py line 19：self.generator = get_generator(config, model=model) 而 VLLMGenerator 中 只声明了config，缺少参数model
连续四条的结果    
