tcy6

> Please download the pdf parser related checkpoints in modelscope [https://www.modelscope.cn/models/netease-youdao/QAnything-pdf-parser/files] 好的十分感谢，另外是不是Qanything无法处理没有文本元素的pdf啊，我截了一张图进行解析，发现有报错。如果是这样那它里面的ocr的意义是什么呢，是解析表格？

> > Please download the pdf parser related checkpoints in modelscope [https://www.modelscope.cn/models/netease-youdao/QAnything-pdf-parser/files] > > 好的十分感谢，另外是不是Qanything无法处理没有文本元素的pdf啊，我截了一张图进行解析，发现有报错。如果是这样那它里面的ocr的意义是什么呢，是解析表格？ 报错信息如下: LOCAL DATA PATH: c:\Users\Administrator\Desktop\QAnything-1.4.1\QANY_DB\content LOCAL_RERANK_REPO: netease-youdao/bce-reranker-base_v1 LOCAL_EMBED_REPO: netease-youdao/bce-embedding-base_v1 table model initing... cpu table model...

> > > Please download the pdf parser related checkpoints in modelscope [https://www.modelscope.cn/models/netease-youdao/QAnything-pdf-parser/files] > > > > > > 好的十分感谢，另外是不是Qanything无法处理没有文本元素的pdf啊，我截了一张图进行解析，发现有报错。如果是这样那它里面的ocr的意义是什么呢，是解析表格？ > > The OCR module was removed due to slowly...

> 这个主要是因为MMMU有两个prompt，分别对应多选题和开放问答，两个prompt是固定下来的，因此设置prompt_template并不生效。后续会开发一个prompt管理模块，方便prompt使用和覆盖，参考 https://github.com/modelscope/evalscope/issues/930 好的好的，也就是说MMMU比较特殊是吧，是不是其他大多数多模态Benchmark的prompt template是可以自己指定的？我想改这个prompt template的主要原因是这个template是cot的，我想不cot直接出答案，这样评测快一点

> > > 这个主要是因为MMMU有两个prompt，分别对应多选题和开放问答，两个prompt是固定下来的，因此设置prompt_template并不生效。后续会开发一个prompt管理模块，方便prompt使用和覆盖，参考 [#930](https://github.com/modelscope/evalscope/issues/930) > > > > > > 好的好的，也就是说MMMU比较特殊是吧，是不是其他大多数多模态Benchmark的prompt template是可以自己指定的？我想改这个prompt template的主要原因是这个template是cot的，我想不cot直接出答案，这样评测快一点 > > 是的，大部分都支持修改prompt template 好的多谢，希望以后evalscope能够支持非CoT评测~

@BossPi Thank you for the clarification! I do have a follow-up question. Since the SFT loss is computed only on the assistant tokens, I'm wondering whether it might make more...

> > Thank you for the clarification! I do have a follow-up question. Since the SFT loss is computed only on the assistant tokens, I'm wondering whether it might make...