red Zhao

> 你好，我适配的是Ascend910的显卡，现在整体是跑通的使用的是你们提供的所有数据集，除了qwen其他都是可以跑通，且指标显示是正常，只要是qwen系列就会出现感叹号的问题，请问是否是提示词的template的原因，如果是，可以修改哪里来解决呢？因为我之前使用mindie进行评估时也会出现感叹号，就是template的原因 环境内执行 python tools/list_configs.py 就能看到所有的数据集配置了，compass的评估任务最小颗粒度就是按数据集分的，更细致的自定义你可以看 configs 文件夹下以 eval 开头的预设配置的格式，Ascend910 我没试过，我认为你可以仿照已有的huggingface/vllm/lmdeploy写一个mindie的推理流程

> 请问解决了吗 这个项目官方现在维护的比较慢，也没人响应复现解决吧，预计还是存在的，我的建议就是不要用纯transformer，或者你可以自己先启动一个在线API，然后对API评估，这样就可以兼容大多数情况了