ychan

请问断句任务的tag分别是什么含义？

1

您好，看到您的断句任务中使用了 B S M E E2 E3 这几个标签，请问下分别是什么含义吗？主要是 E E2 E3 的结束标志分不清楚，谢谢您！

量化模型单卡推理报错

2

CUDA_VISIBLE_DEVICES=0 python tigerbot_infer.py ${MODEL_DIR} --wbits 4 --groupsize 128 --load ${MODEL_DIR}/tigerbot-7b-4bit-128g.pt  系统信息： torch 1.13.1+cu117 cuda 11.4 triton 2.0.0.post1 Python 3.10.9 显卡型号： gp104gl tesla p4 请问可以在cpu下进行量化模型的推理吗？需要如何修改执行命令呢？

您好，非常感谢您的开源代码，但是您在上一个 issue 分享的链接已经失效，请问是否可以再分享一次数据连接呢？太感谢了！