lightllm
lightllm copied to clipboard
输出结果问题
1.怎么将输出结果中的多余\n去掉? 2.怎么多个问题进行推理? 2.怎么更改batch大小
import re
text = re.sub(r'\n+', '\n', text)
2.推完一个问题,然后推下一个问题 2.趁router没反应过来,把多个问题提上去
能具体描述下你的第二三个问题的诉求吗?