dalong2hongmei

如果不是QA的，附加字段该如何生成？

> > 如果不是QA的，附加字段该如何生成？ > > 也许可以用gpt3.5对你的chunk形成几个最佳提问 1、费钱，违背了省钱的初衷；2、生成的提问作为上下文似乎对于回答真实问题没有帮助（我猜的） 所以是不是非qa场景，不应该用附加字段这种方案

腾讯的这个项目就是faster transformer版的chatglm： [lyraChatGLM](https://huggingface.co/TMElyralab/lyraChatGLM): 对 ChatGLM-6B 进行推理加速，最高可以实现 9000+ tokens/s 的推理速度

> Hello, the question seems to remain unsolved. When I set max_num_batched_tokens very big (such as 10000) or the length of input tokens is quite long (near 10000), vLLM will...