aiXcoder-7B icon indicating copy to clipboard operation
aiXcoder-7B copied to clipboard

vllm部署aiXcoder

Open hcbr opened this issue 11 months ago • 0 comments

假设我用vllm启动了aiXcoder。需要传递prompt去生成代码。 我依据input_wrapper构造了prompt:

Image

但是input_ids会多一个25558 导致结果不对。(跟input_wrapper中的pad_len对应,但是不理解为什么只对later_code做)。 怎么能避免这个情况。

hcbr avatar Feb 11 '25 07:02 hcbr