lightllm icon indicating copy to clipboard operation
lightllm copied to clipboard
verified publisher icon ModelTC

是否能支持sqlcoder系列模型

Open 2496289471 opened this issue 1 year ago • 2 comments

实测sqlcoder2（基于starcoder）模型的速度比vllm快，但是输出内容与原版模型相差甚远，是否完全是因为不支持beam search的问题？

2496289471 avatar Jan 22 '24 01:01 2496289471

@2496289471 应该和beam search 关系不大，可能是模型细节不太一样，能不能提供一个huggingface 链接。后续更新一下。

hiworldwzj avatar Jan 22 '24 04:01 hiworldwzj

@2496289471 应该和beam search 关系不大，可能是模型细节不太一样，能不能提供一个huggingface 链接。后续更新一下。

非常感谢，希望能早日更新。https://huggingface.co/defog/sqlcoder2

2496289471 avatar Jan 22 '24 05:01 2496289471