Feng Yunlong
Feng Yunlong
这样server需要换入换出吧，可以考虑再加一层?
更新后的server是可以自定义模型的？
当然可以
实现了这个 [packing-with-FA2](https://huggingface.co/blog/zh/packing-with-FA2)，经测试，该方案练吞吐量比 neat_packing 更高
mistral 的 function call 我还在修改，晚会提交
好的，那我重新整理一下代码？
现在应该是一个干净的提交，工具调用的 PR 在 #5473
@hiyouga 目前的实现有什么问题吗？
neat_packing 的 concat 似乎是有问题的，我这里处理了一下，但是不知道什么原因一直没合并
Ok, i will fix it