西西嘛呦

BERT+Softmax | 0.9586(0.9566) | 0.9644(0.9613) | 0.9615(0.9590)

lora weights are not saved correctly

10

The saved adapter_model.bin is only 441kb. https://github.com/artidoro/qlora/issues/38

支持更多的中文模型：Qwen、Baichuan、InternLM、ChatGLM2等多卡部署

4

### Model description 首先，十分感谢您们的开源。 然后。以上都是比较有名的中文开源大模型，基本上都可以使用transformers库加载并进行推理。 最后。在单张卡上使用TGI进行推理是没有问题的，但是在多张卡上会报错shard is not supported for AutoModel。在受限的资源下，比如两张12G的显卡，使用多卡部署还是很有必要的，希望能够支持更多的中文模型。 ### Open source status - [X] The model implementation is available - [X] The model weights are available ###...

Anomalous T5 results using GPU inference on a 4090 graphics card

3

Thank you very much for your work. I'm using ctranslate2 accelerated https://huggingface.co/Maciel/T5Corrector-base-v2 reasoning and when using the cpu for inference the output is normal, but switching to using the GPU,...