airllm
airllm copied to clipboard
lyogavin
低消耗微调和推理这个太重要了
我对你们这个模型挺感兴趣的。 请问有详细的个性化微调、推理的技术交流或者支持吗？交流社区什么的 推理的性能怎么样？ 训练和推理的硬件配置建议怎么样？ 另外，可以用vllm来推动吗？
推理的话我们用的是H100/A100 80G。别的硬件还没有测试过。用H100或者A100很快。
vllm理论上是没问题的。我回头可以测试一下。但是我理解vllm是优化throughput，看你需要优化的是throughput还是latency。
