小铭
模型没下载完整吗
用你下载的指令继续下就是
lf升级到最新版了吗
kv cache不足，解决方法：  也是长度超了
目前是希望学习到语气、性格，现在效果其实还可以，后面可以考虑再加一步RLHF。不同人这个未来会做身份标签加到提示词里，看看效果怎么样
看起来vllm还不支持Windows，建议使用wsl，如果一定要用win可以试一下把依赖中的vllm去掉，然后配置里的enable_clean设为false，不清洗数据集
#95 拉取最新代码后 `uv pip uninstall vllm`
好的 后面会做
> MacOS可以使用Metal 加速 (mps)，PyTorch 已经支持 M1芯片 的 Metal 加速。 我最近有相关的开发需求，可以帮忙贡献代码。 现在M系芯片的MacBook普遍统一内存很大，32GB以上都很常见，不降级为transforms可以保证性能吧？ 这两个感觉不是一个东西 我查了一下ai： - Metal 是苹果的底层图形和计算 API，用于访问 GPU。 - vLLM 是一个 LLM 推理优化引擎，其核心是 PagedAttention 等算法。 - Metal 不能替代 vLLM，因为它们处于不同层面，Metal 不包含...