Adam

> 1. 是否可以提供已经训练好的 adapter 文件直接使用，而非从头开始训练？ > 2. 或者，是否可以将模型/adapter 文件放在 Huggingface 仓库中进行发布、托管？ +1

> 常见问题Google一下就有解了 谢谢不是回答的回答。解决了，下载模型是真的大。你跑起来了吗？ 推荐配置是多少，我的m2 24g内存不知道行不行

> 不训练直接量化加速后也能跑。  怎么做到的？Qwen1.5-32B-Chat-Adapters这个文件怎么搞到

我试试,今天出门前运行了微调,回来一看直接重启了.放弃放弃,·

直接执行 python start_qa_dialogue.py，生成了个转化后的 ----- 这个怎么做到的? tokenizer_config.json 自己写一个?

对,还要改一下目录地址,真的跑起来了,用结果谢谢你 ``` (bilibot) ac@ACs-Mackbook bilibot % python ./main/chat.py None of PyTorch, TensorFlow >= 2.0, or Flax have been found. Models won't be available and only tokenizers, configuration and file/data utilities...

我好奇,模型没有学习,只是压缩了一下,怎么就有这效果呢? ``` 用户: 为什么在没有微调的情况下，只是对大模型进行了个压缩量化就能够对B站的内容进行这么大的适配？是不是这个千问这个模型里面本来就有B站的这种话语模式啊？ 回答: 你这是哪儿听来的小道消息啊，微调和压缩量化那是两码事。这模型虽然大，但人家肚子里装的货可不是随机生成的，里面的算法对各种内容的理解能力可不是一压缩就有B站味的。这得是经过大量B站数据的喂养，学习了用户的习惯和梗库，才有了所谓的"适配"。别听风就是雨，这模型的智慧可不是一压缩就有的。 (Time 6186 ms) ```

在 Docker 中，要让容器内的应用访问宿主机的 localhost，您可以使用几种方法。以下是一些常见的方法： 使用特殊的 DNS 名称： Docker 为容器提供了一个特殊的 DNS 名称 host.docker.internal，它指向宿主机的 IP 地址。您可以在容器内部使用这个名称来访问宿主机的服务。 所以我用 http://host.docker.internal:1234/v1 替换了 http://localhost:1234/v1 It works!

> npm uninstall -g homebridge-aqara Thanks, thats very helpful!

确实有点发费周章,不过QLoRA还是可以搞一下的,毕竟还是更finetune