Chinese-LLaMA-Alpaca
Chinese-LLaMA-Alpaca copied to clipboard
ymcui
本地部署运行起来之后中英文掺杂着输出
我这边更不能用，看了下全量模型的hash是没错的，用README的指令启动后输出的是词不达意的英文和符号。。要不。。咱们在README里提一句，llama的最终效果不好，推荐用alpaca？
我这边更不能用，看了下全量模型的hash是没错的，用README的指令启动后输出的是词不达意的英文和符号。。要不。。咱们在README里提一句，llama的最终效果不好，推荐用alpaca？
其实在这里已经做过提示了：https://github.com/ymcui/Chinese-LLaMA-Alpaca#本地快速部署
本地快速部署体验推荐使用经过指令精调的Alpaca模型。
我这边更不能用，看了下全量模型的hash是没错的，用README的指令启动后输出的是词不达意的英文和符号。。要不。。咱们在README里提一句，llama的最终效果不好，推荐用alpaca？
@boholder 刚刚在下载的部分加入了更多的提示信息。
看了下词表大小，你加载的是llama模型吗？建议用alpaca做交互，因为我们并没有用指令数据精调llama。
请问怎么根据词表大小判断加载的模型llama还是alpaca？按README提供的步骤完成的，词表大小跟@gaoerrong的问题也就只差了1（49953 VS 49954）。虽然没有出现中英文混杂的问题，但效果不是很好（看着跟demo有些差距），有什么办法验证合并后模型是否正确呢。
@Bingogogogogo 有几个原因（不完全）： 1、回复和解码参数有一定关联性，同时还有一定的随机性。 2、建议不同主题的问题在不同的session里运行（因为会参考上下文）。目前训练都是单轮数据，所以轮数多了之后很可能会出现答非所问的情况。比如，你可以在一个session里问一些“北京旅游”相关的问题，但突然你提问一个数学题的话，很可能得不到比较好的结果（虽然现在的数学能力也不怎么样）。 3、有条件的话可以运行FP16的模型，效果相对会更好一些。
嗯嗯，明白。除了看效果，有什么办法可以验证合并后模型的正确性呢（比如合并结果的hash值什么的），毕竟看效果比较感性。
> shasum -a 256 ggml-model-q4_0.bin
399d858ec1e45f277c9a7c61a9cd7dbbed0aa2a357c92a6fd478b3c5bbf803e1 ggml-model-q4_0.bin
供参考，用的是最新版llama.cpp生成的量化模型。
嗯嗯，明白。除了看效果，有什么办法可以验证合并后模型的正确性呢（比如合并结果的hash值什么的），毕竟看效果比较感性。
> shasum -a 256 ggml-model-q4_0.bin 399d858ec1e45f277c9a7c61a9cd7dbbed0aa2a357c92a6fd478b3c5bbf803e1 ggml-model-q4_0.bin供参考，用的是最新版llama.cpp生成的量化模型。
感谢，从sha256值看，合并后的模型跟你的是一致的，那可能是我的用法还有模型本身还有改进空间。
我跟你是相同的问题，效果也一样，用f16的模型没问题，但是用量化后的 q4的模型就是这个情况
我后来按照最新的文档操作了一遍没有这个问题了，我重新操作用的是7b的alpaca的模型。一定要注意使用正确的文件，
