bingogogogogo

Results 3 comments of bingogogogogo

> 看了下词表大小,你加载的是llama模型吗?建议用alpaca做交互,因为我们并没有用指令数据精调llama。 请问怎么根据词表大小判断加载的模型llama还是alpaca?按README提供的步骤完成的,词表大小跟@gaoerrong的问题也就只差了1(49953 VS 49954)。虽然没有出现中英文混杂的问题,但效果不是很好(看着跟demo有些差距),有什么办法验证合并后模型是否正确呢。

> 嗯嗯,明白。除了看效果,有什么办法可以验证合并后模型的正确性呢(比如合并结果的hash值什么的),毕竟看效果比较感性。

> > 嗯嗯,明白。除了看效果,有什么办法可以验证合并后模型的正确性呢(比如合并结果的hash值什么的),毕竟看效果比较感性。 > > ``` > > shasum -a 256 ggml-model-q4_0.bin > 399d858ec1e45f277c9a7c61a9cd7dbbed0aa2a357c92a6fd478b3c5bbf803e1 ggml-model-q4_0.bin > ``` > > 供参考,用的是最新版llama.cpp生成的量化模型。 感谢,从sha256值看,合并后的模型跟你的是一致的,那可能是我的用法还有模型本身还有改进空间。