fastllm icon indicating copy to clipboard operation
fastllm copied to clipboard

Published 20 hours ago • verified publisher icon ztxz16

请问下代码实现思路是什么？如何对齐python的模型结构和输出呢

Open dawnranger opened this issue 1 year ago • 2 comments

是直接对照 huggingface 版的python代码来实现的吗 https://huggingface.co/THUDM/chatglm-6b-int8/blob/main/modeling_chatglm.py

dawnranger avatar May 25 '23 11:05 dawnranger

是的

ztxz16 avatar May 25 '23 15:05 ztxz16

目前看到解码部分好像就是简单的greedy search，原版是用的beam_sample算法的

dawnranger avatar May 29 '23 03:05 dawnranger

目前看到解码部分好像就是简单的greedy search，原版是用的beam_sample算法的

现在已经支持采样参数了

ztxz16 avatar Jul 13 '23 07:07 ztxz16