Dayiheng Liu

liudayiheng.github.io

DAMO Academy, Alibaba Group Hangzhou, China DAMO Academy, Alibaba Group

Results 4 comments of


                                            Dayiheng Liu

💡 [REQUEST] - <title> 14b有增加长度的计划吗，目前感觉72b太大了，实在没资源，14b到30多b的模型正合适，要是14b长度能上去感觉实用性会更强

会更新的，具体时间还没敲定，我们尽快

72B模型是预训练阶段就完全用32k窗口的吗？

8k训练，可以外推32k

使用qwen-72b-chat模型中英文翻译出现的问题💡

建议尝试降低repeat penalty系数

使用qwen1.8b微调相关性模型，效果奇差，怀疑是预训练数据质量太低

感觉没有正常被微调，可以看看能否背出来你训练集的结果