Linly
Linly copied to clipboard
CVI-SZU
多轮对话回答结果的一些疑问
我使用之前512长度版本的模型训练了自己的数据集，用于多伦对话的时候回答的结果都很短。哪怕用一些训练时较长的文本去提问。回答还是很短，远不如训练时的文本长度。也远达不到512这个极限模型长度。一般回答只有十几二十个子，这个问题大家有遇到么？不知道如何解决，求助大佬！
作者放出的在线测试服务尝试 了一下，比如问 “成都有哪些好玩的地方？”，回答如下：
成都有哪些好玩的地方？ 1.杜甫草堂，是唐代大诗人杜甫在其家乡四川成都市邛崃县所居住过的故居和游览地。 2.青羊古镇，位于四川省成都平原南部，是以农村建筑群、古街道及民俗文化为特色而著称，已被列入中国历史名城。 3.峨眉山，占全球最高山峰之首，是世界自然与文化双遗产，素有“天下名山第一”美誉。 4.锦里古街，位于四川成都市区内，是集保存完整的明清古建筑群、传统手工业品和优秀文化活动于一体的商业文化步行街。 5.文殊院，始建于南朝时，是中国佛教寺庙建筑群中保持了相对完好的南方木构建筑和精美石雕的典型代表。 6.大熊猫基地，是中国大熊猫研究基地，也是全球野外繁殖最成功的大熊猫研究基地之一，位于成都市区西北10公里的龙泉湖生态景区中心。 7.宽窄巷子，这个古老而富有现代气息并存的小区，被联合国教科文组织认定为世界文明遗产。
但自己使用的模型都得不到这么长的结果，回答大概只有三十个字，试了几次都没有较长的回答。 大家有得到过较长的回答么？
topk调小一点看看？ 比如调到5
发件人: hepj987 @.> 发送时间: 2023年5月22日 15:38 收件人: CVI-SZU/Linly @.> 抄送: Subscribed @.***> 主题: Re: [CVI-SZU/Linly] 多轮对话回答结果的一些疑问 (Issue #75)
作者放出的在线测试服务尝试 了一下，比如问 “成都有哪些好玩的地方？”，回答如下：
成都有哪些好玩的地方？ 1.杜甫草堂，是唐代大诗人杜甫在其家乡四川成都市邛崃县所居住过的故居和游览地。 2.青羊古镇，位于四川省成都平原南部，是以农村建筑群、古街道及民俗文化为特色而著称，已被列入中国历史名城。 3.峨眉山，占全球最高山峰之首，是世界自然与文化双遗产，素有“天下名山第一”美誉。 4.锦里古街，位于四川成都市区内，是集保存完整的明清古建筑群、传统手工业品和优秀文化活动于一体的商业文化步行街。 5.文殊院，始建于南朝时，是中国佛教寺庙建筑群中保持了相对完好的南方木构建筑和精美石雕的典型代表。 6.大熊猫基地，是中国大熊猫研究基地，也是全球野外繁殖最成功的大熊猫研究基地之一，位于成都市区西北10公里的龙泉湖生态景区中心。 7.宽窄巷子，这个古老而富有现代气息并存的小区，被联合国教科文组织认定为世界文明遗产。
但自己使用的模型都得不到这么长的结果，回答大概只有三十个字，试了几次都没有较长的回答。 大家有得到过较长的回答么？
― Reply to this email directly, view it on GitHubhttps://github.com/CVI-SZU/Linly/issues/75#issuecomment-1556697562, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AE3SPVZYHHEUAR6W3YWKZDTXHMJYXANCNFSM6AAAAAAYGG2YCU. You are receiving this because you are subscribed to this thread.Message ID: @.***>
@ydli-ai 感谢建议，按你说的调了调试了试，但好像没有明显的长度提升。我以为是多轮对话参数设置问题，我尝试用生成式脚本来生成这个问题，长度也远达不到作者给出的在线测试那么长。难过
参考huggingface在线demo的配置： args.batch_size = 1 args.seq_length = 1024 args.world_size = 1 args.use_int8 = False args.top_p = 0 args.repetition_penalty_range = 1024 args.repetition_penalty_slope = 0 args.repetition_penalty = 1.15
然后自己调节的参数部分：top_k = 10, temperature=1
@hepj987 参考一下哈，在线demo的代码和llama_inference的代码基本是一致的。
@fengyh3 感谢回复，作者在线示例的参数设置我也在app.py脚本里边看到了，也尝试了对齐参数。只有world_size因为我的显卡不足无法设置为1，其他参数是对齐了的，但效果和作者在线展示的还是有区别。 请问你自己本地的时候测试“成都有哪些好玩的地方？” 可以得到和在线类似的一个长结果么？