ms-agent icon indicating copy to clipboard operation
ms-agent copied to clipboard
Published 3 weeks ago • verified publisher icon modelscope

<sft>llama3上下文支持好像有点问题

Open ghtwf01 opened this issue 1 year ago • 3 comments

Description

上下文1 上下文2 上下文3

Link

No response

ghtwf01 avatar Apr 27 '24 06:04 ghtwf01

你用的llama3么？是dashscope还是通过openaiapi的？ 具体llama3的8b还是70b？

zzhangpurdue avatar Apr 28 '24 11:04 zzhangpurdue

你用的llama3么？是dashscope还是通过openaiapi的？ 具体llama3的8b还是70b？

我用的modelscope社区微信公众号文章(https://mp.weixin.qq.com/s/IuagQ-S_spbQRyVsJuFIkQ)里面训练好了的llama3-8B-Instruct-Agent模型，用的openaiapi

ghtwf01 avatar Apr 28 '24 14:04 ghtwf01

之前训练的时候遇到过这个问题，我们也有过复现，8b上确实会存在这个问题，是模型能力的问题，我们接下来还会训练一个V2的版本，尽可能的在小模型上去掉这个问题。

zzhangpurdue avatar Apr 29 '24 08:04 zzhangpurdue