Open-Llama
Open-Llama copied to clipboard
基于预训练模型在自有数据进行instruct-tuning效果问题
您好,我在您的V1版预训练模型上做SFT,用2批数据,对比在BLOOM 3B上跑SFT,结果,您这个发布的预训练基座,效果奇差,不知道是什么原因?您这边有什么建议吗
bloom 3b:
open_llama pretrain v1:
<|system|> 下面是一个人类用户(Human)和一个人工智能助手(Assistant)之间的对话。该助理很乐意帮助处理几乎任何事情,并将尽最大努力了解所需的确切内容。 <|user|> 产生 3 个针对「新开的四川麻辣烫小吃馆辣到爽!」的小红书文章想法,以吸引「20-30 的女性」的注意。在可能的情况下,包含呼吁行动 (CTA)、图片和标签。 <|assistant|> 1. 「麻辣烫店开业,辣到爽,快来尝尝新口味」:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,快来品尝美食,感受不一样的麻辣烫新体验吧!
图片:
店内装修场景:
店内美食:
店内环境:
店内服务:
店内氛围:
「麻辣烫店开业,辣到爽,快来尝尝新口味」:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,快来品尝美食,感受不一样的麻辣烫新体验吧!
图片:
店内装修场景:
店内美食:
店内环境:
店内服务:
店内氛围:
「麻辣烫店开业,辣到爽,快来尝尝新口味」:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,快来品尝美食,感受不一样的麻辣烫新体验吧!
图片:
店内装修场景:
店内美食:
店内环境:
店内服务:
店内氛围:
「麻辣烫店开业,辣到爽,快来尝尝新口味」:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,快来品尝美食,感受不一样的麻辣烫新体验吧!
图片:
店内装修场景:
店内美食:
店内环境:
店内服务:
店内氛围:
「麻辣烫店开业,辣到爽,快来尝尝新口味」:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,快来品尝美食,感受不一样的麻辣烫新体验吧!
图片:
店内装修场景:
店内美食:
店内环境:
店内服务:
店内氛围:
「麻辣烫店开业,辣到爽,快来尝尝新口味」:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,快来品尝美食,感受不一样的麻辣烫新体验吧!
图片:
店内装修场景:
店内美食:
店内环境:
店内服务:
店内氛围:
麻辣烫店开业,辣到爽,快来尝尝新口味:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,快来品尝美食,感受不一样的麻辣烫新体验吧!
图片:
店内装修场景:
店内美食:
店内环境:
店内服务:
店内氛围:
麻辣烫店开业,辣到爽,快来尝尝新口味:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,快来品尝美食,感受不一样的麻辣烫新体验吧!
图片:
店内装修场景:
店内美食:
店内环境:
店内服务:
店内氛围:
麻辣烫店开业,辣到爽,快来尝尝新口味:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,
说实话,这个效果不像是跑了300b token的模型,是不是还没跑充分?
你这里提供的信息比较少,比如具体如何finetune的,使用的什么数据,我不太好判断是什么问题。
是这样的:我这个3b和你这个是同一套训代码和数据,数据是几十万自己从chatgpt蒸馏的数据,质量不错,当然,用的是我自己写的,数据、代码、训练参数和硬件都一样,3b能出活说明没问题的,我肯定不会是关公战秦琼。 对了,我也不是来砸场子的哈,就是来谈谈下可能的原因。
当然,就是正常技术讨论嘛。
首先我感觉不如bloom是很有可能的情况,毕竟人家是bigscience那么大的团队训练出来的,而且在一些评测中看效果也是很不错的,所以比较有可能的就是这个预训练模型就是不如bloom效果好。
其次,看你截图这几个结果调用应该都是没问题的,这样的话我能想到的可能就是比如训练超参数是否需要一定的调整,7b可能深一些是不是需要大点学习率,另外你训练了几个epoch,我之前发现训练多个epoch会继续提升,不知道bloom是不是也会。
另外我看这里采用的输入格式也比较特殊,不清楚像<|system|>这些是不是特殊处理的符号,可能也有一些影响吧。
学习率这个我试试,system这套是借鉴openAI的,测了其他模型,能出活,所以我先调大学习率试试。 谢谢耐心解答哈!这个项目很棒的,有创新!比只有SFT的项目强百倍
学习率这个我试试,system这套是借鉴openAI的,测了其他模型,能出活,所以我先调大学习率试试。 谢谢耐心解答哈!这个项目很棒的,有创新!比只有SFT的项目强百倍
有兴趣可以再用这个预训练试试 https://huggingface.co/s-JoL/Open-Llama-V2-pretrain ,预期比V1好一些
哦哦,你是看的azure那个api是这种方式对吧,其实我之前也看到了,但是之前一直不太理解这个system是如何生效的。主要训练数据集里也没有这个东西啊,请问这块你是怎么处理的啊?是在训练数据里也会加上么,以及看你发的图片里好像用的都是一样的system prompt么?
就是对话机器人的角色调性注入,比如他是谁研发的、是什么身份之类、说话该怎样的风格等,可加可不加
刚发布的V2我也试了试,效果还是很感人:
这个应该是有问题的了,之前那个结果是比较差但是能看出和问题是相关的,属于效果问题。现在这个截图看起来已经完全无关了,所以应该是调用有一定问题。
我遇到过类似的情况,看一下调用tokenizer时是否加了add_special_tokens=False,如果没加的话他会自动在你输入的最后加一个eos记号,后面的内容就相当于下一句了,这时候模型会自己随便续写一些内容,跟问题完全无关。
可以看这个截图,这里我直接加载预训练模型,不做训练。使用你给出的例子也能回答一些相关内容,下图是设置add_special_tokens=True,比较类似你截图的情况,给出了完全无关的内容。