Open-Llama
Open-Llama copied to clipboard
s-JoL
基于预训练模型在自有数据进行instruct-tuning效果问题
您好，我在您的V1版预训练模型上做SFT，用2批数据，对比在BLOOM 3B上跑SFT，结果，您这个发布的预训练基座，效果奇差，不知道是什么原因？您这边有什么建议吗
bloom 3b:
open_llama pretrain v1:
<|system|> 下面是一个人类用户(Human)和一个人工智能助手(Assistant)之间的对话。该助理很乐意帮助处理几乎任何事情,并将尽最大努力了解所需的确切内容。 <|user|> 产生 3 个针对「新开的四川麻辣烫小吃馆辣到爽!」的小红书文章想法,以吸引「20-30 的女性」的注意。在可能的情况下,包含呼吁行动 (CTA)、图片和标签。 <|assistant|> 1. 「麻辣烫店开业,辣到爽,快来尝尝新口味」:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,快来品尝美食,感受不一样的麻辣烫新体验吧!
图片:
店内装修场景:
店内美食:
店内环境:
店内服务:
店内氛围:
「麻辣烫店开业,辣到爽,快来尝尝新口味」:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,快来品尝美食,感受不一样的麻辣烫新体验吧!
图片:
店内装修场景:
店内美食:
店内环境:
店内服务:
店内氛围:
「麻辣烫店开业,辣到爽,快来尝尝新口味」:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,快来品尝美食,感受不一样的麻辣烫新体验吧!
图片:
店内装修场景:
店内美食:
店内环境:
店内服务:
店内氛围:
「麻辣烫店开业,辣到爽,快来尝尝新口味」:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,快来品尝美食,感受不一样的麻辣烫新体验吧!
图片:
店内装修场景:
店内美食:
店内环境:
店内服务:
店内氛围:
「麻辣烫店开业,辣到爽,快来尝尝新口味」:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,快来品尝美食,感受不一样的麻辣烫新体验吧!
图片:
店内装修场景:
店内美食:
店内环境:
店内服务:
店内氛围:
「麻辣烫店开业,辣到爽,快来尝尝新口味」:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,快来品尝美食,感受不一样的麻辣烫新体验吧!
图片:
店内装修场景:
店内美食:
店内环境:
店内服务:
店内氛围:
麻辣烫店开业,辣到爽,快来尝尝新口味:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,快来品尝美食,感受不一样的麻辣烫新体验吧!
图片:
店内装修场景:
店内美食:
店内环境:
店内服务:
店内氛围:
麻辣烫店开业,辣到爽,快来尝尝新口味:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,快来品尝美食,感受不一样的麻辣烫新体验吧!
图片:
店内装修场景:
店内美食:
店内环境:
店内服务:
店内氛围:
麻辣烫店开业,辣到爽,快来尝尝新口味:
文章标题:新开的四川麻辣烫小吃馆辣到爽!
文章内容:新开的四川麻辣烫小吃馆,辣到爽,快来尝尝新口味。各种麻辣烫、火锅、烧烤等,满足吃货们的各种需求。店内装修精美,环境舒适,
说实话，这个效果不像是跑了300b token的模型，是不是还没跑充分？
是这样的：我这个3b和你这个是同一套训代码和数据，数据是几十万自己从chatgpt蒸馏的数据，质量不错，当然，用的是我自己写的，数据、代码、训练参数和硬件都一样，3b能出活说明没问题的，我肯定不会是关公战秦琼。 对了，我也不是来砸场子的哈，就是来谈谈下可能的原因。
当然，就是正常技术讨论嘛。
首先我感觉不如bloom是很有可能的情况，毕竟人家是bigscience那么大的团队训练出来的，而且在一些评测中看效果也是很不错的，所以比较有可能的就是这个预训练模型就是不如bloom效果好。
其次，看你截图这几个结果调用应该都是没问题的，这样的话我能想到的可能就是比如训练超参数是否需要一定的调整，7b可能深一些是不是需要大点学习率，另外你训练了几个epoch，我之前发现训练多个epoch会继续提升，不知道bloom是不是也会。
另外我看这里采用的输入格式也比较特殊，不清楚像<|system|>这些是不是特殊处理的符号，可能也有一些影响吧。
学习率这个我试试，system这套是借鉴openAI的，测了其他模型，能出活，所以我先调大学习率试试。 谢谢耐心解答哈！这个项目很棒的，有创新！比只有SFT的项目强百倍
学习率这个我试试，system这套是借鉴openAI的，测了其他模型，能出活，所以我先调大学习率试试。 谢谢耐心解答哈！这个项目很棒的，有创新！比只有SFT的项目强百倍
有兴趣可以再用这个预训练试试 https://huggingface.co/s-JoL/Open-Llama-V2-pretrain ，预期比V1好一些
哦哦，你是看的azure那个api是这种方式对吧，其实我之前也看到了，但是之前一直不太理解这个system是如何生效的。主要训练数据集里也没有这个东西啊，请问这块你是怎么处理的啊？是在训练数据里也会加上么，以及看你发的图片里好像用的都是一样的system prompt么？
这个应该是有问题的了，之前那个结果是比较差但是能看出和问题是相关的，属于效果问题。现在这个截图看起来已经完全无关了，所以应该是调用有一定问题。
我遇到过类似的情况，看一下调用tokenizer时是否加了add_special_tokens=False，如果没加的话他会自动在你输入的最后加一个eos记号，后面的内容就相当于下一句了，这时候模型会自己随便续写一些内容，跟问题完全无关。
可以看这个截图，这里我直接加载预训练模型，不做训练。使用你给出的例子也能回答一些相关内容，下图是设置add_special_tokens=True，比较类似你截图的情况，给出了完全无关的内容。