用7B的模型，以及官方checkpoint-final运行generate.sh，效果很差

[dizhenx]

写一篇小学生秋游的作文，500字

尊重老年人和他们所有财富。我想要在这个夏天去了解更多关于陌伟古代中国传统节日—“春联”（Chūnlián）、以及其对当时社会发展方向影像上下来是否真实地表现出色？因此今后就将开始自由行动！

华为公司为什么牛

尽管其在IT行业中的影響力不大，因此无法成功地推出一个全新技能或创意。而这也是原来Huawei有多少时间才可以赢得市场上最高位置之后？

在吗

是的，我也喜欢看电影。

中国面积有多大

139,502，467平方公里。

随机输入以上几个问句，全是胡说八道。怎么搞的？

[Facico]

@dizhenx 直接用我们的模型效果差很多可能有以下原因： 1、tokenizer和sentencepiece版本的问题，这个问题可以参考我们的提供的配置 2、显卡和8bit不兼容的问题。比如V100就不太兼容（可以到仓库找相关的V100的问题）（这个问题可以用纯cpu推理的方式来排查） 解决方法是推理的时候把8bit相关的去掉改成fp16，相关issue有说明 3、要把beam num设置成>1

[ShouyangDong]

你好，这个问题解决了吗？

[lucasjinreal]

这是我们重新训练，对齐了最新版本（包括peft tokenizers）的一个效果：

>what is the capital of America
The capital of the United States of America is Washington, DC.
>When is the Thanks Giving Day 
Thanksgiving Day is celebrated in the United States on the fourth Thursday of November.
>Who is the 45th president of America
Donald Trump
>who is the 44th president of America
Barack Obama
>How do u think of him
I think of him as a kind and loving person who has a giving spirit. He is always willing to help out and is a great person to talk to.
>解释给定成语所隐含的概念。
“寻找”的概念涉及寻找或找到一个特定的东西。
>诸葛亮是如何死的？
猫是由诸葛亮战胜于毒毒蛇的作者，他是毒毒蛇攻击的一名批员。诸葛亮是为了找到毒毒蛇的追随而逃跑的，但他努力的追随
>赵云是如何死的？
赵云是终身的一位革命性思想家和宪法学家，他在他的独特的思想方面遍及了各种领域，包括政治、经济、社
>翻译成日语：下午忙吗
午後は什麼時間ですか？
>翻译成西班牙语：我去你妈了个蛋
I went to pick up my eggs.
>翻译成韩语：我去你妈的
I am going to your mom's home.
>写一篇小学生秋游的作文，500字
好的，我将写一篇小学生的秋游的漫画，让我们的小学生有个快乐的欢乐节日。

起先，今天是一个非常美好的游泳日，阳光光碧，风升起，游泳池很深。在水面上，我们的小学生们烧燃了最好的热心，带着热...)
>write an article about a nice sunny day 
A nice sunny day can bring so much joy and happiness to anyone who is lucky enough to experience one. It makes the day feel so much brighter and warmer, and the natural light can really brighten up a place. The sun's rays can help to bring out the beauty of nature and the surrounding landscape, and the gentle breeze can make the temperature perfect for a stroll around the garden or a picnic under the trees. A nice sunny day can make the world seem so peace

[waterluck]

这是我们重新训练，对齐了最新版本（包括peft tokenizers）的一个效果：

>what is the capital of America
The capital of the United States of America is Washington, DC.
>When is the Thanks Giving Day 
Thanksgiving Day is celebrated in the United States on the fourth Thursday of November.
>Who is the 45th president of America
Donald Trump
>who is the 44th president of America
Barack Obama
>How do u think of him
I think of him as a kind and loving person who has a giving spirit. He is always willing to help out and is a great person to talk to.
>解释给定成语所隐含的概念。
“寻找”的概念涉及寻找或找到一个特定的东西。
>诸葛亮是如何死的？
猫是由诸葛亮战胜于毒毒蛇的作者，他是毒毒蛇攻击的一名批员。诸葛亮是为了找到毒毒蛇的追随而逃跑的，但他努力的追随
>赵云是如何死的？
赵云是终身的一位革命性思想家和宪法学家，他在他的独特的思想方面遍及了各种领域，包括政治、经济、社
>翻译成日语：下午忙吗
午後は什麼時間ですか？
>翻译成西班牙语：我去你妈了个蛋
I went to pick up my eggs.
>翻译成韩语：我去你妈的
I am going to your mom's home.
>写一篇小学生秋游的作文，500字
好的，我将写一篇小学生的秋游的漫画，让我们的小学生有个快乐的欢乐节日。

起先，今天是一个非常美好的游泳日，阳光光碧，风升起，游泳池很深。在水面上，我们的小学生们烧燃了最好的热心，带着热...)
>write an article about a nice sunny day 
A nice sunny day can bring so much joy and happiness to anyone who is lucky enough to experience one. It makes the day feel so much brighter and warmer, and the natural light can really brighten up a place. The sun's rays can help to bring out the beauty of nature and the surrounding landscape, and the gentle breeze can make the temperature perfect for a stroll around the garden or a picnic under the trees. A nice sunny day can make the world seem so peace

@lucasjinreal 请问可以参考下代码和相关环境配置吗? 我训练的结果输出里很多生成的很多句子是没有完结，以及会有一些？？乱码