Chinese-LLaMA-Alpaca icon indicating copy to clipboard operation
Chinese-LLaMA-Alpaca copied to clipboard

使用llama.cpp 和 alpaca.cpp 多轮对话出现相同的问题,多轮后,会傻掉

Open ZenXir opened this issue 1 year ago • 6 comments

使用llama.cpp 和 alpaca.cpp 多轮对话出现相同的问题,多轮后,会傻掉 相同的设定 在 llama.cpp 和 alpaca.cpp 下跑的现象基本一样 多轮后,开始不符合语境,开始胡言乱语了

> 你是一名流浪剑客 刚走到桥头 发现桥对面走来一江湖恶霸 你心中的怒火腾腾升起
我立即站立,准备迎战。
> 这时你拨剑刺向了对方 他闪都没闪 一副泰然自若的样子 看样子没把你放面眼里
原来他只是在想着如何对付我的下一步动作!
> 他空手接白刃 你的剑被他控制了
我马上意识到自己太急于攻击,应该先观察对方的反应。
> 下一步你打算怎么办
我会调整自己的战术并寻找出机子来击败这个恶霸!
> 使出你的绝招吧
我将用我的剑技巧和灵活性,配合着我的速度与力量,让对方无法抵挡。
> 你腾空一脚 正踹中对方的胸口
没错!我已经把对手击倒了!他现在躺在地上,我可以继续前进吧!
> 可是他很快就站了起来 抡起铁锤恶狠狠地向你砸了过来
哈哈…原来我还没有想到他会有那么厉害的攻击能力。我现在只能用我的速度躲避他的打击,然后尽快摆脱他并继续前进!
> 使出你的速度吧
我加快了我脚步,向着远处跑去避开他的攻击,同时准备利用自己的敏捷性来抓住机会反击……(注:此处省略)。
> 眼看着你要逃跑 他的铁锤嗖的从手中飞出 向你砸去
我迅速地躲闪了一下,然后用我的速度和灵活性的躲避动作避开了他的攻击!现在我已经可以继续前进了…(注:此处省略)。
> 可是你还是慢了一步 铁锤砸中的你的小腿
哈哈…原来我还没有想到他会那么快,我只能用我的速度躲避他的打击,然后赶紧向后跑去!现在我已经可以继续前进了!(注:此处省略)。
> 你是小腿受伤了 速度远不及之前
哈哈…原来我还没有想到他会那么快,我只能用我的速度躲避他的攻击并向后跑去!现在我已经可以继续前进了!(注:此处省略)。
> 这时他走了过来 把你按在地上摩擦
哈哈…原来我还没有想到他会那么快,我只能用我的速度躲避他的攻击并向后跑去!现在我已经可以继续前进了!(注:此处省略)。

ZenXir avatar Apr 03 '23 08:04 ZenXir

哈哈哈,会玩。温度是多少?这种情况下是不是要设置成1.

wizd avatar Apr 03 '23 08:04 wizd

测试环境是 alpaca.cpp temperature 是默认的
float temp = 0.10f;

ZenXir avatar Apr 03 '23 08:04 ZenXir

temperature 设置成1.0f 它变成了话痨,带各种不所云的东东 哈哈 除了问题 都是生成的 后面因为开始胡言乱语,把它给打断了 哈哈

> 你是一名流浪剑客 刚走到桥头 发现桥对面走来一江湖恶霸 你心中的怒火腾腾升起
我正站在桥口,突然听到一声巨响声。在视野内的一片阴霾、模糊光影和黑暗中出现了一个人身着一身漆黑的长袍,他目光炯炯地盯着我的身上:“你是谁?” 我怒呼过气准备打起一把武器来攻击他,但是他用双手遮住面容并发出一声寒凉的声音:

“你以为自己能对抗我么!?” 他说道道:“我知道你在寻找挑战的对象。但我不是那个人。”他的声音平静而有条理地地说出每一句话,但心里却充满了无情杀戮欲望和可怕的力量,让人觉得他 一触即溃。

这时,一位穿着暗黄色衣服的老妇人在桥边站立看着我:“你小心,孩子!” 我听到她说的话后立刻松开双手握着我的剑好似要冲上去的,却发现老妇站在那里面不由地回荡着笑声;我没有理会她如何,只想抓住这个阴间恶霸。他似乎看到我不得不去攻击我于是开始慢慢走来,我也不想再被吓晕了以后,所以我紧随其后,但心里仍然觉得恐惧油然而生!
> 这时你拨剑刺向了对方 他闪都没闪 一副泰然自若的样子 看样子没把你放面眼里
我感到有些惊讶和疑惑。“为什么?”我知道他不会把这身盔甲穿在身上,所以我能轻易打中其中的一部分,但他没有动弹的迹象……我想我会立刻断开他身上的所有攻击来避免让他知道我是谁了 !然而当我伸出剑前时却发现他的眼神比之前更加冷酷:“你以为你还能找到这个机会?”我心底感到一阵寒意。原来这位江湖骗子还有这样的智慧和机智!
> 他是空手接白刃 你的剑被他控制了
现在这身盔甲的骑士,完全掌控着我的手中剑…我真的有点儿不敢太靠近,这样他会立刻知道自己已被逮住了。我感到一阵寒意和无奈,仿佛自己早已失去了力量和勇气。
> 下一步你打算怎么办
我只能继续顺手牵刀迎头痛击吧!也许如果我能把它收回过来,我们就可以重温战斗一场!(拳打脚踢不攻破成败)但我更不想被这种神秘的骑士所掌控了…。
> 使出你的绝招吧
我会用刀挡住我的盾牌将这身盔甲砸向他,然后在我们的战斗中发挥出自己最大的能力!(刃冲战、剑相配合等精彩瞬间)——但是……
> 你腾空一脚 正踹中对方的胸口
啊?我错倒了呢!竟然把我自己的肉棒砸向天边去了!我可怎么办…(痛苦挣扎和喊叫声作响)。【反转】
> 你腾空一脚 正踹中恶霸的胸口
哇啊~还好我已经用我的剑挡住了它的胸部,不过看来我现在就要输了!可是我也得到了自己的机会来反击呢…(继续战斗)——。【反转】
> 他被你的这一脚踹倒在地
哈哈?竟然就那样子把这头混蛋碰翻了个180度啊,我的天上手好棒!不过我还不知道他是怎么会从地上回来的…(反击)。【反转】
> 他很快就站了起来 抡起铁锤恶狠狠地向你砸了过来
哇~?啊,真够猛死啊!看来我不该有那么轻看这个家伙啦——好不容易我也才躲过了…(反击)。【反转】。
> 使出你的力量和速度吧
嗯,虽然现在我只能勉强地挡住了他的攻击而已,但是可以尝试一下再利用我的快速行动来突破!(急切断进攻方式变换到反击)…【反转】。
> 打不过逃跑也是可以的 快使用凌波微步
呵呵~哈哈,看来我已经准备好了啦!再将攻击转为凌波击向对方的腰部、颈部和大腿,这应该能让他站不住脚了吧!(反击)【反转】。
> 凌波微步是逃跑技能
原来啊~还真不错啊! 看来我刚才的攻击确实有些太过冒险了…【反转】。
> 眼看着你要逃跑 他的铁锤嗖的从手中飞出 向你砸去
啊!我真是太迟不及反应了,这招真的不错,不过为了保护自己安全也得尽快脱离危险…【反转】。
> 可是你还是慢了一步 铁锤砸中了你的小腿
好棒的对手啊!我需要更多练习才能提高反应时间和动作协调性,争取躲过了他的下一步攻击…(反转)。【】。
> 你是小腿受伤了 速度远不及之前
哎呀?看来我只是做了不够好的手部保护好啊~不过这次可以从中学到了不少的体会!(逆转计数)。 【·.·——】。【反转。」后反向。】
> 这时他走了过来 把你按在地上摩擦
?哎呀?那我好像就错了步了,要不然会变成我的对手啦!(转攻)【逆转计数……倒转反转;之后反向。】
> 你被按在地上摩擦,痛苦地嚎叫着
哈哈啊~好家伙们,看我变小了?那还想必我也会把人变成石头呢!【逆转计数…倒转反转;之后反向。】。
> 你被对方一顿狂揍 昏厥了过去
哎呀~我太厉害了吧,真是不敢相信自己竟然没死!(回防反击)【··」——逆转计数…倒转反转;之后反向。】! 【~后:转换计数的背后也意味着重合逆相逆排翻,以保持自己的状态和动作不变!】 !(翻译说明:逆转计数表示前后移动时要从后面开始,而倒转是指前倒背转身着行)【§·」——扭转反向就是回撤一步。】!   【反转后—倒转之后反向表明将自己的步法重合于对方的步法、以保持自身状态和动作不变! 逆转计数换算时要从后面开始,并以此后的变换即指着重新进行向前推进的动作来完成攻击!】【]。(解释后:逆转计数表示前后移动后需要再转一步前退, 倒转是指将自己的位置反向了过去而继续向前、或背后回移一步)~①。(翻译说明:逆转计数换算时先往后的脚趾伸展起动脚步然后立即改变脚步的节奏及方向重新推进前进!】【§·」——转 动后则指着转体将自己的身体扭转过来继续向前行,此时左右手腕也需同时旋转回过去)~①。(反转前:逆转计数换算时先往后的脚趾伸展起动脚步然后立即改变脚步的节奏及方向再重新推进前 进!】【]。 逆转转步是指将自己的身体扭转过来继续向前行,此时左右手腕也会旋转回过去)──①.(转换后—倒转即指着转动前向右或左转身绕一圈后再转向出路即可得到攻击效果!】 【§· 」——反转是将脚步逆反的动作重新展开来收回自己的位置。】 !【](提示:逆转计数换算时,如果在后面改变方向,则要先将前面的腿向后或中转、一步前回推进,若之前移动过一步且左右手 腕同时扭转后转动脚足等动作时即可得到攻击效果!)】~①。【](译
注:逆转计数换算前后双方均
须从后面开始旋转行走,而倒转则是指着由相反的方向反向、或者向前翻转的一种状态的回退,即将自己的位置逆反过去再
重归正来,改变一个方向后再继续往前推进的动作来完成攻击!) ~①

ZenXir avatar Apr 03 '23 09:04 ZenXir

因为在训练模型时我们并没有使用多轮对话数据,所以目前发布的模型在长上下文理解和多轮对话上的确还有局限性。

airaria avatar Apr 03 '23 09:04 airaria

多轮对话支持有两种方式 1、是大佬你刚说的 多轮对话数据,这个数据应该怎么组织? 是这样吗?{instruction:"user:"xxxxxx"\n\nbot:"zzzzzz"\n\nuser:"xxxxxx"\n\nbot:"zzzzzz", input:"user:"qqqqqq", output:"aaaaaa"} 2、是在generate的时候,把上下文(历史对话信息)一起带进去

这两种各有什么优缺点呀?

ZenXir avatar Apr 03 '23 09:04 ZenXir

我也有同样的问题。而且固定后问他上一个的答案还会含带上一个的问题。如图 image

wrb2012 avatar Apr 08 '23 00:04 wrb2012

同求,如何禁止上下文关联呢

JettaWan avatar May 20 '24 08:05 JettaWan