ChatGLM-6B icon indicating copy to clipboard operation
ChatGLM-6B copied to clipboard

[BUG/Help] <title> 用官方例子训练之后反而不如原先的,哪里错了吗?

Open alexhmyang opened this issue 2 years ago • 1 comments

Is there an existing issue for this?

  • [X] I have searched the existing issues

Current Behavior

image

用官方例子训练之后反而不如原先的,哪里错了吗?

实现不了 官方的结果

Expected Behavior

https://github.com/THUDM/ChatGLM-6B/blob/main/ptuning/README.md

例子 示例1 Input: 类型#上衣材质#牛仔布颜色#白色风格#简约图案#刺绣衣样式#外套衣款式#破洞 Label: 简约而不简单的牛仔外套,白色的衣身十分百搭。衣身多处有做旧破洞设计,打破单调乏味,增加一丝造型看点。衣身后背处有趣味刺绣装饰,丰富层次感,彰显别样时尚。 Output[微调前]: 这件上衣的材质是牛仔布,颜色是白色,风格是简约,图案是刺绣,衣样式是外套,衣款式是破洞。 Output[微调后]: 这是一款简约的牛仔外套,破洞设计,将牛仔布破洞,带来一种随意与个性。破洞的牛仔外套,展现出时尚气息,带来一种休闲感。同时,刺绣图案,让整件外套更加立体。

Steps To Reproduce

https://github.com/THUDM/ChatGLM-6B/blob/main/ptuning/README.md

Environment

- OS:
- Python:
- Transformers:
- PyTorch:
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

Anything else?

No response

alexhmyang avatar Apr 10 '23 01:04 alexhmyang

训练这事比较玄学,如果确定自己训练步骤没出问题,可以再训练一遍;或者你把“写一个文案”去掉,完全和训练数据一样的prompt试一下

xv994 avatar Apr 20 '23 02:04 xv994