[BUG/Help] <title>8-3-5+4=？这样的逻辑问题该怎么训练

[rikeyz]

Is there an existing issue for this?

• [X] I have searched the existing issues

Current Behavior

结果居然等于3，还一本正经地推理了一遍。

Expected Behavior

4

Steps To Reproduce

3090显卡下，启动不带量化的模型，提问 8-3-5+4=?，回答结果为3

Environment

- OS:Centos 7.9
- Python: python 3.8
- Transformers:
- PyTorch:
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

Anything else?

No response

[SailNow]

忘记是不是这个模型了，查找了很多7b左右的模型，记得有大佬说这个模型容量下做逻辑推理(数学计算)是表显比较差且不好训练的，个人认为试试更大的模型或者等创作者大佬来看看

[cywjava]

我认为 它根本没有学会做加减法，只是记到了一些式子的答案而已。。。

[JasonChenJC]

调用api呗？比如eval()

[zhangch9]

Duplicate of #712