[Badcase]: qwen2.5-72b 在昇腾910推理结果不符合预期

[tianshiyisi]

Model Series

Qwen2.5

What are the models used?

qwen2.5-72b-instruct

What is the scenario where the problem happened?

qwen2.5-72b-instruct 在昇腾910b上推理异常

Is this badcase known and can it be solved using avaiable techniques?

• [X] I have followed the GitHub README.
• [X] I have checked the Qwen documentation and cannot find a solution there.
• [X] I have checked the documentation of the related framework and cannot find useful information.
• [X] I have searched the issues and there is not a similar one.

Information about environment

OS: Ubuntu 22.04 Python: Python 3.10.9 GPUs: 4 x 910B3 NPU driver: 24.1.rc1 (from npu-smi) mindie version: 1.0.T59 mindietorch : 1.0-t59-torch2.1.0.abi0 torch-npu : 2.1.0.post3-20240523

Description

qwen2.5-72b-instruct

qwen2-72b-instruct

[paul-yangmy]

mark

[qiangruoyu]

请问下这个配置文件是咋修改的，模型初始化的时候就报错了。

[940910941]

需要多大的显存？需要什么样的显卡才能运行？

[luohao123]

似乎是类似的问题，用910B推理14B，会突然冒出一些不太合理的英文或者符号：

Q: 苏轼和苏东坡的关系
A: 苏轼，字子瞻，号东坡居士，是已经有了广泛achable名的文学家、书法家、画家。因此，“苏轼TintColor”和“苏东坡”实际上指的是同一个人。苏轼在被贬谪到黄州（今湖北黄冈）时，开始自号为“东坡居士”，这个名字来源于他在黄州城东一块荒地上的耕作生活，这块地被称为东坡。从此之后，“苏东坡”就成了他的别称之一，并且更加广为人知。
Q: 公交车上有12个人，到站后下去了7个，又上来了9个，现在还有几个人
A: 原来车上有12个人，下去了7个之后剩下 \(12 - 7 = 5\) 人。然后又上来9个人，所以现在车上共有 \(5 + 9 = 14\) 人。因此 deducted 错误理解了我的描述，实际上现在车上有14个人。

这些突然飙车的英文有点出戏，不知道具体是为何？

[Tracy-git]

似乎是类似的问题，用910B推理14B，会突然冒出一些不太合理的英文或者符号：

Q: 苏轼和苏东坡的关系
A: 苏轼，字子瞻，号东坡居士，是已经有了广泛achable名的文学家、书法家、画家。因此，“苏轼TintColor”和“苏东坡”实际上指的是同一个人。苏轼在被贬谪到黄州（今湖北黄冈）时，开始自号为“东坡居士”，这个名字来源于他在黄州城东一块荒地上的耕作生活，这块地被称为东坡。从此之后，“苏东坡”就成了他的别称之一，并且更加广为人知。
Q: 公交车上有12个人，到站后下去了7个，又上来了9个，现在还有几个人
A: 原来车上有12个人，下去了7个之后剩下 \(12 - 7 = 5\) 人。然后又上来9个人，所以现在车上共有 \(5 + 9 = 14\) 人。因此 deducted 错误理解了我的描述，实际上现在车上有14个人。

这些突然飙车的英文有点出戏，不知道具体是为何？

解决了吗 朋友

[luohao123]

没有呢？感觉有点离谱，你说他有问题吧，好像回答对了，没用屋内贴吧，感觉又不太对。华为的问题？

[heavenrain99]

你好，想问下你的mindie版本是在哪里下载的，是基于官方镜像吗

[heavenrain99]

你好，想问下你的mindie版本是在哪里下载的，是基于官方镜像吗

[github-actions[bot]]

This issue has been automatically marked as inactive due to lack of recent activity. Should you believe it remains unresolved and warrants attention, kindly leave a comment on this thread.

[github-actions[bot]]

This issue has been automatically locked since there has not been any recent activity after it was closed. Please open a new issue for related bugs.