Qwen
Qwen copied to clipboard
QwenLM
14B执行昇腾权重转换后，无法启动推理
是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?
- [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions
该问题是否在FAQ中有解答？ | Is there an existing answer for this in FAQ?
- [X] 我已经搜索过FAQ | I have searched FAQ
当前行为 | Current Behavior
无法启动推理报错： [CRITICAL] ME(166844:281473147734320,MainProcess):2023-12-13-23:42:19.744.566 [mindspore/train/serialization.py:121] Failed to combine the net and the parameters for param transformer.layers.0.feed_forward.w1.weight.
期望行为 | Expected Behavior
能够正常推理
复现方法 | Steps To Reproduce
No response
运行环境 | Environment
- OS:
- Python:
- Transformers:
- PyTorch:
- CUDA (`python -c 'import torch; print(torch.version.cuda)'`):
备注 | Anything else?
No response
@qianwch 您好，目前昇腾暂时仅支持Qwen-7B的权重转换，对于Qwen-14B及其他规模模型的转换正在开发中。
预计啥时候能开发好呢，其他规模的模型
@qianwch 您好，目前昇腾暂时仅支持Qwen-7B的权重转换，对于Qwen-14B及其他规模模型的转换正在开发中。
预计啥时候能开发好呢，其他规模的模型
对14B的支持预计本周可以开发完成，其他规模的模型暂无确定的时间。
@qianwch 您好，目前昇腾暂时仅支持Qwen-7B的权重转换，对于Qwen-14B及其他规模模型的转换正在开发中。
预计啥时候能开发好呢，其他规模的模型
对14B的支持预计本周可以开发完成，其他规模的模型暂无确定的时间。
14B的支持有了吗
@qianwch 您好，目前昇腾暂时仅支持Qwen-7B的权重转换，对于Qwen-14B及其他规模模型的转换正在开发中。
预计啥时候能开发好呢，其他规模的模型
对14B的支持预计本周可以开发完成，其他规模的模型暂无确定的时间。
14B的支持有了吗
抱歉延误了一段时间，本周会增加在昇腾上对7B/14B模型的推理和微调的支持。
@qianwch 您好，目前昇腾暂时仅支持Qwen-7B的权重转换，对于Qwen-14B及其他规模模型的转换正在开发中。
预计啥时候能开发好呢，其他规模的模型
对14B的支持预计本周可以开发完成，其他规模的模型暂无确定的时间。
14B的支持有了吗
抱歉延误了一段时间，本周会增加在昇腾上对7B/14B模型的推理和微调的支持。
您好，请问一下，7B支持在昇腾310上推理吗
@qianwch 您好，目前昇腾暂时仅支持Qwen-7B的权重转换，对于Qwen-14B及其他规模模型的转换正在开发中。
预计啥时候能开发好呢，其他规模的模型
对14B的支持预计本周可以开发完成，其他规模的模型暂无确定的时间。
14B的支持有了吗
抱歉延误了一段时间，本周会增加在昇腾上对7B/14B模型的推理和微调的支持。
请问在昇腾上微调的教程什么时候出来
The Ascend support code is maintained by mindformers. Please take a look at there. https://gitee.com/mindspore/mindformers/blob/dev/research/qwen/qwen.md
Directly posting your requests to them will likely to be more efficient.
