swift
swift copied to clipboard
'ModelType' has no attribute 'llama3_8b_instruct'
Describe the bug What the bug is, and how to reproduce, better with screenshots(描述bug以及复现过程,最好有截图)
请问老师:
- 我就是简单的想先测试一下 LLaMa3 8b-instruction 的效果。
- 所以我分别采用 《LLM推理文档》 以及 《VLLM推理加速与部署》 中的代码直接先用LLama3推理一下。
- 但是很奇怪,直接就出现这样的错误:
- 我看到 ModelType 中有配置该模型啊,为什么会爆出上面的错误呢? 我不知道是什么原因。
Your hardware and system info Write your system info like CUDA version/system/GPU/torch version here(在这里给出硬件信息和系统信息,如CUDA版本,系统,GPU型号和torch版本等)
【env】使用的是 docker 镜像,容器中基于源码进行推理测试。
Additional context Add any other context about the problem here(在这里补充其他信息)
- 期待得到老师的答复。
- 感恩!
@Jintao-Huang