swift icon indicating copy to clipboard operation
swift copied to clipboard

'ModelType' has no attribute 'llama3_8b_instruct'

Open zzisbeauty opened this issue 1 month ago • 0 comments

Describe the bug What the bug is, and how to reproduce, better with screenshots(描述bug以及复现过程,最好有截图)

请问老师:

  • 我就是简单的想先测试一下 LLaMa3 8b-instruction 的效果。
  • 所以我分别采用 《LLM推理文档》 以及 《VLLM推理加速与部署》 中的代码直接先用LLama3推理一下。
  • 但是很奇怪,直接就出现这样的错误:

638941CB-7CDA-4fa8-B77F-F3F767D4279C

  • 我看到 ModelType 中有配置该模型啊,为什么会爆出上面的错误呢? 我不知道是什么原因。

image

Your hardware and system info Write your system info like CUDA version/system/GPU/torch version here(在这里给出硬件信息和系统信息,如CUDA版本,系统,GPU型号和torch版本等)

【env】使用的是 docker 镜像,容器中基于源码进行推理测试。

Additional context Add any other context about the problem here(在这里补充其他信息)

  • 期待得到老师的答复。
  • 感恩!

@Jintao-Huang

zzisbeauty avatar May 10 '24 10:05 zzisbeauty