PowerInfer icon indicating copy to clipboard operation
PowerInfer copied to clipboard
verified publisher icon SJTU-IPADS

请问我该如何获得opt模型相关的weight文件？

Open a1bc2def6g opened this issue 1 year ago • 2 comments

你好！我在项目中只找到了llama相关模型的文件，请问如果我想要使用powerinfer进行opt模型的推理加速，应该从哪里获取相关权重文件呢？

a1bc2def6g avatar Sep 23 '24 02:09 a1bc2def6g

同问。请问您有解决吗？怎么用llama.cpp或者powerinfer去运行OPT模型

eljrte avatar Nov 23 '24 08:11 eljrte

同问，readme没给出OPT的predictor？

wuooo339 avatar Dec 24 '24 09:12 wuooo339