LLM-TPU icon indicating copy to clipboard operation
LLM-TPU copied to clipboard

请问我想将列表里没有的大模型转成bmodel,应该怎么做?

Open xinyinan9527 opened this issue 1 year ago • 1 comments

我想将https://huggingface.co/fla-hub/rwkv6-1.6B-finch/tree/main 这个模型用的线性attention,我想将其转成bmodel,让其在边缘设备上跑,请问应该怎么做?

xinyinan9527 avatar Jun 26 '24 07:06 xinyinan9527

这个模型一看就很困难ovo,如果你对huggingface和cpp和onnx熟悉的话可以自己试着迁移,我们这边排的话可能要很晚才会适配

chuxiaoyi2023 avatar Jul 03 '24 08:07 chuxiaoyi2023