LLM-TPU
LLM-TPU copied to clipboard
请问我想将列表里没有的大模型转成bmodel,应该怎么做?
我想将https://huggingface.co/fla-hub/rwkv6-1.6B-finch/tree/main 这个模型用的线性attention,我想将其转成bmodel,让其在边缘设备上跑,请问应该怎么做?
这个模型一看就很困难ovo,如果你对huggingface和cpp和onnx熟悉的话可以自己试着迁移,我们这边排的话可能要很晚才会适配