Yan Tao
Yan Tao
我在common项目中添加了基类NioTcpServer,门户Facade、消息总线Plato、微服务组件的NIO服务器类均继承本类。
还没有真正提供TCP和HTTP的支持,需要根据协议将请求切出来,这个功能正在开发中。
如果使用cli_demo.py --from_pretrained ... 这种方式是可以的。
是的,完全按照官方的文档,我这边是没有问题的。我的问题是想在web_demo_hf.py里面使用。
web_demo_hf.py里面用的是AutoModel.from_pretrained,最终调用的是HuggingFace缓存的modeling_chatglm.py中的ChatGLMForConditionalGenerationWithImage类,我尝试过用peft来调用,没成功,提示没有adapter.json文件,想知道怎么搞?