Yu Liu

What can support cross encoders?

May I ask when will this PR be merged? 请问什么时候合并这个PR？

> > What can support cross encoders?什么可以支持交叉编码器？ > > https://huggingface.co/cross-encoder > > But there are more models that support cross encoder. The one I used https://huggingface.co/BAAI/bge-reranker-base does not show up...

> 为啥不能加点西方菜式，煎牛排、鹅肝一类的比较好做， 还有有没有偷懒做法，emit signal撒手不管那种（电饭煲饭菜一锅端？） 中国人的 常见菜 都已经够用了

可以这样操作 ``` llm = LLM( "/home/dev/model/chatglm3-6b/", tensor_parallel_size=1, trust_remote_code=True ) tokenizer = llm.llm_engine.tokenizer input_ids = tokenizer.build_chat_input("你是谁？", history=[], role="user")[ "input_ids" ].tolist() output = llm.generate(prompt_token_ids=input_ids, sampling_params=sampling) ```

我也才意识到没有做这一步，但是效果真的好吗？

这个问题解决了吗，我也出现了同样的问题，

> 这个优先级相对低点， 等实现了key value cache 之后在进行。 KV cache 技术 transformers已经默认集成了 只需要 在 config.json文件中 设置 use_cache=True 就可以了

感谢🙏，后面我来测试一下 ---原始邮件--- 发件人: ***@***.***> 发送时间: 2023年12月7日(周四) 上午9:23 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [ssbuild/aigc_serving] 希望支持新模型 (Issue #159) support both but not test. — Reply to this email directly, view it...

我在启动时，遇到了同样的问题（I had the same problem when starting up）