gqchen

Results 9 issues of gqchen

用qwen1.5-14b-chat进行测试,发现用langchain的这两个agent,均不能调用工具,所以请问一下qwen1.5支持langchain的这两个agent吗?如果支持,该如何使用呢

加载模型方式 config = GenerationConfig.from_pretrained( "/data/model/Baichuan-13B-Base" ) model = AutoModelForCausalLM.from_pretrained( "/data/model/Baichuan-13B-Base", torch_dtype=torch.float16, device_map="auto", trust_remote_code=True ) model.generation_config = config tokenizer = AutoTokenizer.from_pretrained( "/data/model/Baichuan-13B-Base", use_fast=False, trust_remote_code=True ) 也按照其他人issues的问题进行了配置 ![image](https://github.com/baichuan-inc/Baichuan-13B/assets/42534237/956d4bac-e622-411e-a80b-5eccd0f5c0ad) 但是还是会报如下错误 ![image](https://github.com/baichuan-inc/Baichuan-13B/assets/42534237/28c1a4f6-aed0-4865-b753-3466bc683da5) 请问我该如何使用Baichuan-13B-Base做问答呢?

![image](https://github.com/baichuan-inc/Baichuan2/assets/42534237/10459dc4-4d09-4ad5-ad4e-5ccfa9a8501b) 这里对HumanEval和GSM8K评测都比较低,请问能否提供一些公开数据集的方法吗?谢谢

Thanks!

如题,测试了32b和72b模型,都支持调用tools功能,但是使用14b模型的时候不调用工具 32b/72b模型结果 ``` result: [{'function': {'name': 'query_weather_info', 'arguments': '{"city": "北京", "date": "今天"}'}, 'id': '', 'type': 'function'}] ``` 14b模型结果 ``` GenerationOutput(text=None, choices=[Choice(finish_reason='stop', message=Message({'role': 'assistant', 'content': '对不起,我无法获取实时的天气信息。你可以查看各大天气预报网站,或者使用专业的天气应用来查询北京的天气。'}))], finish_reason=None) ``` tools定义 ``` tools...

https://github.com/PaddlePaddle/FastDeploy/blob/develop/serving/docs/zh_CN 看了文档好像仅支持XPU,如果使用晟腾系列的显卡该如何编译fastdeploy_serving?